原创《筑梦光影间二维影视三维立体化技术》
该文是关于影视相关电大毕业论文范文跟筑梦光影和三维和立体化类论文写作资料范文。
陈启超 王勋
摘 要：3D电影制作成本高、制作周期长、片源缺少等问题俨然已成为制约3D电影产业发展的瓶颈.如何高效高质地将2D影视作品转制成3D影视,成为了解决该问题的突破口.浙江工商大学王勋教授主持的国家科技支撑计划课题“二维影视作品三维立体化系统与应用”,突破了一系列关键技术,通过对二维视频进行自动与交互相结合的方法恢复深度图,再对生成的虚拟视角图像对进行立体视频空洞补全,最后生成立体视频图像对.
关键词：2D/3D转换；深度恢复；视频补全
1. 引言
2016年初,3D电影《美人鱼》以33.9亿元的票房成为华语票房冠军.自2009年3D影片《阿凡达》以来,3D电影技术不断成熟、观影效果不断改善,3D电影正以其独有的空间表现形式,为电影艺术的展现开拓了一个全新的维度,也促进了当下电影市场的空前繁荣.尽管整个3D影视产业蓬勃发展,但片源缺乏、制作成本较高、制作周期漫长仍是当前3D电影发展亟待解决的问题.
2. 2D电影转制3D电影前景广阔
《阿凡达》和《泰坦尼克号》3D版均出自著名导演詹姆斯·卡梅隆之手.这两部电影都为观众展现了近乎完美的3D效果.然而,它们在制作方法上却有着天壤之别.《阿凡达》的大部分镜头采用三维摄像机直接进行拍摄,而另一部则是在原有的二维影像基础上进行转制,对画面中的深度信息进行恢复,重建出3D影像.第一种方法制作成本较高,第二种方法成本相对低廉.如果能将普通2D电影转制成3D电影,则可降低3D电影的制作门槛,更能将一大批已有的经典影片制作成3D版本重新上映,丰富目前稀缺的3D片源.
然而,目前从2D影像中恢复深度信息的技术尚不成熟,制作影片需要大量的人工参与.国内从事电影三维立体化系统研发的公司,相比国外尚处于起步阶段,但国外的三维立体化技术同样也存在着自动化程度不高、需要大量人工交互、建模不够精细等问题,转换的3D效果无法和实拍的立体视频媲美.
3. 2D电影转制3D电影流程
由上分析可见,发展2D转制3D的技术是解决目前3D电影片源匮乏的有效途径.2D/3D转制需要3个关键步骤：首先,需要根据2D视频恢复出画面中每一帧的深度信息.然后,根据原视频帧（左视图）以及深度信息,模拟人眼形成立体感知的过程,生成原视频每帧所对应的右视图.最后,对生成的左视频中存在的空洞进行修复.
3.1 自动恢复深度信息
对于2D转制3D立体视频而言,从2D图像恢复画面中所蕴含的深度信息是最为基础的一个步骤,也是重中之重.而一个电影中涉及到的场景拍摄方式千差万别,例如摄像机移动拍摄静止的场景、静止的相机拍摄运动的物体、静止的相机拍摄静止的场景等[1],没有一种深度恢复的方法能够完全适用于所有的情况.因此,应根据场景的不同情况来做有差别的深度恢复.
针对摄像机移动拍摄静止场景的情况,可以通过多视图立体几何算法获得每帧的深度图之后,将每帧的像素投影至其它帧,统计视频中的边界和分割区域信息[2],并结合统计的边界和区域信息来创建能量函数,通过能量最小化来求解最优的视频分割[3].
对于摄像机不移动或者场景中没有运动物体的情况,可以通过基于机器学习的交互式深度恢复技术,以解决多视图立体几何算法不适用场景的深度恢复.整个过程如图3-1所示.
3.2 交互式深度图生成
在经过前面步骤的自动恢复之后,可以大致恢复出影片的深度,与以往依靠人工对每一帧手工标注相比,极大地减少了制作工作量.
然而,电影对于画面的精细程度有着几近完美的严苛要求.完全自动化恢复出的影片深度信息还不能直接用于电影生产,需要由人工来进行一定的交互作业,提升深度信息的质量.
为此,我们开发了交互式深度恢复算法,对那些被错误割裂的连续物体,工作人员只需简单地添加一些连线,以示该处应该是连续的,如图3-2所示.交互式深度图修补算法将会加大这两个部分的相似度,并且通过相似度传递的方式传播到与该处存在有空间关系的区域,重新计算整幅图像的深度信息.这个过程可以反复进行以加强效果,直到最终深度结果满足电影的需求.
3.3 立体视频空洞补全
在恢复了视频帧深度信息后,需要将原视频帧作为左视图,以该视频和相应的深度图为基础,绘制生成右视图.生成的右视图由于视角改变,往往存在空洞,需要进行视频的空洞补全.
针对不同的空洞产生原因,由不同的空洞补全策略对空洞进行补全修复.至于由于估算的深度存在误差,导致前景和背景像素的相互渗透,则使用了一种深度图预处理方法来应对[4].通过以上的空洞修补方法进行修补之后,如图3-3所示,就能够创建出完整的3D电影左右视图.
4 课题团队介绍
王勋教授团队在国家支撑计划课题“二维影视作品三维立体化系统与应用”(2014B A K14B01)的支持下,在解决2D电影立体化方面已经取得了一定成绩：目前系统已能直接投入影视作品的制作,对电影级的超高分辨率视频进行处理,并能对摄像机静止、纯旋转、自由移动、变化焦距等各种情况下拍摄的视频进行三维立体化,在进行电影级的3D视频转换时,对70%以上的镜头平均每帧处理时间不多于30分钟,在对毛发、烟雾、瀑布等半透明物体的立体化处理上也有了不错的进展,与企业合作已经完成了2部电影的2D/3D转制.
此外,团队还突破了基于融合理论的深度恢复机理与方法、高效与鲁棒的图像/视频分割技术、三维视频时空一致性等关键技术,在重要学术期刊和国际学术会议上发表了近10篇高水平论文,已在视频三维立体化相关技术领域取得两项软件著作权,申请国家发明专利12项.课题组中有1人获省部级人才资助,培养了博士研究生3人,硕士研究生8人.
该课题的成功完成,将极大缩短目前3D影视制作周期、提升3D影视作品品质、降低3D影视的制作成本,提升我国立体影视产业的总体发展水平.
参考文献
[1] 刘伟, 吴毅红, 胡占义. 电影2D/3D转换技术概述[J]. 计算机辅助设计与图形学学报, 2012, 24(1):14-28.
[2] Jiang H, Zhang G, Wang H,et al. Spatio-Temporal Video Segmentationof Static Scenes and Its Applications[J].IEEE Transactions on Multimedia, 2015,17(1):3-15.
[3] 姜翰青, 赵长飞, 章国锋等.基于多视图深度采样的自然场景三维重建[J]. 计算机辅助设计与图形学学报,2015(10):1805-1815.
[4] 章国锋, 鲍虎军, 姜翰青等.一种针对复杂三维场景的高质量纹理映射方法:中国,C N 201410799686[P].2015-04-29.
影视论文参考资料：
本文结论，该文是一篇关于经典影视专业范文可作为筑梦光影和三维和立体化方面的大学硕士与本科毕业论文影视论文开题报告范文和职称论文论文写作参考文献。
