欢迎您登录科学中国人官方网站!!
新浪微博|网站地图|联系我们
筑梦光影间

    发布时间:2016-09-02

 

——二维影视三维立体化技术

陈启超 王 勋

(浙江工商大学计算机与信息工程学院)

 

 

摘要:3D电影制作成本高、制作周期长、片源缺少等问题俨然已成为制约3D电影产业发展的瓶颈。如何高效高质地将2D影视作品转制成3D影视,成为了解决该问题的突破口。浙江工商大学王勋教授主持的国家科技支撑计划课题“二维影视作品三维立体化系统与应用”,突破了一系列关键技术,通过对二维视频进行自动与交互相结合的方法恢复深度图,再对生成的虚拟视角图像对进行立体视频空洞补全,最后生成立体视频图像对。

关键词:2D/3D转换;深度恢复;视频补全

 

1.  引言

 

2016年初,3D电影《美人鱼》以33.9亿元的票房成为华语票房冠军。 自20093D影片《阿凡达》以来,3D电影技术不断成熟、观影效果不断改善,3D电影正以其独有的空间表现形式,为电影艺术的展现开拓了一个全新的维度,也促进了当下电影市场的空前繁荣。尽管整个3D影视产业蓬勃发展,但片源缺乏、制作成本较高、制作周期漫长仍是当前3D电影发展亟待解决的问题。

 

2.  2D电影转制3D电影前景广阔

 

《阿凡达》和《泰坦尼克号》3D版均出自著名导演詹姆斯?卡梅隆之手。这两部电影都为观众展现了近乎完美的3D效果。然而,它们在制作方法上却有着天壤之别。《阿凡达》的大部分镜头采用三维摄像机直接进行拍摄,而另一部则是在原有的二维影像基础上进行转制,对画面中的深度信息进行恢复,重建出3D影像。第一种方法制作成本较高,第二种方法成本相对低廉。如果能将普通2D电影转制成3D电影,则可降低3D电影的制作门槛,更能将一大批已有的经典影片制作成3D版本重新上映,丰富目前稀缺的3D片源。

然而,目前从2D影像中恢复深度信息的技术尚不成熟,制作影片需要大量的人工参与。国内从事电影三维立体化系统研发的公司,相比国外尚处于起步阶段,但国外的三维立体化技术同样也存在着自动化程度不高、需要大量人工交互、建模不够精细等问题,转换的3D效果无法和实拍的立体视频媲美。

 

3.  2D电影转制3D电影流程

 

由上分析可见,发展2D转制3D的技术是解决目前3D电影片源匮乏的有效途径。2D/3D转制需要3个关键步骤:首先,需要根据2D视频恢复出画面中每一帧的深度信息。然后,根据原视频帧(左视图)以及深度信息,模拟人眼形成立体感知的过程,生成原视频每帧所对应的右视图。最后,对生成的左视频中存在的空洞进行修复。

3.1 自动恢复深度信息

对于2D转制3D立体视频而言,从2D图像恢复画面中所蕴含的深度信息是最为基础的一个步骤,也是重中之重。而一个电影中涉及到的场景拍摄方式千差万别,例如摄像机移动拍摄静止的场景、静止的相机拍摄运动的物体、静止的相机拍摄静止的场景等[1],没有一种深度恢复的方法能够完全适用于所有的情况。因此,应根据场景的不同情况来做有差别的深度恢复。

针对摄像机移动拍摄静止场景的情况,可以通过多视图立体几何算法获得每帧的深度图之后,将每帧的像素投影至其它帧,统计视频中的边界和分割区域信息[2],并结合统计的边界和区域信息来创建能量函数,通过能量最小化来求解最优的视频分割[3]

对于摄像机不移动或者场景中没有运动物体的情况,可以通过基于机器学习的交互式深度恢复技术,以解决多视图立体几何算法不适用场景的深度恢复。整个过程如图3-1所示。

3.2 交互式深度图生成

在经过前面步骤的自动恢复之后,可以大致恢复出影片的深度,与以往依靠人工对每一帧手工标注相比,极大地减少了制作工作量。

然而,电影对于画面的精细程度有着几近完美的严苛要求。完全自动化恢复出的影片深度信息还不能直接用于电影生产,需要由人工来进行一定的交互作业,提升深度信息的质量。

为此,我们开发了交互式深度恢复算法,对那些被错误割裂的连续物体,工作人员只需简单地添加一些连线,以示该处应该是连续的,如图3-2所示。交互式深度图修补算法将会加大这两个部分的相似度,并且通过相似度传递的方式传播到与该处存在有空间关系的区域,重新计算整幅图像的深度信息。这个过程可以反复进行以加强效果,直到最终深度结果满足电影的需求。

3.3 立体视频空洞补全

在恢复了视频帧深度信息后,需要将原视频帧作为左视图,以该视频和相应的深度图为基础,绘制生成右视图。生成的右视图由于视角改变,往往存在空洞,需要进行视频的空洞补全。  

针对不同的空洞产生原因,由不同的空洞补全策略对空洞进行补全修复。至于由于估算的深度存在误差,导致前景和背景像素的相互渗透,则使用了一种深度图预处理方法来应对[4]。通过以上的空洞修补方法进行修补之后,如图3-3所示,就能够创建出完整的3D电影左右视图。

 

4 课题团队介绍

 

王勋教授团队在国家支撑计划课题“二维影视作品三维立体化系统与应用”(2014BAK14B01)的支持下,在解决2D电影立体化方面已经取得了一定成绩:目前系统已能直接投入影视作品的制作,对电影级的超高分辨率视频进行处理,并能对摄像机静止、纯旋转、自由移动、变化焦距等各种情况下拍摄的视频进行三维立体化,在进行电影级的3D视频转换时,对70%以上的镜头平均每帧处理时间不多于30分钟,在对毛发、烟雾、瀑布等半透明物体的立体化处理上也有了不错的进展,与企业合作已经完成了2部电影的2D/3D转制。

此外,团队还突破了基于融合理论的深度恢复机理与方法、高效与鲁棒的图像/视频分割技术、三维视频时空一致性等关键技术,在重要学术期刊和国际学术会议上发表了近10篇高水平论文,已在视频三维立体化相关技术领域取得两项软件著作权,申请国家发明专利12项。课题组中有1人获省部级人才资助,培养了博士研究生3人,硕士研究生8人。

该课题的成功完成,将极大缩短目前3D影视制作周期、提升3D影视作品品质、降低3D影视的制作成本,提升我国立体影视产业的总体发展水平。

 

参考文献

 

[1] 刘伟, 吴毅红, 胡占义. 电影2D/3D转换技术概述[J]. 计算机辅助设计与图形学学报, 2012, 24(1):14-28.

[2] Jiang H, Zhang G, Wang H, et al. Spatio-Temporal Video Segmentation of Static Scenes and Its Applications[J]. IEEE Transactions on Multimedia, 2015, 17(1):3-15.

[3] 姜翰青, 赵长飞, 章国锋等. 基于多视图深度采样的自然场景三维重建[J]. 计算机辅助设计与图形学学报, 2015(10):1805-1815.

[4] 章国锋, 鲍虎军, 姜翰青等.一种针对复杂三维场景的高质量纹理映射方法:中国,CN 201410799686[P].2015-04-29.

分享到:
资讯