一种基于神经辐射场的立体视频视差控制与编辑方法技术

本发明专利技术涉及一种基于神经辐射场的立体视频视差控制与编辑方法。首先，引入具有时域双向流的神经辐射场，生成新视角的动态视频场。其次，能够根据观看条件与视频场景特性，自适应精准计算理想视差，生成立体效果显著且视觉舒适的立体视频。最后，在基于神经辐射场的立体渲染过程中实现了对单个对象视差的重编辑。与现有技术对比，在图像重建质量指标上该方法获得了综合性能最高。同时，该框架获得了较低的视疲劳指数，和包含有正负两种视差的立体感。实验采集了10位非专业观众和10位专业影视工作者对该方法的结果的反馈，分别从立体感、舒适度和局部视差编辑效果三个角度，证明了我们的框架在3D电影制作中优化视觉体验和艺术性表达的价值。性表达的价值。性表达的价值。

【技术实现步骤摘要】
一种基于神经辐射场的立体视频视差控制与编辑方法


[0001]本专利技术涉及立体视频转制领域，特别涉及一种基于神经辐射场的立体视频视差控制与编辑方法。

技术介绍

[0002]3D立体显示技术发展至今已经有非常长的时间，随着立体显示设备的普及和发展，立体内容的需求不断攀升，而立体转制是3D内容生成的重要手段之一。
[0003]现有的立体转制方法可以分为手动转制、传统转制和基于学习的转制三种。其中，手动转制的可操控性最强，但该流程需要的耗费大量时间与人力，同时对操作的艺术家有一定经验要求。传统立体转制需要从图像线索中提取深度，或人为绘制深度图，存在深度图估计不准确的问题。基于深度学习的方法是目前的研究热点，具体可分为双阶段法与单阶段法。双阶段法需要单目深度估计与缺失像素补绘两个阶段，训练步骤繁琐，且转制依赖于从单目视频中估计的深度图，难以实现精准的视差控制；而图像补绘阶段还不能很好地利用3D信息，使其合成纹理不能够符合真实物理规律，在构建立体效果时，会因为左右视图存在差异而产生3D眩晕等视疲劳现象。单阶段自动立体转制是立体转制最理想的解决方案，但其过程中的可操控性不足，且获取大量3D影片数据的难度较大，限制了该研究的进一步发展。
[0004]视差控制存在以下三个挑战，一是视差计算不精确，为了能够控制视差匹配不同的显示器尺寸与观看距离，以应对3D显示设备多样性，视差自适应控制问题迫切需要解决，这需要立体转制流程具备较强的视差精准控制能力。二是视疲劳现象，转制电影在舒适度方面常为人所诟病，为了减少视觉疲劳，需要在视差控制中添加舒适区范围约束。三是局部视差编辑，为了迎合艺术效果，转制方法应能够具备局部视差编辑的能力，例如显著对象带来的强烈立体冲击感，生成效果上舒适而非物理上正确的立体视频。直接对深度图处理来实现深度控制的方法，通常会产生对象形变和孔洞的现象，一类方法在扭曲过程中通过添加多种约束保持所选对象结构，但该类方法依赖于深度图。

技术实现思路

[0005]本专利技术针对以上问题，提出了一种基于神经辐射场的立体视频视差控制与编辑方法，充分利用了神经辐射场的属性可编辑特性，实现了视差可精准控制的高质量视角合成；同时该方法能够根据观看条件和场景属性，自适应地生成具有高视觉舒适度的立体视频；最后，该方法还实现了局部视差的重新编辑，能够获得更优的局部视差艺术效果。
[0006]该方法将输入视频视为左视图，首先利用输入视频的连续多帧视图构建动态神经辐射场，同时根据观看条件计算自适应视差，从而控制神经辐射场中虚拟相机渲染指定新视角，经过体积渲染得到右视图渲染结果。为了能够适应视频视差编辑的需求，该方法采用分层立体渲染的方式，实现了神经辐射场中指定对象的分离，进而实现了对视频局部对象的视差控制。
[0007]为达到上述目的，本专利技术采用如下技术方案：
[0008]一种基于神经辐射场的立体视频视差控制与编辑方法，操作步骤如下：
[0009]步骤1：利用输入视图的序列帧，构建4D时空动态神经辐射场，对场景中的静动态对象分别处理后合成；
[0010]步骤2：在步骤1构建的4D神经辐射场中，自适应精准控制视差，通过立体渲染生成新视图；
[0011]步骤3：在步骤1构建的4D神经辐射场中，分离局部对象并修改该对象视差，经过立体渲染后实现局部视差编辑后的新视图。
[0012]进一步地，所述步骤1的具体操作步骤如下：
[0013]1‑
1：对于视频中每一帧图像将屏蔽运动区域的静态部分的3D位置坐标与观察方向作为输入，经过两个级联的多层感知机MLP预测，得到一个在三维空间中颜色与密度均连续的场态作为该场景的隐式表达；对连续场态分为等距的多个层取值，在给定的相机模型下计算来自每个像素位置的模拟光线，并在该场态模拟光线跟踪，与分层辐射场的交点经过数值积分方式得到渲染图中的像素颜色值与累积透明度，从而得到当前帧k的重建颜色值，渲染得到该视点下的新颖视图；
[0014]1‑
2：在对静态场景训练时通过最小化当前帧每个像素的重建颜色值与真实值之间的差异不断优化结果，得到MLP的最终权重；
[0015]1‑
3：在表达动态场景时，采用了双向场景流计算每个像素位置在当前时刻的前后时刻的偏移量，用于表示时域上场景的扭曲程度，从而利用包含当前帧及其前后时刻图像在内的3个视角共同训练模型；同时还利用模型预测当前时刻的混合权重，用于表示动静态场景在某一像素位置的组合权重分配。
[0016]进一步地，所述步骤2的具体操作步骤如下：
[0017]2‑
1：首先基于视觉显著性确定需要调整视差的对象，并为其添加蒙版；
[0018]2‑
2：继而在神经辐射场中指定深度间距进行分层渲染，并在计算累积颜色与透明度的同时对深度值逐层积分，当显著蒙版内深度不断累加趋于稳定时，则认为该渲染层所在深度为最佳零视差平面所在深度；
[0019]2‑
3：得到零视差平面的深度值后，基于离轴平行式模型能够进一步确定光轴平移程度和相机基线a的关系函数；
[0020]2‑
4：基于Shibata舒适区理论，根据当前视距、瞳距与屏幕分辨率等观看条件，通过控制正负视差最大值在合理范围，进一步确定具体相机基线与镜头平移量，实现自适应的视差控制模型。
[0021]进一步地，所述步骤3的具体操作步骤如下：
[0022]3‑
1：对场景内容进行分析，根据观看者的视觉注意点为局部对象添加蒙版，根据该蒙版确定了目标在图像中的2D边界盒；
[0023]3‑
2：在分层神经辐射场中对深度值累计积分，当蒙版区域内深度值开始累积时与区域稳定并达到阈值时，认为该层所在深度为局部编辑对象的3D包围盒的近远深度，由此确定目标对象的3D包围盒，实现神经辐射场中的局部对象提取；
[0024]3‑
3：在体积渲染阶段，对全场景进行光线追踪时，对包围盒内部光线沿着水平方向扭曲，从而实现对局部对象与剔除局部对象的背景分别进行视差控制，局部对象水平视
差放大或缩小的效果，从而强化场景中显著对象的立体感。
[0025]本专利技术与现有技术相比较，具有如下显著的特点与优势：
[0026]1、本专利技术提出了一种新颖的自动立体转制方法，首次将神经辐射场技术用于完整的立体转制，能够生成具有可操控性的高质量立体视频；
[0027]2、本专利技术提出了一种自适应视差控制的方法，能够根据观看条件和场景属性精准控制视频中视差的大小与正负视差的比例，生成具有高视觉舒适度的立体视频；
[0028]3、本专利技术提出了一种基于神经辐射场的局部视差编辑的方法，能够在神经辐射场中对局部目标进行分离，并在立体渲染中实现了局部视差放大或缩小的艺术效果。
附图说明
[0029]图1为本专利技术的整体框架流程图。
[0030]图2为4D时空动态神经辐射场网络架构。
[0031]图3为离轴平行式模型视差控制方法示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的立体视频视差控制与编辑方法，其特征在于，操作步骤如下：步骤1：利用输入视图的序列帧，构建4D时空动态神经辐射场，对场景中的静动态对象分别处理后合成；步骤2：在步骤1构建的4D神经辐射场中，自适应精准控制视差，通过立体渲染生成新视图；步骤3：在步骤1构建的4D神经辐射场中，分离局部对象并修改该对象视差，经过立体渲染后实现局部视差编辑后的新视图。2.根据权利要求1所述的基于神经辐射场的立体视频视差控制与编辑方法，其特征在于，所述步骤1的具体操作步骤如下：1
‑
1：对于视频中每一帧图像将屏蔽运动区域的静态部分的3D位置坐标与观察方向作为输入，经过两个级联的多层感知机MLP预测，得到一个在三维空间中颜色与密度均连续的场态作为该场景的隐式表达；对连续场态分为等距的多个层取值，在给定的相机模型下计算来自每个像素位置的模拟光线，并在该场态模拟光线跟踪，与分层辐射场的交点经过数值积分方式得到渲染图中的像素颜色值与累积透明度，从而得到当前帧k的重建颜色值，渲染得到该视点下的新颖视图；1
‑
2：在对静态场景训练时通过最小化当前帧每个像素的重建颜色值与真实值之间的差异不断优化结果，得到MLP的最终权重；1
‑
3：在表达动态场景时，采用了双向场景流计算每个像素位置在当前时刻的前后时刻的偏移量，用于表示时域上场景的扭曲程度，从而利用包含当前帧及其前后时刻图像在内的3个视角共同训练模型；同时还利用模型预测当前时刻的混合权重，用于表示动静态场景在某一像素位置的组合权重分配。3.根据权利要求1所述的基于神经辐射场的立体视频视差控制与编辑方法...

【专利技术属性】
技术研发人员：黄东晋，徐金娜，刘金华，刘传蔓，石永生，
申请(专利权)人：上海大学，
类型：发明
国别省市：