模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法技术

模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法属自由立体显示技术领域，本发明专利技术包括：1.真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘；2.通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘；3.采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面，利用全部稀疏采样帧的模糊边缘，基于全局可见性约束，去除造成错误遮挡的模糊表面；4.利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补；本发明专利技术通过边缘驱动与模糊理论相辅相成的策略，能实现不使用给定的场景几何信息端到端的高性能、强鲁棒视图合成，为自由立体显示快速生成高品质内容。

【技术实现步骤摘要】
模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
本专利技术属自由立体显示
，涉及一种面向单目视频的虚拟视图绘制方法，具体涉及一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。
技术介绍
自由立体显示技术是当今国际显示领域的前沿科技，必将逐步取代现有的平面显示和助视式三维显示媒介。国内外已经对自由立体显示展开了积极探索，尤其在改善分辨率、视角、景深等方面取得了显著进展。然而优质内容相对匮乏的瓶颈尚未得到实质性解决，严重制约了其在诸多领域的普及化和3D手机、3D电视、3D大屏等硬件设备的实用化。一个主要原因是显示内容的主流采集手段都存在一定的缺点，例如微透镜阵列和光场相机再现立体视差小、相机阵列硬件成本高，且标定繁琐、沿轨采集图像序列难以环绕拍摄大场景、深度传感器检测范围有限且精度低等。随着高速成像技术的发展，无轨拍摄单目视频成为快速获取场景全表面多尺度信息的有效方式。为视频场景生成虚拟视点图像，通常需要先通过多视图三维重建(Multi-ViewStereo，MVS)估计场景深度，再采用基于图像的渲染(Image-BasedRend本文档来自技高网...

【技术保护点】
1.一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，其特征在于，包括下列步骤：/n1.1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：/n1.1.1模糊体素对于像素(x,y)的数学表达式为：/nV(x,y)＝{d

【技术特征摘要】
1.一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，其特征在于，包括下列步骤：
1.1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：
1.1.1模糊体素对于像素(x,y)的数学表达式为：
V(x,y)＝{dk,μk(dk)|dk∈[dmin,dmax]}
其中：[dmin,dmax]为深度范围，深度的间隔采用深度值倒数的线性采样；μk(dk)∈[0,1]为候选深度dk的隶属度函数，其值与深度范围有关；
1.1.2通过双层帧采样方法，为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制；
1.1.3双层帧采样过程：先利用运动恢复结构算法计算所有视频帧的相机位姿，同时重建视频图像中显著特征的稀疏三维点云；然后根据这些信息对视频帧进行由密集到稀疏采样：先对视频帧密集采样，使相邻采样帧的相机视角相差1°；再对密集采样帧以4:1的固定比例进一步下采样，得到稀疏采样帧；
1.1.4深度范围选取过程：对于每幅稀疏采样帧，先提取边缘像素，然后为每个模糊边缘进行深度范围的由粗到细选取，具体包括下列步骤：
1.1.4.1初始化：利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值，初始化该模糊边缘的深度范围；
1.1.4.2粗选取：利用当前帧的100幅相邻密集采样帧，计算所有候选深度的匹配代价，用匹配代价小于τ1的最小与最大候选深度，更新该模糊边缘的深度范围；
1.1.4.3细选取：利用当前帧的100幅相邻稀疏采样帧，计算新的匹配代价，将匹配代价小于τ2的最小与最大候选深度作为该模糊边缘最终的深度范围；
步骤1.1.4.2与1.1.4.3采用像素级匹配代价计算方法，阈值τ1与τ2根据具体场景的实际重建效果设定，将最后取得最小匹配代价的深度值作为该边缘的粗略深度，并通过最小匹配代价的阈值化去除物体轮廓附近的背景边缘及粗略深度明显不可靠的边缘；
1.1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为：
μk(dk)＝(1-Sk)·(1+Rk/6)
Sk∈[0,1]为在深度范围细选取步骤中求得的匹配代价，Rk∈[-6,6]计算公式如下列：



其中：Dn为在当前帧的100幅相邻稀疏采样帧中随机抽取的6幅视图的边缘粗略深度图；B、A与C分别表示dk所重建体素P与Dn之间是否产生三种关系：可见度一致、自由空间冲突、遮挡，是则取1，否则取0；
1.2虚拟视图模糊边缘合成：通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘，包括下列步骤：
1.2.1参考视图选取：从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像；M值根据实际情况设置，以便达到运算速度与合成效果的良好折中；假设虚拟视图Iv的相机光心为Ov，将某参考视图Ic中像素(x,y)对Iv的插值权重定义为：



其中：b为相邻稀疏采样帧的平均基线；Rayc为Ic的光线；Dist为点线距离函数；
1.2.2模糊边缘合成：先为候选边缘合成模糊体素，再从中提取模糊边缘，具体包括下列步骤：
1.2.2.1候选边缘模糊体素合成过程：将每幅参考视图的模糊边缘投影到虚拟视图中，...

【专利技术属性】
技术研发人员：韦健，王世刚，宋晨曦，赵岩，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22