【技术实现步骤摘要】
自由视点视频重建及播放处理方法、设备及存储介质
[0001]本说明书实施例涉及视频处理
，尤其涉及一种自由视点视频重建及播放处理方法、设备及存储介质。
技术介绍
[0002]自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。
[0003]为实现自由视点观看，可以采用虚拟视点合成技术。在虚拟视点合成技术中，基于深度图的图像绘制(Depth Image Based Rendering，DIBR)技术成为虚拟视点合成的一种重要方法，其仅需要参考视点的纹理图及对应的深度图，经过三维坐标变换即可得到原本不存在相机的视点的视图。
[0004]DIBR技术主要分为选取视点、预处理、映射、视图融合和后处理等步骤。其中，在映射过程中，可能存在参考视点中被前景物体遮挡的背景纹理部分在参考视点是不可见，但在虚拟视点中却是可见的情况。因此，在视图融合之后，虚拟视点仍然存在一些没有填充的空洞区域。
[0005]针对前...
【技术保护点】
【技术特征摘要】
1.一种自由视点视频重建方法，其中，包括：获取自由视点视频帧，所述视频帧包括同步的多个原始视点的原始纹理图和对应视点的原始深度图；获取虚拟视点对应的目标视频帧；采用所述目标视频帧中多个原始视点的原始纹理图和对应的原始深度图，合成所述虚拟视点的纹理图；获取所述目标视频帧对应视点的背景纹理图和背景深度图，并根据所述对应视点的背景纹理图和背景深度图，获取所述虚拟视点的背景纹理图；采用所述虚拟视点的背景纹理图，对所述虚拟视点的纹理图中的空洞区域进行空洞填补后处理，得到所述虚拟视点的重建图像。2.根据权利要求1所述的方法，其中，所述获取所述目标视频帧对应视点的背景纹理图和背景深度图，包括：选择所述目标视频帧对应视点的参考纹理图序列和参考深度图序列；对所述参考纹理图序列和参考深度图序列分别进行时域滤波，得到所述目标视频帧对应视点的背景纹理图和背景深度图。3.根据权利要求2所述的方法，其中，所述对所述参考纹理图序列和参考深度图序列分别进行时域滤波，得到所述目标视频帧对应视点的背景纹理图和背景深度图，包括：对所述参考纹理图序列和参考深度图序列中的像素分别进行时域中值滤波，得到所述目标视频帧对应视点的背景纹理图和背景深度图。4.根据权利要求1所述的方法，其中，所述采用所述目标视频帧中多个原始视点的原始纹理图和对应的原始深度图，合成所述虚拟视点的纹理图，包括：基于所述虚拟视点，按照预设规则选择所述目标视频帧中相应原始视点的原始纹理图和对应的原始深度图；采用所选择的相应原始视点的原始纹理图和对应的原始深度图，合成所述虚拟视点的纹理图。5.根据权利要求4所述的方法，其中，所述获取所述目标视频帧对应视点的背景纹理图和背景深度图，包括：获取与所选择的原始视点相应的参考纹理图序列和参考深度图序列；对所述参考纹理图序列和参考深度图序列分别进行时域滤波，得到所选择的相应原始视点的背景纹理图和背景深度图。6.根据权利要求1所述的方法，其中，所述获取所述目标视频帧对应视点的背景纹理图和背景深度图，包括：预先采集所述目标视频帧所针对的视场中对应视点不存在前景对象的背景纹理图；根据所述目标视频帧所针对的视场中对应视点不存在前景对象的背景纹理图，获取对应视点的背景深度图。7.根据权利要求1至6任一项所述的方法，其中，所述采用所述虚拟视点的背景纹理图，对所述虚拟视点的纹理图中的空洞区域进行空洞填补后处理，得到所述虚拟视点的重建图像，包括：采用所述虚拟视点的背景纹理图，使用联合双边滤波方法对所述虚拟视点的纹理图中
的空洞区域进行插值处理，得到所述虚拟视点的重建图像。8.根据权利要求1至6任一项所述的方法，其中，在对所述虚拟视点的纹理图中的空洞区域进行空洞填补后处理之后，得到所述虚拟视点的重建图像之前，还包括：对空洞填补后处理后得到的虚拟视点的纹理图中的前景边缘进行滤波处理，以得到所述虚拟视点的重建图像。9.一种自由视点视频播放处理方法，其中，包括：确定虚拟视点，根据虚拟视点，确定目标视频帧；采用所述目标视频帧中多个原始视点的原始纹理图和对应的原始深度图，合成所述虚拟视点的纹理图；获取所述...
【专利技术属性】
技术研发人员：王荣刚，蔡砚刚，顾嵩，盛骁杰，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。