视频重建方法、系统、设备及计算机可读存储介质技术方案

视频重建方法、系统、设备及计算机可读存储介质，所述方法包括：获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合，包括多个角度同步的多组存在对应关系的纹理图和深度图；根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻相应组的纹理图和深度图；基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将所述相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。上述方案可以减小多自由度视频重建的数据运算量。

【技术实现步骤摘要】
视频重建方法、系统、设备及计算机可读存储介质
本专利技术实施涉及视频处理
，尤其涉及一种视频重建方法、系统、设备及计算机可读存储介质。
技术介绍
随着互联技术的不断发展，越来越多的视频平台不断地通过提供清晰度或者观看流畅度更高的视频，来提高用户的视觉体验。然而，针对现场体验感比较强的视频，例如一场篮球比赛的视频，用户在观看过程中往往只能通过一个视点位置观看比赛，无法自己自由切换视点位置，来观看不同视角位置处的比赛画面或比赛过程，因而也就无法体验在现场一边移动视点一遍观看比赛的感觉。6自由度(6DegreeofFreedom，6DoF)技术是为了提供高自由度观看体验的一种技术，用户可以在观看中通过交互手段，来调整观看的视角，从想观看的自由视点角度进行观看，从而可以大幅地提升观看体验。6DoF视频可以提供用户一边观看，一边转换自由度的体验。为实现6DoF视频，目前有Free-D回放技术和光场渲染技术，Free-D回放技术是通过点云对6DoF视频进行表达，点云是对空间所有点的三维位置以及像素信息进行表达和存储。光场渲染技术是内容是在不需要图像的深度信息或相关性的条件下，通过预先拍摄的一组场景照片，建立该场景的光场数据库，然后对于任意给定的新视点，经过重采样和双线性插值运算，得到该视点的视图，实现对整个场景的漫游。然而，不论是Free-D回放技术，还是光场渲染技术，均需要非常大的数据运算量。此外，对于点云的压缩目前没有很好的标准和工业界软硬件的支持，因而不利于推广普及。专利
技术实现思路
有鉴于此，本专利技术实施例提供一种视频重建方法、系统、设备及计算机可读存储介质，以减小多自由度视频重建过程中数据运算量。一方面，本专利技术实施例提供了一种视频重建方法，所述方法包括：获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图；基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。可选地，所述根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图数据和深度图数据，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图。所述根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图。可选地，所述根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择离所述虚拟视点位置最近的2至N个采集设备对应的纹理图和深度图，N为采集所述视频帧的图像组合的所有采集设备的数量。可选地，所述基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像，包括：将选择的用户交互时刻所述视频帧的图像组合中相应组的深度图分别进行前向映射，映射至用户交互时刻的虚拟位置上；对前向映射后的深度图分别进行后处理；将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图分别进行反向映射；将反向映射后所生成的各虚拟纹理图进行融合。可选地，在将反向映射后所生成的各虚拟纹理图进行融合后，还包括：对融合后的纹理图进行空洞填补，得到所述用户交互时刻虚拟视点位置对应的重建图像。可选地，所述对前向映射后的深度图分别进行后处理，包括以下至少一种：对前向映射后的深度图分别进行前景边缘保护处理；对前向映射后的深度图分别进行像素级滤波处理。可选地，所述将反向映射后所生成的各虚拟纹理图进行融合，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，采用由虚拟视点的位置与采集所述图像组合中相应纹理图的采集设备的位置的距离确定的全局的权重，将反向映射后所生成的各虚拟纹理图进行融合。可选地，所述基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图数据和深度图数据进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像，包括：分别将所述相应组的深度图根据空间几何关系映射到用户交互时刻的虚拟视点位置上，形成虚拟视点位置深度图，并根据映射后的深度图从所述相应组的纹理图中的像素点复制到生成的虚拟视点位置对应的虚拟纹理图中，形成相应组对应的虚拟纹理图；将所述用户交互时刻视频帧的图像组合中相应组对应的虚拟纹理图进行融合，得到所述用户交互时刻虚拟视点位置的重建图像。可选地，所述将所述用户交互时刻视频帧的图像组合中相应组对应的虚拟纹理图进行融合，得到所述用户交互时刻虚拟视点位置的重建图像，包括：对用户交互时刻所述视频帧的图像组合中各相应组对应的虚拟纹理图中对应位置的像素进行加权处理，得到所述用户交互时刻虚拟视点位置的重建图像中对应位置的像素值；对于所述用户交互时刻虚拟视点位置的重建图像中像素值为零的位置，利用所述重建图像中所述像素周围的像素进行空洞填补，得到所述用户交互时刻虚拟视点位置的重建图像。可选地，所述将所述用户交互时刻视频帧的图像组合中相应组对应的虚拟纹理图进行融合，得到所述用户交互时刻所述虚拟视点位置的重建图像，包括：对于用户交互时刻视频帧的图像组合中各相应组对应的虚拟纹理图中像素值为零的位置，分别利用周围的像素值进行空洞填补；将空洞填补后的各相应组对应的虚拟纹理图中相应位置的像素值进行加权处理，得到所述用户交互时刻虚拟视点位置的重建图像。可选地，所述获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据，包括：对获取的多角度自由视角的视频本文档来自技高网...

【技术保护点】
1.一种视频重建方法，其特征在于，包括：/n获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；/n根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图；/n基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。/n

【技术特征摘要】
1.一种视频重建方法，其特征在于，包括：
获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；
根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图；
基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。


2.根据权利要求1所述的视频重建方法，其特征在于，所述根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图数据和深度图数据，包括：
根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图。


3.根据权利要求2所述的视频重建方法，其特征在于，所述根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图，包括：
根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图。


4.根据权利要求3所述的视频重建方法，其特征在于，所述根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图，包括：
根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择离所述虚拟视点位置最近的2至N个采集设备对应的纹理图和深度图，其中，N为采集所述视频帧的图像组合的所有采集设备的数量。


5.根据权利要求1所述的视频重建方法，其特征在于，所述基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像，包括：
将选择的用户交互时刻所述视频帧的图像组合中相应组的深度图分别进行前向映射，映射至用户交互时刻的虚拟位置上；
对前向映射后的深度图分别进行后处理；
将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图分别进行反向映射；
将反向映射后所生成的各虚拟纹理图进行融合。


6.根据权利要求5所述的视频重建方法，其特征在于，在将反向映射后所生成的各虚拟纹理图进行融合后，还包括：
对融合后的纹理图进行空洞填补，得到所述用户交互时刻虚拟视点位置对应的重建图像。


7.根据权利要求5所述的视频重建方法，其特征在于，所述对前向映射后的深度图分别进行后处理，包括以下至少一种：
对前向映射后的深度图分别进行前景边缘保护处理；
对前向映射后的深度图分别进行像素级滤波处理。


8.根据权利要求5所述的视频重建方法，其特征在于，所述将反向映射后所生成的各虚拟纹理图进行融合，包括：
根据所述虚拟视点位置信息及用...

【专利技术属性】
技术研发人员：盛骁杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY