【技术实现步骤摘要】
本专利技术涉及视频处理领域，具体涉及一种基于频域边界协同优化的沉浸式视频增强方法及装置。
技术介绍
1、沉浸式视频是一类能够提供高自由度的新兴媒体视频，能为用户提供极具沉浸感和真实性的视觉体验。通过融合多视点纹理与深度信息，沉浸式视频支持用户以6自由度地观看三维场景，使用户能够从任意视角感知场景的空间层次感和立体效果。然而，沉浸式视频的数据量巨大，涉及超高分辨率及复杂的多视点处理，在采集、压缩、传输和渲染的过程中容易引入压缩失真、伪影等问题，从而影响用户的观看体验。这对视频质量提升技术提出了更高的要求，也是推动沉浸式视频应用发展的关键挑战。
2、多视点纹理加深度视频（multiview video plus depth，mvd）为一种主流的沉浸式视频数据格式，其由多个视点采集的纹理视频以及通过深度估计或者深度相机等获取的相应深度视频组成。由于mvd视频在空间、时间和视点维度上具有复杂性和多样性，压缩后的mvd视频中存在的模糊、伪影等各种压缩失真更为显著，严重影响用户的沉浸式体验。因此，提出一种符合人眼视觉特性并能准确快速地对沉浸式视频进行质量增强的算法显得尤为重要。
3、目前，关于沉浸式视频质量增强的研究多集中于单帧或单视点的视频重建，忽略了多视点融合和帧间信息对质量恢复的作用。此外，现阶段研究普遍缺乏对沉浸式视频独特特性的充分考虑。因此，设计一种结合人类视觉特性与沉浸式视频特点的视频质量增强算法，不仅能在理论上为沉浸式视频的质量提升提供支持，还具有显著的实际应用价值，对于推动沉浸式视频技术的普及和产业化
技术实现思路
1、本申请的目的在于针对上述提到的技术问题提出一种基于频域边界协同优化的沉浸式视频增强方法及装置。
2、第一方面，本专利技术提供了一种基于频域边界协同优化的沉浸式视频增强方法，包括以下步骤：
3、构建沉浸式视频增强模型并训练，得到经训练的沉浸式视频增强模型，沉浸式视频增强模型包括依次连接的特征提取模块、频域增强模块、边界增强模块、时空可变形卷积模块和质量增强模块；
4、获取待重建的压缩的多视点纹理加深度视频序列并输入到经训练的沉浸式视频增强模型；待重建的压缩的多视点纹理加深度视频序列中的每个待增强的视频序列中的当前的待增强视频帧先经过特征提取模块进行频域变换和特征提取，分别提取得到高频特征和低频特征；高频特征和低频特征经过频域增强模块分别赋予对应的高频权重和低频权重并进行加权融合和逆变换，得到频域增强图像；频域增强图像和当前的待增强视频帧输入到边界增强模块，得到融合图像；融合图像和待增强的视频序列中的当前的待增强视频帧的相邻视频帧输入到时空可变形卷积模块，利用帧间互补关系对齐时间信息，得到对齐后的融合图像，对齐后的融合图像经过质量增强模块，预测得到增强残差并生成对应的重建视频。
5、作为优选，待重建的压缩的多视点纹理加深度视频序列中的每个待增强的视频序列中的当前的待增强视频帧先经过特征提取模块进行频域变换和特征提取，分别提取得到高频特征和低频特征，具体包括：
6、针对待增强的视频序列，表示当前的待增强视频帧，表示当前的待增强视频帧的前后第帧，表示当前的待增强视频帧之前的第帧相邻视频帧，表示当前的待增强视频帧之后的第帧相邻视频帧；
7、将当前的待增强视频帧经过傅里叶变换得到对应的频域特征，如下式所示：
8、；
9、其中，表示当前的待增强视频帧中位于像素坐标的像素值，表示当前的待增强视频帧对应的位于频域坐标的频域特征，和分别表示当前的待增强视频帧的宽度和高度，表示傅里叶变换；
10、通过高斯滤波从频域特征中分离出低频特征和高频特征，如下式所示：
11、；
12、；
13、其中，表示高斯滤波函数，表示当前的待增强视频帧对应的位于频域坐标的低频特征，表示当前的待增强视频帧对应的位于频域坐标的高频特征。
14、作为优选，高频特征和低频特征经过频域增强模块分别赋予对应的高频权重和低频权重并进行加权融合和逆变换，得到频域增强图像，具体包括：
15、对于低频特征，采用下式计算低频权重：
16、；
17、其中，表示位于频域坐标的低频权重，为低频增强因子，，为平滑项，表示高斯滤波函数，表示当前的待增强视频帧对应的位于频域坐标的频域特征，表示位于频域坐标的视点重要性权重，其表达式如下：
18、；
19、其中，表示用户视点区域的中心频率的频域坐标，表示用户视点区域的参数，其表达式为：，表示经验因子，表示当前的待增强视频帧对应的位于任意一个频域坐标的频域特征中的最大值；
20、对于高频特征，采用下式计算高频权重：
21、；
22、其中，位于频域坐标的高频权重，为高频保留因子，，表示位于频域坐标的运动显著性权重，其表达式如下：
23、；
24、其中，表示当前的待增强视频帧与其前一帧的视频帧之间在像素坐标的像素变化幅值，表示当前的待增强视频帧与其前一帧的视频帧之间在任意一个像素坐标的像素变化幅值，max表示取最大值；
25、采用低频权重和高频权重分别对低频特征和高频特征进行加权，得到增强后的频域特征，如下式所示：
26、；
27、其中，表示当前的待增强视频帧对应的增强后的频域特征；
28、将增强后的频域特征通过逆傅里叶变换返回空间域，得到频域增强图像，如下式所示：
29、；
30、其中，表示当前的待增强视频帧对应的频域增强图像中位于像素坐标的像素值，和分别表示当前的待增强视频帧的宽度和高度。
31、作为优选，频域增强图像和当前的待增强视频帧输入到边界增强模块，得到融合图像，具体包括：
32、使用canny 边缘检测算法提取频域增强图像中显著的边界区域，得到边界特征，如下式所示：
33、；
34、其中，表示当前的待增强视频帧对应的像素坐标的边界特征，表示canny 边缘检测算法；
35、计算当前的待增强视频帧中的邻近区域的像素插值，并估计得到伪影强度，如下式所示：
36、；
37、其中，表示当前的待增强视频帧中位于像素坐标的伪影强度，表示当前的待增强视频帧中位于像素坐标的像素值，表示当前的待增强视频帧中位于像素坐标的邻近像素的平滑估计，其表达式如下：
38、；
39、其中，表示像素坐标周围的邻域，当前的待增强视频帧中位于像素坐标的邻近像素坐标的像素值，表示取邻域内所有像素值的中位数；
40、对边界特征和伪影强度进行加权，计算得到边界权重，如下式所示：
41、；
42、其中，是边界增强因子，表示伪影影响因子；
43、将边界权重与当前的待增强视频帧对应的频域增强图像进行相乘，得到融合图像，如下式所示：...
【技术保护点】
1.一种基于频域边界协同优化的沉浸式视频增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述待重建的压缩的多视点纹理加深度视频序列中的每个待增强的视频序列中的当前的待增强视频帧先经过所述特征提取模块进行频域变换和特征提取，分别提取得到高频特征和低频特征，具体包括：
3.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述高频特征和低频特征经过所述频域增强模块分别赋予对应的高频权重和低频权重并进行加权融合和逆变换，得到频域增强图像，具体包括：
4.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述频域增强图像和当前的待增强视频帧输入到所述边界增强模块，得到融合图像，具体包括：
5.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述融合图像和待增强的视频序列中的当前的待增强视频帧的相邻视频帧输入到所述时空可变形卷积模块，利用帧间互补关系对齐时间信息，得到对齐后的融合图像，所述对齐后的融合图
6.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述沉浸式视频增强模型的训练过程中所使用的总损失函数为重建损失和边界损失的加权结果，如下式所示：
7.一种基于频域边界协同优化的沉浸式视频增强装置，其特征在于，包括：
8.一种电子设备，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
...【技术特征摘要】
1.一种基于频域边界协同优化的沉浸式视频增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述待重建的压缩的多视点纹理加深度视频序列中的每个待增强的视频序列中的当前的待增强视频帧先经过所述特征提取模块进行频域变换和特征提取，分别提取得到高频特征和低频特征，具体包括：
3.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述高频特征和低频特征经过所述频域增强模块分别赋予对应的高频权重和低频权重并进行加权融合和逆变换，得到频域增强图像，具体包括：
4.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特征在于，所述频域增强图像和当前的待增强视频帧输入到所述边界增强模块，得到融合图像，具体包括：
5.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法，其特...
【专利技术属性】
技术研发人员：曾焕强，邹慧婷，陈婧，朱建清，施一帆，许金泰，许剑飞，章水德，连宙辉，
申请(专利权)人：华侨大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。