当前位置: 首页 > 专利查询>华侨大学专利>正文

基于频域边界协同优化的沉浸式视频增强方法及装置制造方法及图纸

技术编号:45020233 阅读:16 留言:0更新日期:2025-04-18 17:03
本发明专利技术公开了一种基于频域边界协同优化的沉浸式视频增强方法及装置,涉及视频处理领域,包括:获取待重建的压缩的多视点纹理加深度视频序列并输入到经训练的沉浸式视频增强模型;当前的待增强视频帧先经过特征提取模块,分别提取得到高频特征和低频特征;高频特征和低频特征经过频域增强模块,得到频域增强图像;频域增强图像和当前的待增强视频帧输入到边界增强模块,得到融合图像;融合图像和当前的待增强视频帧的相邻视频帧输入到时空可变形卷积模块,得到对齐后的融合图像,对齐后的融合图像经过质量增强模块,预测得到增强残差并生成对应的重建视频。本发明专利技术解决压缩伪影、边界伪影以及沉浸式视频的质量低等问题。

【技术实现步骤摘要】

本专利技术涉及视频处理领域,具体涉及一种基于频域边界协同优化的沉浸式视频增强方法及装置


技术介绍

1、沉浸式视频是一类能够提供高自由度的新兴媒体视频,能为用户提供极具沉浸感和真实性的视觉体验。通过融合多视点纹理与深度信息,沉浸式视频支持用户以6自由度地观看三维场景,使用户能够从任意视角感知场景的空间层次感和立体效果。然而,沉浸式视频的数据量巨大,涉及超高分辨率及复杂的多视点处理,在采集、压缩、传输和渲染的过程中容易引入压缩失真、伪影等问题,从而影响用户的观看体验。这对视频质量提升技术提出了更高的要求,也是推动沉浸式视频应用发展的关键挑战。

2、多视点纹理加深度视频(multiview video plus depth,mvd)为一种主流的沉浸式视频数据格式,其由多个视点采集的纹理视频以及通过深度估计或者深度相机等获取的相应深度视频组成。由于mvd视频在空间、时间和视点维度上具有复杂性和多样性,压缩后的mvd视频中存在的模糊、伪影等各种压缩失真更为显著,严重影响用户的沉浸式体验。因此,提出一种符合人眼视觉特性并能准确快速地对沉浸式视频进行质量增本文档来自技高网...

【技术保护点】

1.一种基于频域边界协同优化的沉浸式视频增强方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法,其特征在于,所述待重建的压缩的多视点纹理加深度视频序列中的每个待增强的视频序列中的当前的待增强视频帧先经过所述特征提取模块进行频域变换和特征提取,分别提取得到高频特征和低频特征,具体包括:

3.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法,其特征在于,所述高频特征和低频特征经过所述频域增强模块分别赋予对应的高频权重和低频权重并进行加权融合和逆变换,得到频域增强图像,具体包括:

>4.根据权利要求1...

【技术特征摘要】

1.一种基于频域边界协同优化的沉浸式视频增强方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法,其特征在于,所述待重建的压缩的多视点纹理加深度视频序列中的每个待增强的视频序列中的当前的待增强视频帧先经过所述特征提取模块进行频域变换和特征提取,分别提取得到高频特征和低频特征,具体包括:

3.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法,其特征在于,所述高频特征和低频特征经过所述频域增强模块分别赋予对应的高频权重和低频权重并进行加权融合和逆变换,得到频域增强图像,具体包括:

4.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法,其特征在于,所述频域增强图像和当前的待增强视频帧输入到所述边界增强模块,得到融合图像,具体包括:

5.根据权利要求1所述的基于频域边界协同优化的沉浸式视频增强方法,其特...

【专利技术属性】
技术研发人员:曾焕强邹慧婷陈婧朱建清施一帆许金泰许剑飞章水德连宙辉
申请(专利权)人:华侨大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1