一种基于核变换和掩膜引导归一化全景图像修复方法技术

技术编号:42619293 阅读:29 留言:0更新日期:2024-09-03 18:26
本发明专利技术公开了一种基于核变换和掩膜引导归一化全景图像修复方法,通过卷积核变化提取全景图像中的特征信息,可以更好的完成存在大量扭曲的全景图像修复任务,使得修复的结果更加合理真实,符合人的视觉体验;通过多头自注意力机制来学习全景图像中的长程特征信息;通过掩膜引导归一化区域,可以对归一化过程进行自适应调整,灵活指示哪些样本或特征应该参与归一化过程,同时对于输入数据存在缺失的情况,掩膜引导归一化可以通过忽略缺失值的计算或将其视为无效样本,从而更好地处理缺失数据的情况,这有助于提高模型在存在缺失值的情况下的鲁棒性。该方法可以直接应用在全景图像、视频修复等领域。

【技术实现步骤摘要】

本专利技术属于全景图像修复,具体涉及一种基于核变换和掩膜引导归一化全景图像修复方法


技术介绍

1、随着视频技术的不断发展,数字图像和视频的传输及显示技术获得了快速的进步,人们对信息类产品不再仅满足于听觉和视觉的简单需求,更希望拥有身临其境的感受和沉浸式的体验,全景图像和视频因此得到了广泛的应用,但如同平面图像一样,全景图像同样会面临损坏、缺陷和失真等情况,如何将全景图像修复到令人满意的程度是一种重要的研究方法,目前应用于平面图像的修复技术难以完成对全景图像的修复。

2、目前图像修复技术主要使用基于生成对抗网络的方法,通过学习大量的图像特征信息,在生成器和鉴别器的迭代训练中得到符合视觉特征的图像,该方法在平面图像中取得了不错的效果。然而,这种方法对于生成图像的内容难以控制,容易出现修复失败的情况,且主要应用对象为平面图像,而全景图像相比平面图像具有更高的分辨率和更多的扭曲,若直接应用在全景图像上,则容易出现图像修复效果差、修复结果包含大量伪影和模糊甚至修复失败的情况,且难以应对全景图像中的扭曲问题。


<b>技术实现思路...

【技术保护点】

1.一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于包括如下步骤:

2.根据权利要求1所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤一包括如下步骤:

3.根据权利要求1所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤二包括如下步骤:

4.根据权利要求3所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤2.1中输出的特征图F(Pi)为:

5.根据权利要求3所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤2.2中,两个一维内核如下:...

【技术特征摘要】

1.一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于包括如下步骤:

2.根据权利要求1所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤一包括如下步骤:

3.根据权利要求1所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤二包括如下步骤:

4.根据权利要求3所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤2.1中输出的特征图f(pi)为:

5.根据权利要求3所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤2.2中,两个一维内核如下:

6.根据权利要求1所述的一种基于核变换和掩膜引导归一化全景图像修复方法,其特征在于:所述步骤三中,roi池化与核变换配合设置,将网格划分成roi子窗口,再将每个子窗口的值最大池化到相应的输出网格单元中,其中,roi池化分为上下两个分支;上分支中,特...

【专利技术属性】
技术研发人员:谢承凯周洋卢庆王裕民李幸殷海兵黄晓峰赵俊能
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1