基于多视角的大面积图像修复方法技术

技术编号：40021806 阅读：8 留言：0更新日期：2024-01-16 16:52

本发明专利技术提出了一种基于多视角的大面积图像修复方法，该方法采用了两个方向的的引导图像，通过特征对齐得到破损图像要修复区域的特征信息，以加强图像破损区域较大时的修复能力。所提出的方法利用3个相同结构的编码器获取两个方向的引导图像与破损图像的纹理特征与结构特征，再通过特征对齐网络将多个纹理特征与结构特征分别进行特征对齐，最后通过特征均衡化处理，保证特征融合后的色彩域与空间域特征的一致性，把输出的特征与解码器相连接，得到修复的结果。所提出的基于多视角的图像修复方法引入梯度重建损失函数，减少修复结果的伪影，提高修复质量。此外，所提出的方法的数据集是本发明专利技术自主采集整理及构建的。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术为一种涉及游客拍照去除复杂背景的多视角大面积图像修复方法。

技术介绍

1、随着人民生活的提高，越来越多人选择旅游，当游客拍照打卡一个景点时，往往会有很多其他游客入镜，照片取景变得杂乱，通过图像修复技术可以帮助游客移除照片中不想要的对象，保留自己想要的对象，获得一张质量高的满意图像。

2、基于扩散技术的图像修复方法将邻域外观传播到缺失区域。然而，它们只考虑缺失区域的周围像素，这只能处理背景修复任务中的小孔，并且可能无法生成有意义的结构。相反，基于补丁的方法通过将相似和相关的补丁从剩余图像区域转移到空穴区域来填充缺失区域。尽管这些方法在处理背景修复任务上的小孔方面表现良好，但它们无法生成语义上有意义的内容。当空洞区域很大时，这些方法缺乏语义指导。基于深度学习的图像修复通常涉及生成对抗性网络，以补充空洞填充的视觉感知指导。后来有研究者提出了局部和全局鉴别器，并辅以扩张卷积来提高修复质量。有研究者介绍了一种结构感知网络，该网络将修复任务分为两部分：结构重建和纹理生成。在2019年有研究者提出了门控卷积的概念，该门控卷积学习动态掩码更新机制，并与sn patchgan鉴别器相结合，以实现更好的预测。传统的图像修复方法是通过基于补丁的图像匹配将没有损坏的图像信息传播到缺陷区域，但是深度学习的修复方法与之相比，可以利用不同级别的cnn特征来产生更有意义且全局一致的结果，利用深度学习技术，可以预测出缺失的语义内容，弥补了传统图像修复方法的不足，使得修复结果更加符合客观事实，已成为主流的图像修复方法。

3、编码器

技术实现思路

1、本专利技术为了解决当破损区域较大时图像修复质量较低的问题，提出了一种基于多视角的大面积图像修复方法，所提出图像修复方法可以在图像破损区域较大时保证图像修复的质量，如图1所示，本专利技术的技术方案利用了两个视角的引导图像加入网络去进行图像修复，同时引入了梯度加权重建损失函数，去更加关注破损区域重建的像素信息。

2、所述的网络训练过程包括以下步骤：

3、步骤一，将相机拍摄到的图像与公开的掩码数据集进行与操作，得到的图像当做破损图像（即 iin）；

4、步骤二，将破损图像（ iin）和与之配对的两张引导图像（ ire1和 ire2）分别输入到网络结构一样的3个编码器中，该编码区有6层卷积结构，前3层卷积提取出图像的纹理特征，后3层卷积提取出图像的结构特征，3个编码器会得到3张图像的各自的纹理特征（即 ftextures0， ftextures1， ftextures2）和3张图像的各自的结构特征（即 fstructures0， fstructures1， fstructures2）；

5、步骤三，提出的3个纹理特征和3个结构特征输入到多特征对齐模块，经过多特征对齐模块后输出对齐后的纹理特征与对齐后的结构特征（即 fate， fast）；

6、步骤四，把对齐后的纹理特征和结构特征分别输入到两个相同结构的多尺度填充模块，该填充模块有3个流，每个流由5个相同大小的卷积核的卷积层组成，3个流的卷积核大小分别为3*3,5*5,7*7，再将3个流的特征连接起来并做1*1的卷积，得到填充后的纹理特征与结构特征（即 ffte， ffst）；

7、步骤五，将多尺度填充模块输出的纹理特征与结构特征相连接并进行卷积核大小为1*1的卷积操作，得到简单融合后的特征（即 fsf）；

8、步骤六，融合后的特征要进行特征均衡化处理，把融合后的特征输入特征均衡化处理模块，该模块保证颜色域与空间域的特征一致性，解决修复后图像产生伪影与模糊的问题；

9、步骤七，编码器输出的结果输入残差块中得到输出结果（即 ere），解码器由5层卷积层组成，把经过特征均衡化模块的特征分别与残差块输出的结果和解码器的5个卷积层进行逐元素相加操作，最后输出最终修复的结果（即 iout）。

10、所述的引入的梯度重建损失函数的计算包括以下步骤：

11、步骤一、根据最终修复结果与破损图像没有与掩码做与操作的原图（即 igt），计算出二者在水平方向的梯度差矩阵和垂直方向的梯度差矩阵（即 dx， dy）；

12、步骤二、水平梯度差与垂直梯度差线性相乘，得到总的梯度矩阵（即 dgw）；

13、步骤三、将计算得到的梯度矩阵与生成的修复结果相乘，同时梯度矩阵与原图相乘积，求出二者之差；

14、步骤四，将步骤三得到的差值再去与掩码相乘，计算出l1距离，计算出的结果就是破损区域的像素差异信息（即 lhold），同时将掩码取反，再与步骤三得到的差值相乘，计算出l1距离，计算出的结果是正常区域的像素差异信息（即 lvalid）；

15、步骤五、根据 lhold与 lvalid，计算出最终的梯度重建损失（即 lgwre）。本文档来自技高网...

【技术保护点】

1.基于多视角的大面积图像修复方法，其特征在于，它利用了一张破损图像与额外的两张引导图像对和引入梯度加权重建损失函数去更好地修复破损图像：

2.基于多视角的大面积图像修复方法其特征在于它有3个相同网络结构的编码器，参数并不共享，同时还有一个解码器，其中编码器是有6个卷积层，采用的是Unet网络，定义一个跳跃连接块，由一个4*4的卷积操作、LeakyReLU操作及BatchNorm2d组成，编码器的每一层卷积操作由跳跃连接块组成，其中编码器的第一层卷积块由LeakyReLU操作与4*4卷积操作组成，中间的4层卷积块是由LeakyReLU操作、4*4卷积操作与BatchNorm2d组成，最后一层卷积块只有4*4的卷积操作，编码器前面3层卷积块操作得到图像的浅层特征信息，即纹理特征，后面3层卷积块操作得到图像的深层特征信息，即结构特征；解码器有5层卷积块，同样内部定义一个跳跃连接块，由ReLU、Tanh操作、BatchNorm2d操作及一个4*4的转置卷积操作组成，解码器的前面4层卷积块由跳跃连接块定义的ReLU操作、4*4转置卷积操作及BatchNorm2d操作组成，解码

3.基于多视角的大面积图像修复方法的重建损失函数是梯度加权重建损失函数，一般的图像修复方法把所有像素平等对待，并没有特别关注破损区域的像素信息，这种情况下会造成训练的修复模型很容易被容易重建的区域所支配，无法推断出复杂纹理的真实细节，会造成修复图像的伪影及模糊的问题，通过采用梯度加权重建损失，模型训练时并不会平等对待图像的所有像素，会更重点关注破损区域的像素的修复情况，抑制大量易于重建的区域，使得模型更加关注修复的纹理的真实细节，最后结合感知损失、对抗损失等构成总的损失函数。

4.基于多视角的大面积图像吸附方法的多视角是三个视角，其中两个视角拍摄的是引导图像，另一个视角拍摄的是要修补的图像，每个视角拍摄的图像存在一定的位置偏差，保证两张引导图像包含破损图像的破损区域所需的信息，通过三个编码器分别得到三个视角拍摄图像的纹理特征与结构特征，针对三个纹理特征与三个结构特征，要分别进行特征对齐，特征对齐模块是基于可变形卷积和动态偏移估计器，在这个特征对齐模块的基础上，进行多次特征对齐操作，具体过程为：

...

【技术特征摘要】

2.基于多视角的大面积图像修复方法其特征在于它有3个相同网络结构的编码器，参数并不共享，同时还有一个解码器，其中编码器是有6个卷积层，采用的是unet网络，定义一个跳跃连接块，由一个4*4的卷积操作、leakyrelu操作及batchnorm2d组成，编码器的每一层卷积操作由跳跃连接块组成，其中编码器的第一层卷积块由leakyrelu操作与4*4卷积操作组成，中间的4层卷积块是由leakyrelu操作、4*4卷积操作与batchnorm2d组成，最后一层卷积块只有4*4的卷积操作，编码器前面3层卷积块操作得到图像的浅层特征信息，即纹理特征，后面3层卷积块操作得到图像的深层特征信息，即结构特征；解码器有5层卷积块，同样内部定义一个跳跃连接块，由relu、tanh操作、batchnorm2d操作及一个4*4的转置卷积操作组成，解码器的前面4层卷积块由跳跃连接块定义的relu操作、4*4转置卷积操作及batchnorm2d操作组成，解码器最后一层与前面4层相比，多加一个t...

【专利技术属性】
技术研发人员：李博洋，刘艳丽，邢冠宇，
申请(专利权)人：四川大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人