一种基于注意力机制的递归推理图像修复方法技术

本发明专利技术公开了一种基于注意力机制的递归推理图像修复方法，包括获取待处理图像Y和mask图像；将待处理图像Y和mask图像进行组合，并通过stride为2的局部卷积操作得到存在遮掩区域固定通道数的特征图X；使用递归推理模块对特征图X和mask图像进行处理，得到特征图集合F和遮掩图集合M；采用自适应函数合并特征图集合F中的所有特征图，得到新的特征图R；对特征图R进行上采样操作，得到修复后的图像。本发明专利技术能够实现精确、高效的图像修复。高效的图像修复。高效的图像修复。

【技术实现步骤摘要】
一种基于注意力机制的递归推理图像修复方法


[0001]本申请属于图像处理
，具体涉及一种基于注意力机制的递归推理图像修复方法。

技术介绍

[0002]图像修复是计算机视觉和图像处理领域的一个重要研究内容。随着深度学习在视觉领域的优秀表现，视觉领域的前沿基本被深度学习技术所占据。而图形学和视觉领域的交叉部分更是讨论研究的热点，特别是图像编辑和图像生成这两个方面。其中图像修复可以简单概述为一个缺失部位的估计值问题，现如今如何高效修复大面积、不规则的图像仍是一个亟待提高解决的问题。
[0003]近些年，许多学者也在深度学习图像修复领域贡献了很多的算法，这里主要概括为三类：1)卷积网络图像修复方法；2)边界渐进修复算法；3)基于注意力机制的修复算法。像Guilin Liu等人提出的部分卷积网络可以进行不规则破损图像的修复，向较远区域借用特征块，但是这些方法没有考虑到语义歧义的问题，只要是面对大孔洞的破损图像就会因为破损中心的和已知区域的相关性减弱，从而导致产生语义上的误差。Wei Xiong等人利用渐进的方式先修复破损部位的边界部分，逐步增加对孔中间部位的约束，最终实现了图像的修复，但是由于计算成本偏大，而且部分信息在解码过程中迭代次数较多导致信息失真。后来又提出了一种基于注意力机制的修复方式，从背景图中高精度提取适合的纹理，但该方法依旧没有考虑到不同递归循环时提取到特征之间的关系，造成修复的部分精确度欠佳。

技术实现思路

[0004]本申请的目的在于提供一种基于注意力机制的递归推理图像修复方法，实现精确、高效的图像修复。
[0005]为实现上述目的，本申请所采取的技术方案为：
[0006]一种基于注意力机制的递归推理图像修复方法，所述基于注意力机制的递归推理图像修复方法，包括：
[0007]步骤S1、获取待处理图像Y和mask图像；
[0008]步骤S2、将待处理图像Y和mask图像进行组合，并通过stride为2的局部卷积操作得到存在遮掩区域固定通道数的特征图X；
[0009]步骤S3、使用递归推理模块对特征图X和mask图像进行处理，得到特征图集合F和遮掩图集合M，包括：
[0010]步骤S31、对特征图X进行stride为1的局部卷积操作得到特征图X1，同时利用识别区域函数和更新函数对mask图像进行处理生成mask1图像，根据mask图像和mask1图像确定待填充区域，并把mask1加入遮掩图集合M；
[0011]步骤S32、对特征图X1进行卷积核尺寸为3*3的两次stride为2、padding为1的卷积
操作以及卷积核尺寸为3*3的三次stride为1、padding为2的卷积操作得到固定通道数的特征图X2至X6；
[0012]步骤S33、对特征图X1分别进行三次降采样操作得到全局图K1、K2和K3，并对全局图K3进行三次卷积核为3*3的卷积操作分别得到特征图K31、K32和K33，再计算特征图K31、K32、K33的注意力分数得到注意力图A31、A32、A33；
[0013]在垂直方向上，以全局图K2作为输入，对全局图K2进行stride为1、卷积核为3*3的卷积操作得到特征图K21，并根据注意力图A31的注意力分数填充特征图K21中的待填充区域得到新的图L31，计算图L31的注意力分数得到注意力图A21，以图L31作为输入同理得到图L32和A22，以图L32作为输入同理得到图L33和A23，并对图L33进行stride为1、卷积核为3*3的卷积操作得到特征图K24，计算特征图K24的注意力分数得到注意力图A24；
[0014]在水平方向上，对全局图K1进行stride为1、卷积核为3*3的卷积操作得到特征图K11，并根据注意力图A21的注意力分数填充特征图K11中的待填充区域得到新的图L21，计算图L21的注意力分数得到注意力图A11，以图L21作为下一层的输入同理得到注意力图A12、A13、A14、A15；
[0015]步骤S34、特征图X6根据注意力图A15填充待填充区域后经过转置卷积操作生成图Z5，图Z5和特征图X5桥接组合成一个特征图R5，特征图R5作为输入同理得到图Z4、Z3、Z2、Z1，并根据图Z1计算得到本次循环的注意力分数；
[0016]步骤S35、判断在待填充区域中相同像素点坐标处上次循环是否存在注意力分数，若存在则加权组合该像素点坐标处本次循环的注意力分数和上次循环的注意力分数作为该像素点坐标处最终的注意力分数；否则将该像素点坐标处本次循环的注意力分数作为最终的注意力分数；
[0017]步骤S36、将特征图Z1加入特征图集合F中，并将特征图Z1作为新的特征图X、将mask1图像作为新的mask图像重新返回步骤S31继续执行直至循环次数达到预设的最大循环次数；
[0018]步骤S4、采用自适应函数合并特征图集合F中的所有特征图，得到新的特征图R；
[0019]步骤S5、对特征图R进行上采样操作，得到修复后的图像。
[0020]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
[0021]作为优选，所述识别区域函数可表示为Ar函数，所述Ar函数的定义如下：
[0022][0023]式中，Ar(x，y，z)表示mask图像中第z个通道的第x行、第y列的像素值，W
z
表示第z个卷积核，T表示对W
z
的转置，sum(m
x，y
)表示mask特征块的像素值之和，f
x，y
和m
x，y
分别表示X特征块和mask特征块，bias表示W
z
卷积核的偏置值，
⊙
表示相应位置元素相乘，sum(1)表示和mask特征块相同尺寸的区域所有1相加；
[0024]所述更新函数的定义如下：
[0025][0026]式中，表示部分卷积后更新的mask图像中的第x行、第y列的像素值。
[0027]作为优选，所述根据mask图像和mask1图像确定待填充区域，包括：
[0028]以mask图像和mask1图像之间的面积差所对应的区域作为待填充区域。
[0029]作为优选，所述注意力分数的计算所采用函数定义如下：
[0030][0031]其中的定义如下：
[0032][0033]式中，x，y表示待填充区域中的像素点坐标，k表示(x，y)的邻近区域内的点距像素点(x，y)的距离，i表示第i次递归操作，a，b表示图像中待填充区域以外的像素点坐标，表示第i次递归操作中像素点(x，y)与像素点(a，b)之间的余弦相似度。
[0034]作为优选，所述自适应函数的定义如下：
[0035][0036]式中，表示特征图集合F中的第t个特征图中第z个通道的第x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的递归推理图像修复方法，其特征在于，所述基于注意力机制的递归推理图像修复方法，包括：步骤S1、获取待处理图像Y和mask图像；步骤S2、将待处理图像Y和mask图像进行组合，并通过stride为2的局部卷积操作得到存在遮掩区域固定通道数的特征图X；步骤S3、使用递归推理模块对特征图X和mask图像进行处理，得到特征图集合F和遮掩图集合M，包括：步骤S31、对特征图X进行stride为1的局部卷积操作得到特征图X1，同时利用识别区域函数和更新函数对mask图像进行处理生成mask1图像，根据mask图像和mask1图像确定待填充区域，并把mask1加入遮掩图集合M；步骤S32、对特征图X1进行卷积核尺寸为3*3的两次stride为2、padding为1的卷积操作以及卷积核尺寸为3*3的三次stride为1、padding为2的卷积操作得到固定通道数的特征图X2至X6；步骤S33、对特征图X1分别进行三次降采样操作得到全局图K1、K2和K3，并对全局图K3进行三次卷积核为3*3的卷积操作分别得到特征图K31、K32和K33，再计算特征图K31、K32、K33的注意力分数得到注意力图A31、A32、A33；在垂直方向上，以全局图K2作为输入，对全局图K2进行stride为1、卷积核为3*3的卷积操作得到特征图K21，并根据注意力图A31的注意力分数填充特征图K21中的待填充区域得到新的图L31，计算图L31的注意力分数得到注意力图A21，以图L31作为输入同理得到图L32和A22，以图L32作为输入同理得到图L33和A23，并对图L33进行stride为1、卷积核为3*3的卷积操作得到特征图K24，计算特征图K24的注意力分数得到注意力图A24；在水平方向上，对全局图K1进行stride为1、卷积核为3*3的卷积操作得到特征图K11，并根据注意力图A21的注意力分数填充特征图K11中的待填充区域得到新的图L21，计算图L21的注意力分数得到注意力图A11，以图L21作为下一层的输入同理得到注意力图A12、A13、A14、A15；步骤S34、特征图X6根据注意力图A15填充待填充区域后经过转置卷积操作生成图Z5，图Z5和特征图X5桥接组合成一个特征图R5，特征图R5作为输入同理得到图Z4、Z3、Z2、Z1，并根据图Z1计算得到本次循环的注意力分数；步骤S35、判断在待填充区域中相同像素点坐标处上次循环是否存在注意力分数，若存在则加权组合该像素点坐标处本次循环...

【专利技术属性】
技术研发人员：郑建炜，吴杰，楼柯辰，刘豪，李鹏飞，谷雨斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：