一种基于注意力机制的图像修复方法技术

本发明专利技术公开一种基于注意力机制的图像修复方法，包括步骤：图像数据集的图像数据预处理，得到训练数据集与测试数据集；多次迭代训练模型的生成器与判别器，得到图像修复模型，该模型通过模型中的判别器计算生成器所生成的修复图像与真实图像之间的多种损失函数和注意力层的长远依赖的学习能力，使得生成的修复图像在视觉上生成逼真并且在语义上合理；通过使用训练好的图像修复模型，对测试数据集中的受损图像进行修复处理，测试训练好的图像修复模型的修复性能。本发明专利技术能显著提高生成的修复图像的视觉质量和语义质量。

【技术实现步骤摘要】
一种基于注意力机制的图像修复方法
本专利技术涉及图像修复
，特别是涉及一种基于注意力机制的图像修复方法。
技术介绍
图像修复任务(imageinpainting)，是从给定的受损图像中合成图像缺失区域中的替代内容，、且使得修复的图像在视觉上逼真和在语义上合理。图像修复可在其他应用中使用，如图像编辑，当图像中存在分散人注意力的场景元素时，如人或者物体(通常是不可避免的)，允许用户移除图像中不需要的元素，同时在空白区域填充视觉和语义上合理的内容。生成对抗网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络两个网络，利用它们间相互竞争从而不断提升网络性能，最终达到平衡。基于对抗生成网络思想，衍生出许多变种网络，并且这些网络在图像合成、图像超分、图像风格转换和图像修复等方面都取得了显著的进步。图像修复的研究，包括图像补全、图像去水印、图像去雨滴和图像去雾都得到了研究者们的关注。人类的注意力机制(AttentionMechanism)是从直觉中得到，它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的图像修复方法，其特征在于，包括步骤：/nS1.预处理数据集中图像，得到训练数据集和测试数据集，预处理后的数据集中包括受损图像和真实图像，受损图像是真实图像通过乘以一个二值掩码得到，预处理后的图像尺寸大小一致；/nS2.使用训练数据集训练模型，得到能对受损图像进行修复的图像修复模型；/n上述模型中包含一个生成器和一个判别器；/n生成器结构为U-net型网络结构，生成器包含16个卷积层，前8个卷积层后面均接有第一激活层，前8个卷积层逐渐减小特征图，前8个卷积层的第2、5个卷积层后分别跟一注意力层，用于学习特征图内的长远依赖关系以此获得更好的编码信息；后8个卷积层前后分别接有...

【技术特征摘要】
1.一种基于注意力机制的图像修复方法，其特征在于，包括步骤：
S1.预处理数据集中图像，得到训练数据集和测试数据集，预处理后的数据集中包括受损图像和真实图像，受损图像是真实图像通过乘以一个二值掩码得到，预处理后的图像尺寸大小一致；
S2.使用训练数据集训练模型，得到能对受损图像进行修复的图像修复模型；
上述模型中包含一个生成器和一个判别器；
生成器结构为U-net型网络结构，生成器包含16个卷积层，前8个卷积层后面均接有第一激活层，前8个卷积层逐渐减小特征图，前8个卷积层的第2、5个卷积层后分别跟一注意力层，用于学习特征图内的长远依赖关系以此获得更好的编码信息；后8个卷积层前后分别接有激活层和正则化层，后8个卷积输出的特征图的尺寸大小逐渐恢复到原图，后8个卷积层第的3、7个卷积层后分别跟一个注意力层，在于学习特征图内的长远依赖关系以此获得生成质量更好的生成图像；
判别器由5个卷积层堆叠而成，用于判断图像是否真实；
训练集中受损图像作为模型输入，对应的真实图像作为目标生成图像，训练模型中生成器和判别器完成图像修复任务；通过生成器对输入的受损图像处理，得到修复图像；
判别器接受输入的目标生成图像和模型生成的修复图像，通过修复图像与真实图像在判别器中进行对抗损失的计算，预测模型生成的修复图像是否逼近于目标生成图像；
模型迭代多次达到稳定后完成模型的训练，得到最终的图像修复模型；
S3.使用训练好的图像修复模型在测试数据集上测试图像修复性能，给定受损图像模型即可自动输出修复好的图像。


2.根据权利要求1所述基于注意力机制的图像修复方法，其特征在于，1所述注意力层的处理过程如下：
将从之前隐藏层中得到的图像特征图x映射到两个隐空间中，然后计算注意力得分，
f(x)＝Wfx
g(x)＝Wgx
sij＝f(xi)Tg(xj)
Wf和Wg均为可学习的参数，得到sij后，计算注意力程度：



βj，i表示模型在生成第j个区域时对第i个位置的注意力程度；，N表示特征图上的总区域数量，
注意力模块的输出o＝(o1，o2，...，oj，...，oN)，其中，oj表示为：



其中，h(xi)＝Whxi，v(xi)＝Wvxi，Wh和Wv均为可学习的参数，Wf，Wg，Wh和Wv均以卷积核为1×1的卷积层实现，
将注意力层输出乘以一个缩放参数，并与输入特征图相加，可得到：
yi＝γoi+xi
其中，yi表示生成的第i个位置，oi表示注意力层的输出，xi表示输入的特征图，γ为平衡因子。


3.根据权利要求1所述的基于注意力机制的图像修复方法，其特征在于，步骤S2包括：
S21.使用凯明初始化方法初始化模型中生成器和判别器的权重参数，其中生成器的损失函数为LG，判别器的损失函数为LD；
S22.将受损图像输入到生成器中，生成器输出与真实图像尺寸大小一致放入修复图像，将修复图像和真实图像作为判别器的输入，依次...

【专利技术属性】
技术研发人员：马鑫，侯峦轩，赫然，孙哲南，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津;12