一种基于注意力机制的图像补全方法及装置制造方法及图纸

本公开涉及一种基于注意力机制的图像补全方法及装置，属于计算机图像处理技术领域，该方法包括如下过程：步骤S1:将数据库图像数据进行预处理，使用二值掩码合成损坏图像，结合损坏图像和对应的二值掩码作为网络模型的输入；步骤S2:通过训练得到可以进行图像补全的生成对抗网络模型；步骤S3:使用训练好的生成对抗网络模型，对测试数据进行补全处理。本公开针对图像补全问题，提出了一种基于注意力机制的生成对抗网络模型。利用二值掩码作为额外信息指导，结合输入图像进行训练学习，此模型可以使得补全结果含有丰富的细节信息并且能够保持结构上的连续性。

【技术实现步骤摘要】
一种基于注意力机制的图像补全方法及装置
本公开属于计算机图像处理
，具体是涉及一种基于注意力机制的图像补全方法及装置。
技术介绍
这里的陈述仅提供与本公开相关的
技术介绍
，而不必然地构成现有技术。图像补全任务(imageinpainting)，是指生成给定损坏图像中缺失区域的替代内容，且使得修复的图像在视觉上逼真和在语义上合理。图像补全任务可在其他应用中使用，如图像编辑，当图像中存在分散人注意力的场景元素时，如人或者物体(通常是不可避免的)，允许用户移除图像中不需要的元素，同时在空白区域填充视觉和语义上合理的内容。专利技术人发现：随着科技不断发展，人们在不同领域的需求也在相应提高，包括电影广告动画制作和网络游戏等，逼真的图像修复技术对用户的良好体验具有重要意义。因此，在此背景下，开发基于注意力机制的图像补全方法，使得修复后的图像在视觉上逼真和在语义上合理，具有重要的意义。
技术实现思路
针对现有技术存在的技术问题，本公开提供了一种基于注意力机制的图像补全方法及装置。本公开至少一实施例提出了一种基于注意力机本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的图像补全方法，其特征在于，包括如下过程：/n步骤S1：将数据库图像数据进行预处理，使用二值掩码合成损坏图像，结合损坏图像和对应的二值掩码作为网络模型的输入数据；/n步骤S2：训练所述输入数据得到可以进行图像补全的生成对抗网络模型；/n步骤S3：使用训练好的生成对抗网络模型，对测试数据进行补全处理。/n

【技术特征摘要】
1.一种基于注意力机制的图像补全方法，其特征在于，包括如下过程：
步骤S1：将数据库图像数据进行预处理，使用二值掩码合成损坏图像，结合损坏图像和对应的二值掩码作为网络模型的输入数据；
步骤S2：训练所述输入数据得到可以进行图像补全的生成对抗网络模型；
步骤S3：使用训练好的生成对抗网络模型，对测试数据进行补全处理。


2.根据权利要求1所述的基于注意力机制的图像补全方法，其特征在于，在所述步骤S1中预处理之后数据库人脸图像和自然图像大小一致；在图像补全任务中，将损坏图像和对应的二值掩码结合作为输入，未损坏图像作为真实图像标签。


3.根据权利要求1所述的基于注意力机制的图像补全方法，其特征在于，所述步骤S2包括：
步骤S21：初始化图像补全任务中的网络权重参数；其中，生成器的损失函数是Ltotal，判别器的损失函数是LD；
步骤S22：结合损坏图像和二值掩码图输入到生成器网络G中进行图像补全任务，生成的补全图像和目标图像一起输入到判别器网络D中，依次迭代训练使得生成器的损失函数Ltotal和判别器的损失函数LD均降低至趋于稳定；
步骤S23：同时训练表情生成和去除任务，直至所有的损失函数不再降低，从而得到最终的生成对抗网络模型。


4.根据权利要求3所述的基注意力机制的图像补全方法，其特征在于，损坏图像记为x，生成图像记为目标图像记为y，二值掩码图记为M。


5.根据权利要求3所述的基于注意力机制的图像补全方法，其特征在于，注意力机制中的局部卷积层的输出值取决于未损坏的区域，其数学描述如下：



其中，⊙表示像素级乘法，1表示所有元素均为1且形状和M相同的矩阵。W表示卷积层的参数，F表示前层卷积层的输出特征图，b表示卷积层的偏差，M表示对应的二值掩码图；可以看做是缩放因子，调整已知区域的权重。
再执行了局部卷积之后也需要更新二值掩码图M，其数学描述如下：



即若卷积层能够根据有效输入得到输出结果，那么将二值掩码中的该处位置标记为1。


6.根据权利要求3所述的基于注意力机制的图像补全方法，其特征在于，注意力机制中的对偶注意力融合模块，该融合模块将已知区域和生成融合在一起，包括：首先得到通道级的统计信息：



其中，zc(i，j)是z的第c个维度的值。HGP代表全局池化层。fc表示特征图F中的第c个维度；
然后获取通道之间的依赖关系：
...

【专利技术属性】
技术研发人员：赫然，马鑫，侯峦轩，黄怀波，王海滨，
申请(专利权)人：中科人工智能创新技术研究院青岛有限公司，
类型：发明
国别省市：山东;37