基于门控卷积和门控注意力机制的图像修复系统技术方案

本发明专利技术致力于生成的结构更合理，确保修复不同程度受损图像时，能生成合理、逼真的纹理细节，提高修复精确度，保证既能修复原有的图像又不降低补全后的图像质量。所以，针对以上问题，搭建一个合适的深度学习框架成了本研究的首要方案选择。本发明专利技术提供了一种基于门控卷积和门控注意力机制的图像修复系统，包括：图像预处理模块，图像修复模型训练模块，图像修复模型测试模块，图像修复模型训练模块在编码器使用门控卷积模块进行下采样进行特征提取，在编码器结束位置，设计门控注意力机制集成到图像修复模型，与门控卷积相契合。该模型既能降低计算成本，又具有生成的图像结构合理、纹理细节清晰的功能。理细节清晰的功能。理细节清晰的功能。

【技术实现步骤摘要】
基于门控卷积和门控注意力机制的图像修复系统


[0001]本专利技术涉及图像处理领域，具体涉及基于门控卷积和门控注意力机制的图像修复领域。

技术介绍

[0002]随着科学技术的蓬勃发展，图像的传递和存储更加方便，图像也逐渐成为人们日常生活中的重要交流媒介。但是，在传输和存储图像时，难免会产生部分图像缺失和分辨率降低等问题，因此图像修复技术应运而生。
[0003]图像修复指的是在保持图像整体一致性的同时重建图像受损区域的过程，这是一种典型的底层视觉任务。在实际应用中，图像修复技术的应用非常广泛。生活中，老照片的修复，壁画及文物图像的修复，还有被污染图片的修复都与它相关。医学领域的拍摄图像受损问题和卫星图像远距离传输造成的图像受损问题，也需要图像修复技术。文艺影视行业，经常需要将图像部分内容进行修改或替换，有时出现待处理图像数量庞大且问题较单一的情况，也适合使用图像修复技术代替人工修改。
[0004]传统方法在处理背景复杂，如色彩多样、人物或风景丰富，或相邻像素间差值较大的图像时，性能急剧下降。现有背景复杂和高分辨率深度学习图像修复算法面临一些急需解决的问题：首先，修复背景复杂、纹理精细图像时，生成的结构模糊，破损区域边缘会产生重叠或伪影。其次，修复高分辨率图像的细节时，虽然能生成纹理像素，但整体的语义一致性差，修复图像不贴近真实图像。

技术实现思路

[0005]本专利技术目的是提供一种生成的结构更合理，确保修复不同程度受损图像时，能生成合理、逼真的纹理细节，提高修复精确度，保证既能修复原有的图像又不降低补全后图像质量的图像修复方法。
[0006]本专利技术为实现上述目的，通过以下技术方案实现：
[0007]基于门控卷积和门控注意力机制的图像修复系统，包括：
[0008]图像预处理模块，对数据集进行预处理，构成缺损图像数据集；
[0009]图像修复模型训练模块，将缺损图像数据集中的图像输入到GA Network图像修复模型中，以获得训练后修复的图像和预训练模型，所述图像修复模型训练模块在编码器使用门控卷积模块进行下采样进行特征提取，在编码器结束位置，设计门控注意力机制集成到图像修复模型，与门控卷积相契合；
[0010]图像修复模型测试模块，将掩码(mask)嵌入到数据集的每张图像中，构成缺损图像数据集。将缺损图像测试数据集输入到训练完成的GA Network图像修复模型，利用预训练的GA Network图像修复模型的参数权重代入到修复框架，进行特征提取，从而完成图像缺损部位的修复补全。
[0011]进一步的，图像修复模型训练模块在解码器阶段采用门控卷积，获得训练后修复
的图像作为伪样本，与真实样本集中的样本数据计算损失值，获得预训练模型。
[0012]优选的，图像修复模型训练模块中引入跳跃连接，将各层编码器特征和对应的解码器相连接。
[0013]所述掩码分成规则掩码和不规则掩码，分别构造矩形规则区域缺损和不规则缺损的掩码数据集，不规则掩码占图像的20％
‑
30％或者40％
‑
50％来进行训练和测试，不规则缺损区域随机分布在图像中。
[0014]为了使生成的图像更接近原图，通过基于深度学习方法来获取缺失部分的特征信息时，从上下文语义和空间上来获取特征。
[0015]优选的，对图像数据集进行裁剪预处理。
[0016]优选的，图像修复模型训练模块的解码器阶段在上采样过程中使用门控注意力机制，以保持缺失区域的内部和外部像素之间的高度关联性，从而提高模型的修复性能。
[0017]本专利技术的优点在于：
[0018]卷积过程中边缘区域获得信息的效率低，普通的卷积模块并不能修复出足够的细节信息。本专利技术将研究近几年所提出的针对图像修复的卷积模块，门控卷积为所有层中的每个空间位置的每个通道提供一个可学习的动态特征选择机制来泛化普通卷积，经实验验证，在网络中运用门控卷积可以增强生成网络对输入图像中有效元素和边缘元素的利用，提高对缺失区域图像的推理合成能力。
[0019]为了避免网络较深导致门控卷积损失的信息较多，因此通过尝试，本专利技术将注意力机制集成到图像修复模型中以提高模型性能，解码器特性更加接近真实编码器内容，使得生成的内容更加接近原图。并且针对通过基于深度学习方法来获取缺失部分的特征信息时，解决了特征信息利用不足，对图像的关键区域关注不够，以及远处的细节信息丢失等问题。
[0020]本专利技术提出在网络中使用门控注意力机制,在网络不同阶段分别实现深层特征图和浅层特征图的修复。门控注意力机制适用于任意形状缺失区域的修复，并且可以构建出已知区域与缺失区域的深层次特征的内部联系，为图像修复过程提供语义合理且像素信息更准确的特征图。
[0021]本专利技术建立一个基于深度学习的图像修复补全模型，该模型既能降低计算成本，又具有生成的图像结构合理、纹理细节清晰的功能。
附图说明
[0022]图1为本专利技术所述方法流程图；
[0023]图2为本专利技术的图像修复模型结构图；
[0024]图3为本专利技术构造的门控卷积模型示意图；
[0025]图4为本专利技术构造的门控卷积注意力机制模型图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0027]请参照附图1，本实施例提供了一种基于门控卷积和门控注意力机制的图像修复
方法；
[0028]步骤一、对数据集进行预处理，将mask嵌入到数据集的每张图像中，构成缺损图像，分别构造中心矩形区域缺损和不规则缺损的掩码数据集；
[0029]步骤二、搭建基于门控卷积和门控注意力机制的图像修复模型，将缺损图像数据集输入到GA Network图像修复模型中，利用GA Network网络进行训练，以获得训练后修复的图像和预训练模型；
[0030]步骤三、搭建图像修复模型进行训练和测试，缺损图像数据集输入训练完成的GA Network图像修复模型，能够在较短的时间内获得修复补全图像。
[0031]在步骤一中，在将数据输入给神经网络之前，我们需要对数据集进行预处理，以满足神经网络对输入数据的要求。为了生成缺损图像，需要提前准备好掩码，本专利技术掩码分成规则掩码和不规则掩码，分别构造两种数据集，具体做法为：算法设计矩形规则(128
×
128)掩码和占图像比例20％
‑
30％或者40％
‑
50％的不规则掩码，不规则缺失区域随机分布在图像中。
[0032]由于数据集Celeba
‑
HQ的图像大小为1024
×
1024
×
3，我们采用统一标准，将训练图像和测试图像的大小都裁剪为256
×
256
×
3。
[0033]在步骤二中，请参照图2，所提出的GA Network生成图像训练过程包括以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于门控卷积和门控注意力机制的图像修复系统，其特征在于，包括：图像预处理模块，对数据集进行预处理，构成缺损图像数据集；图像修复模型训练模块，将缺损图像数据集中的图像输入到GA Network图像修复模型中，以获得训练后修复的图像和预训练模型，所述图像修复模型训练模块在编码器使用门控卷积模块进行下采样进行特征提取，在编码器结束位置，设计门控注意力机制集成到图像修复模型，与门控卷积相契合；图像修复模型测试模块，将缺损图像数据集输入训练完成的GA Network图像修复模型，利用预训练的GA Network图像修复模型的参数权重代入到修复框架，进行特征提取，从而完成图像缺损部位的修复补全，测试系统是否能够获得修复补全图像。2.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，所述图像修复模型训练模块在编码器解码器中采用门控卷积，获得训练后修复的图像作为伪样本，与真实样本集中的样本数据计算损失值，获得预训练模型。3.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，所述图像修复模型训练模块中引入跳跃连接，将各层编码器特征和对应的解码...

【专利技术属性】
技术研发人员：赵盛荣，邱冉，梁虎，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：