基于部分到整体注意力机制的多层次图像修复方法技术

本发明专利技术属于数字图像智能处理技术领域，具体为一种基于部分到整体注意力机制的多层次图像修复方法。图像修复是指利用算法来替换和生成丢失或缺损的图像数据。本发明专利技术方法包括：一种多层次的深度卷积神经网络生成器结构；一个部分到整体的注意力机制卷积层，分别集成到网络的生成器和判别器中。在网络的训练过程中引入了图像块判别器和重构损失、感知损失、风格损失、对抗损失四种损失函数来辅助生成器学习图像修复任务。实验结果表明，本发明专利技术可以生成细节逼真且整体结构合理的修复图像，有效解决图像修复问题。

Multi-level image restoration based on part to whole attention mechanism

【技术实现步骤摘要】
基于部分到整体注意力机制的多层次图像修复方法
本专利技术属于数字图像智能处理
，涉及一种图像修复方法，更具体的说，涉及一种基于部分到整体注意力机制的多层次图像修复方法。
技术介绍
随着人们用来存储信息的介质的改变，图像修复这一任务的定义也在相应地发生变化，从文艺复兴时期对受损的壁画的修复，到早些年对老化的纸质照片的修复，再到目前对计算机上储存的数字图片的处理。需要强调的是，图像修复的应用已经不仅仅局限于“修复”这一功能，除此以外，现在的修复技术还可以应用在物体去除、去水印、去遮挡、人脸祛痘、磨皮等场景。早期的图像修复技术从其针对的待修复区域大小出发，主要分为两类：基于信息扩散的方法和基于图像块匹配的方法。基于信息扩散的方法采用迭代补全的思路，每一步迭代将图像的信息沿着等照度线方向向缺失区域内传播，从而将信息从缺失区域的边界逐步扩散到缺失区域内。这种方法只适用于处理细小的缺失区域，例如斑点、划痕等。基于图像块匹配的方法可以处理图像中规模较大的缺失区域，其核心思想是通过图像特征来进行图像块的配对和替换。然而，这种方法假设缺失区域的内容本文档来自技高网...

【技术保护点】
1.一种基于部分到整体注意力机制的多层次图像修复方法，其特征在于，具体步骤为：/n(1)在U-Net结构的基础上构建多层次的深度卷积神经网络生成器，即去除U-Net结构的最后一个下采样层，并将其中原有的跳跃连接结构均替换为一系列空洞卷积组成的残差块网络结构；/n(2)将部分到整体的注意力机制卷积层分别集成到深度卷积神经网络生成器和判别器中；训练深度卷积神经网络生成器，得到图像修复模型；/n(3)利用图像修复模型，得到修复的图像。/n

【技术特征摘要】
1.一种基于部分到整体注意力机制的多层次图像修复方法，其特征在于，具体步骤为：
(1)在U-Net结构的基础上构建多层次的深度卷积神经网络生成器，即去除U-Net结构的最后一个下采样层，并将其中原有的跳跃连接结构均替换为一系列空洞卷积组成的残差块网络结构；
(2)将部分到整体的注意力机制卷积层分别集成到深度卷积神经网络生成器和判别器中；训练深度卷积神经网络生成器，得到图像修复模型；
(3)利用图像修复模型，得到修复的图像。


2.根据权利要求1所述的基于部分到整体注意力机制的多层次图像修复方法，其特征在于，所构建的多层次的深度卷积神经网络生成器中：
主干网络包括：1个输入特征提取层conv_in；3个下采样卷积层，分别记为conv_1，conv_2，conv_3；3个空洞残差块，分别记为drconv_1，drconv_2，drconv_3，分别连接在3个下采样卷积层conv_1，conv_2，conv_3之后；2个特征通道压缩层，记为conv_4，conv_5；2个注意力机制卷积特征层att_1和att_2，分别连接在2个特征通道压缩层conv_4，conv_5之后；1个输出卷积层conv_out；
所述判别器中，2个注意力层分别连接在第2、第3个卷积层之后；上述所有卷积层除输出卷积层conv_out以外均采用ReLU激活函数，输出卷积层采用Tanh激活函数。


3.根据权利要求2所述的基于部分到整体注意力机制的多层次图像修复方法，其特征在于，步骤(2)中所述将部分到整体的注意力机制卷积层，分别集成到深度卷积神经网络生成器和判别器中，是将生成器或判别器网络某一层特征图M作为注意力机制卷积层的输入；具体是将整个特征图M和其中心占总大小25％左右的正方形区域m分别通过1×1卷积操作得到M_1与m_1，这里，1×1卷积输出通道数为输入通道数的八分之一；然后将其尺寸分别调整为N×C/8和C/8×n，其中N、n为相应的高、宽，C/8为通道数，然后进行矩阵相乘，将结果按列进行softmax运算后得到注意力图A，注意力图A的尺寸为N×n；最后，将特征图M再次通过1×1卷积(输出通道数不变)的结果M_2的尺寸调整为C×N并与注意力图A进行矩阵相乘，得到特征图F，并特征图将F的尺寸调整为C×h×w，其中h、w分别为特征图的高和宽；最后，该卷积层的输出O为：
O＝M-m+αm+βF
其中，α、β为可学习的参数，初始值分别为1和0。


4.根据权利要求3所述的基于部分到整体注意力机制的多层次图像修复方法，其特征在于，生成器主干网络中，输入特征提取层conv_in的卷积核大小为7，步长为1，边缘填充大小为3，输入通道数为4，输出通道数为32；下采样卷积层conv_1，conv_2，conv_3的卷积核大小为4，步长为2，边缘填充大小为1，输入通道...

【专利技术属性】
技术研发人员：颜波，陈鹤丹，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31