【技术实现步骤摘要】
本专利技术涉及基于深度学习的图像修复领域，尤其涉及一种基于多粒度空洞卷积神经网络的图像修复方法。
技术介绍
1、图像修复是一种旨在恢复、修复或改善受损或缺失图像的技术，在数字图像处理、医学影像、安全监控、印刷媒体等领域具有广泛的应用。目前，基于先进的深度学习技术，针对大面积或不规则缺失区域的图像修复得到了极大的提升。pathak等人提出了上下文编码方法，通过像素级重构损失和对抗损失对网络模型进行优化。在此基础上，多种改进方法被提出，例如，由粗糙到精细的两阶段模型。song等人引入额外的辅助信息引导缺失内容的正确修复，例如分割预测，边缘连接和结构重建等信息。与传统方法相比，以上方法更好地处理了具有大面积孔洞的图像修复问题。然而，它们需要训练多个网络，而第一个网络产生的伪影会传播到第二个网络中。
2、针对缺失区域较大的图像修复问题，有效的图像修复方法需要1)能够提取图像中的语义信息，进而生成合理的图像内容；2)保持修复区域边缘的连续性；3)生成清晰有序的纹理信息。然而，已有的图像修复方法对于缺失区域较大的图像，无法根据其深层次的语义信息进行合理的填充，导致修复后的图像较为模糊；进一步地，已有的图像修复方法存在依赖于多个神经网络、训练过程复杂的问题。
技术实现思路
1、本专利技术针对以上技术问题，提出了一种基于多粒度空洞卷积网络的图像修复方法。本专利技术的网络架构由三部分组成，分别为编码器(encoder)、多粒度特征提取模块及解码器(decoder)。首先，编码器通过卷积层
2、本专利技术方法的具体步骤包括：
3、s1.数据预处理：将数据集划分为训练集和测试集，像素值规范化到[-1，1]区间，采用插值方法将图像缩放至统一的空间分辨率。构造待修复图像iin，公式为：
4、
5、其中，igt为训练集中的真实的完整图像，表示逐元素乘积，im为二值化的掩膜图像，im中值为1的区域为已知区域，im中值为0的区域为待修复区域。
6、s2.将训练集中待修复图像iin输入到编码器，编码器将输入图像iin映射到高维度的特征空间，得到特征图fin，编码器由三个卷积模块实现，每个卷积模块由卷积层、批标准化层(batch normalization)及relu激活函数层组成。其中，第一个卷积模块的卷积步长设置为1，第二个卷积模块和第三个卷积模块的卷积步长设置为2，实现对特征图的降采样。
7、s3.将步骤s2输出的特征图fin输入到多粒度残差模块，以提取图像中的多尺度特征图f，执行以下操作：
8、s31.将特征图fin输入到细粒度特征提取分支，得到细粒度特征图ffine：
9、ffine＝frn(…fri…(fr2(fr1(fin))))
10、其中，fri表示第i个细粒度空洞卷积模块，其包括空洞卷积层，批标准化层及relu激活函数层；对于该模块中的每个空洞卷积层，将其空洞率设置为互质的较小的数值，从而实现多级别细粒度特征的提取。
11、s32.将特征图fin输入到粗粒度特征提取分支，得到粗粒度特征图fcoarse：
12、fcoarse＝fcn(…fci…(fc2(fc1(fin))))
13、其中，fci表示第i个粗粒度空洞卷积模块，其包括空洞卷积层，批标准化层及relu激活函数层；对于该模块中的每个空洞卷积层，将其空洞率设置为互质的较大的数值，大于对应第i个细粒度空洞卷积模块设置的空洞率，从而实现多级别粗粒度特征的提取。
14、s33.将细粒度特征图和粗粒度特征图在通道维度进行级联，输入到1×1的卷积层f1×1(·)，得到卷积特征图fc。
15、s34.对卷积特征图fc自适应学习其通道权重，得到权重向量a，具体包括以下子步骤：
16、(1)对卷积特征图fc进行平均池化，得到基于通道的描述d∈rq×1×1，q表示通道数，d中的第i个元素di为对第i个通道ci求平均得到，其计算公式为：
17、
18、其中，h和w表示特征图的高和宽。
19、(2)对通道描述d进行降采样和上采样操作，将不重要的信息过滤掉，其计算公式为：
20、d′＝fup(fdown(d))
21、其中，fup为上采样操作，fdown为下采样操作。
22、(3)将d′输入到激活函sigmoid层fsig，得到通道相关的权重向量a：
23、a＝fsig(d′)
24、s35.将权重向量a作用于卷积特征图fc，并结合残差跳跃连接得到多粒度残差模块的输出f：
25、
26、其中，表示逐元素乘积。
27、s4.通过级联多个多粒度残差模块构成多粒度特征提取模块，充分提取图像中丰富的多粒度特征，得到的低分辨率特征图flow，每个多粒度残差模块执行步骤s31至步骤s35。
28、s5.将特征图flow输入到解码器，具体地，首先输入到两个顺序连接的通道自适应上采样卷积模块中，将上采样后的特征图输入到一个卷积模块，得到缺失部分填充完整的图像i。
29、所述通道自适应上采样卷积模块，具体包括以下子步骤：
30、s51.将特征图flow输入到卷积层进行特征提取，得到特征图f′low。
31、s52.对特征图f′low进行像素重排(pixel shuffling)得到高分辨率特征图fh，通过该步骤，特征图的空间分辨率放大两倍，通道数目缩小4倍。
32、s53.对特征图fh执行步骤s34，得到通道注意力向量a′，将通道注意力作用于特征图，得到特征图f′h：
33、
34、s54.将特征图f′h输入到批标准化层及leaky relu激活函数层，得到上采样卷积模块所输出的高分辨率特征图fhigh。
35、s6.计算损失，通过图像级损失及特征级损失对本专利技术的图像修复模型中的参数进行优化，具体步骤包括：
36、s61.图像级损失包括l1重建损失lhole和lvalid、多尺度结构相似度损失lms和全变分损失ltv，具体计算公式为：...
【技术保护点】
1.基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，在步骤1中，所述预处理包括：将图像像素值规范化到[-1，1]区间，采用插值方法将图像缩放至统一的空间分辨率；
3.根据权利要求1所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，在步骤2中，所述编码器由三个卷积模块实现，每个卷积模块由卷积层、批标准化层及ReLU激活函数层组成，第一个卷积模块的卷积步长设置为1，第二个和第三个卷积模块的卷积步长设置为2，实现对特征图的降采样。
4.根据权利要求3所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，步骤3具体过程如下：
5.根据权利要求4所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，步骤S34具体过程如下：
6.根据权利要求5所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，步骤5中，所述的通道自适应上采样卷积模块具体过程如下：
7.根据权利要求6所述的基于多粒度空洞卷积神
...【技术特征摘要】
1.基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，在步骤1中，所述预处理包括：将图像像素值规范化到[-1，1]区间，采用插值方法将图像缩放至统一的空间分辨率；
3.根据权利要求1所述的基于多粒度空洞卷积神经网络的图像修复方法，其特征在于，在步骤2中，所述编码器由三个卷积模块实现，每个卷积模块由卷积层、批标准化层及relu激活函数层组成，第一个卷积模块的卷积步长设置为1，第二个和第三个卷积模块的卷...
【专利技术属性】
技术研发人员：张新，殷昱煜，王东京，王洪波，李尤慧子，周丽，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。