基于多特征融合网络的图像修复方法技术

本发明专利技术公开了一种基于多特征融合网络的图像修复方法，包括：S1基于多特征融合的生成网络；S2编码器中基于多级特征提取的下采样模块；S3解码器中基于多级特征提取的上采样模块；S4解码器中基于亚像素的上采样层；S5基于块的判别网络。本发明专利技术首先将待修复图像输入基于多特征融合的生成网络中，得到具有一定结构信息的初始修复图像；然后将初始修复图像输入到基于多特征融合的精细生成网络中，进一步填充高频信息；通过计算重建损失、结构损失和对抗损失，优化网络参数，使得修复后的图像具有清晰合理的结构信息及有序的纹理信息，提升修复后图像的视觉质量。复后图像的视觉质量。复后图像的视觉质量。

【技术实现步骤摘要】
基于多特征融合网络的图像修复方法


[0001]本专利技术属于基于深度学习的图像修复领域，针对具有较大区域缺失的图像修复问题，结合图像中的全局语义信息及局部结构特征信息，提出了基于多特征融合网络的图像修复方法。

技术介绍

[0002]图像修复技术在工业界及日常生活中具有广泛的应用，例如，影视界对视频及图像的编辑、去除照片中的遮挡物、艺术品的修缮、图像的传输等。图像编辑软件Photoshop提供基于内容的图像填充技术，该技术通过匹配邻域内已知图像块，允许用户对指定图像区域进行自动填充。图像修复涉及图像特征的提取及图像语义场景的理解，近年来，深度神经网络的快速发展及应用极大促进了图像修复领域的发展。如何设计网络架构，提高神经网络对图像全局语义信息的提取及局部特征的提取成为了学术界和工业界的广泛关注点。
[0003]目前，国内外学者在基于深度学习的图像修复领域做出了很多有价值的研究成果。Deepak Pathak等人提出基于上下文编码的图像修复方法，通过结合“编码器
‑
解码器”的生成网络及判别网络学习图像中上下文特征信息，进而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多特征融合网络的图像修复方法，其特征在于，包括如下步骤：步骤(1).将待修复图像在通道维度级联掩膜图像，输入到多特征融合生成网络G
a
，计算公式为：T
in
＝f
cat
(I
in
，I
m
)步骤(1.1).多特征融合生成网络G
a
由编码器和解码器构成；编码器的前两层为5
×
5卷积层和Relu非线性激活层,计算公式为：步骤(1.2).接下来为5个多级下采样模块，前一层的输出特征图被输入到两个分支，上分支作为短跳跃连接通过一个卷积模块提取低级特征，下分支通过两个卷积模块提取高级特征，将两个分支提取的特征相加作为该模块的输出特征图，计算公式为：步骤(1.3).在解码器中，采用和解码器对应的结构，前5层为多级上采样模块；上一层的输出特征图被输入到两个分支中；其中，上分支为一个卷积模块，包括3
×
3卷积层和Relu非线性激活层；下分支为两个卷积模块，提取更为抽象的高级特征信息；两个分支提取的特征图相加输入到下一层中，计算公式为：步骤(1.4).接下来的1
×
1卷积层将多级融合特征及由长跳跃连接输送的编码器提取的特征进行自适应融合，计算公式为：1
×
1卷积层一方面学习在通道维度对两种特征进行最优化融合，另一方面通过减少通道数能够有效去除冗余信息；步骤(1.5).采用亚像素方法对特征图进行上采样，计算公式为：其中，f
ps
为周期性洗牌操作，将特征图中的元素进行重排；步骤(2).将以上步骤得到的初始修复图像和掩膜图像在通道维度级联，输入到精细多特征融合生成网络G
b
中，计算公式为：该网络采用和粗糙多特征融合生成网络G
a
相同的结构；首先，通过组合初始修复图像I
a
中的修复区域和输入图像中的已知区域得到生成网络G
a
的修复图像，在通道维度级联该修复图像和掩膜图像作为精细网络G

【专利技术属性】
技术研发人员：张新，王东京，陈涛，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：