一种渐进式引导解码网络的图像修复模型及方法技术

本发明专利技术公开了一种渐进式引导解码网络的图像修复模型及方法，涉及图像处理技术领域，其提出端到端架构，所述端到端架构由生成器和鉴别器组成；所述生成器由编码网络和包括并行解码分支的渐进式解码网络组成；所述编码网络通过多尺度感知残差模块学习多尺度特征；所述编码网络旨在压缩256x256将图像分割成多层次的特征图；在渐进式解码网络中，来自前一个解码分支的重建特征和梯度被用于指导下一个解码支路的重建，其渐进地填充和细化掩蔽区域；所述鉴别器预测具有不同大小的所有图像块；在鉴别器中使用频谱归一化来稳定训练，输出最终修复后的图像；本发明专利技术，进一步提高了恢复结果的语义合理性，进而提高了图像修复的质量。进而提高了图像修复的质量。进而提高了图像修复的质量。

【技术实现步骤摘要】
一种渐进式引导解码网络的图像修复模型及方法


本专利技术涉及图像处理
，具体涉及一种渐进式引导解码网络的图像修复模型及方法。

技术介绍

本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。图像修复是图像处理领域的一项重要而富有挑战性的任务，其目标是预测出缺失区域的合适像素，近年来成为图像处理、计算机视觉领域的研究热点。图像修复方法主要分为传基于扩散的方法、基于匹配的方法和基于学习的方法。基于学习的方法由于在运算速度和重建质量方面明显优于其它两类方法，获得了学术界和工业界更多的关注。现有的很多图像修复方法对于较大且复杂的缺失区域，由于周围已知信息的急剧减少，修复很困难。最近，一些多级修复网络，经历了多个编码器
‑
解码器来渐进地引用缺失内容，这减轻了直接预测正确缺失内容的困难。但多级修复网络的共同点是，当前阶段仅将前一阶段推断的结果作为输入，并进一步预测剩余的缺失像素。因此，第一阶段预测的误差很容易影响下一阶段的训练，导致恢复结果中的结构和纹理伪影失真。缺失区域的面积越大，这种情况发生的可能性就越大。所以图像修复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渐进式引导解码网络的图像修复模型，其特征在于，提出端到端架构，所述端到端架构由生成器和鉴别器组成；所述生成器由编码网络和包括并行解码分支的渐进式解码网络组成；所述编码网络通过多尺度感知残差模块学习多尺度特征；所述编码网络旨在压缩256x256将图像分割成多层次的特征图；在渐进式解码网络中，来自前一个解码分支的重建特征和梯度被用于指导下一个解码支路的重建，其渐进地填充和细化掩蔽区域；所述鉴别器预测具有不同大小的所有图像块；在鉴别器中使用频谱归一化来稳定训练，输出最终修复后的图像。2.根据权利要求1所述的一种渐进式引导解码网络的图像修复模型，其特征在于，所述并行解码分支使用跳跃连接彼此连接，使用注意机制卷积块注意模块融合来自不同分支的多尺度特征，在编码网络的最后一层中块以提取个多尺度特征。3.根据权利要求2所述的一种渐进式引导解码网络的图像修复模型，其特征在于，所述渐进式解码网络包括渐进式特征细化、梯度引导和多尺度融合。4.根据权利要求3所述的一种渐进式引导解码网络的图像修复模型，其特征在于，所述渐进式特征细化过程使用重影卷积代替学习特征的卷积，同时增加注意力机制突出关键特征；各信道之间通过级联设计连接。5.根据权利要求4所述的一种渐进式引导解码网络的图像修复模型，其特征在于，所述梯度引导包括梯度地图引导和每个恢复图像的梯度损失限制，来自前一分支的最后一个块的丰富梯度信息被一步一步地传递到下一个解码分支。6.根据权利要求5所述的一种渐进式引导解码网络的图像修复模型，其特征在于，所述多尺度融合在最后一个解码分支中集成了不同的分辨率图，将融合策略被命名为高效多尺度融合，其中，包含两个注意力机制：Attn
l
和Attn
co
。7.根据权利要求6所述的一种渐进式引导解码网络的图像修复模型，其特征在于，在高效多尺度融合实现过程中，由最终解码路径(l＝1，2，3)的l个块产生的特征图f
3,l
具有不同的分辨率，不同比例的特征图在融合之前被上采样到相同的分辨率；在f
3,l
上使用CECA，并获得相应的信道关注向量Attn
l
，其突出贡献信道并抑制无用信道；公共注意力向量Attn
co
是通过沿信道维度添加所有唯一Attn
l
并输入Softmax函数来生成的；所获得的Attn
l
和Attn
co...

【专利技术属性】
技术研发人员：苏飏，董秀成，蒋金洋，侯爽，费春霞，刘俊君，
申请(专利权)人：四川华控图形科技有限公司，
类型：发明
国别省市：