【技术实现步骤摘要】
基于多尺度内容注意力机制的图像修复方法、存储介质和终端
本专利技术涉及图像修复领域，尤其涉及基于多尺度内容注意力机制的图像修复方法、存储介质和终端。
技术介绍
图像补全算法对需要移除的内容添加特殊遮挡的标记并处理，生成满足视觉要求逼真的照片。图像补全技术是一种介于图像编辑和图像生成的技术，利用破损部分的领域图像信息和整体结构信息对缺失部分进行填充和修复。修补部分能与原始图像需要达到风格统一、过渡自然、符合图像语义的要求，满足观察者的视觉需求，使观察者无法分辨出真实图像与生成图像。针对图像补全任务，研究人员提出了多种不同的方法，大致可分为三类：(1)基于像素点传播扩散的方法(Diffusion-basedmethods)，通过引入欧拉弹性来传播缺失部分周围的局部信息来填充该区域。(2)基于补丁的方法(Patch-basedmethods)，通过从相同图像(或图像集合)的相似区域(即源)复制信息来填充缺失的区域(即目标)。(3)基于深度学习的方法(Deeplearning-basedmethods)，通过生成对抗...
【技术保护点】
1.基于多尺度内容注意力机制的图像修复方法，其特征在于：包括以下步骤：/n将待修复图像输入至训练完成的图像修复网络中进行图像修复；/n所述图像修复网络包括顺次连接的边缘检测模块、边缘生成对抗网络和内容生成对抗网络；所述边缘生成对抗网络包括边缘生成器G
【技术特征摘要】
1.基于多尺度内容注意力机制的图像修复方法，其特征在于：包括以下步骤：
将待修复图像输入至训练完成的图像修复网络中进行图像修复；
所述图像修复网络包括顺次连接的边缘检测模块、边缘生成对抗网络和内容生成对抗网络；所述边缘生成对抗网络包括边缘生成器G1和边缘鉴别器D1，所述内容生成对抗网络包括内容生成器G2和内容鉴别器D2；
所述边缘生成器G1和内容生成器G2均包括若干卷积层、若干残差块和若干反卷积层，在所述反卷积层之间还包括一个多尺度内容注意力模块；所述多尺度内容注意力模块分别利用侧重提取图像风格特征的第一补丁和侧重提取图像基本特征的第二补丁，作为卷积滤波器来处理预生成的特征补丁，合并特征后输出。
2.根据权利要求1所述的基于多尺度内容注意力机制的图像修复方法，其特征在于：所述图像修复网络的训练包括以下子步骤：
获取残缺图样本完整图样本Igt和遮罩图样本M；
将残缺图样本输入至边缘检测模块中得到残缺图的边缘图并将完整图样本输入至边缘检测模块中得到完整图的边缘图Cgt；
将残缺图的边缘图残缺图的灰度图和遮罩图M输入至边缘生成对抗网络，得到边缘假想图Cpred；
利用所述边缘假想图Cpred、遮罩图M、完整图的边缘图Cgt计算得到完整图的边缘假想图Ccomp＝Cgt⊙(1-M)+Cpred⊙M，将所述完整图的边缘假想图Ccomp和残缺图样本输入至内容生成对抗网络，得到内容修复图Ipred；
利用边缘假想图Cpred、完整图的边缘图Cgt、完整图的灰度图Igray计算边缘生成对抗网络的损失，对边缘生成对抗网络进行更新；
利用完整图样本Igt、完整图的边缘假想图Ccomp、内容修复图Ipred、残缺图的边缘图非残缺区域的内容再次生成图计算内容生成对抗网络的损失，对内容生成对抗网络进行更新。
3.根据权利要求2所述的基于多尺度内容注意力机制的图像修复方法，其特征在于：所述利用边缘假想图Cpred、完整图的边缘图Cgt、完整图的灰度图Igray计算边缘生成对抗网络的损失，包括：
利用边缘假想图Cpred、完整图的边缘图Cgt、完整图的灰度图Igray计算得到对抗性损失Ladv,1；
利用边缘假想图Cpred、完整图的边缘图Cgt计算得到特征匹配损失LFM；
利用对抗性损失Ladv,1和特征匹配损失LFM计算边缘生成对抗网络的损失。
4.根据权利要求2所述的基于多尺度内容注意力机制的图像修复方法，其特征在于：所述利用完整图样本Igt、完整图的边缘假想图Ccomp、内容修复图Ipred、残缺图的边缘图非残缺区域的内容再次生成图计算内容生成对抗网络的损失，包括：
利用完整图样本Igt、完整图的边缘假想图Ccomp、内容修复图Ipred计算得到对抗性损失Ladv,2；
利用完整图样本Igt、内容修复图Ipred计算得到感知损失Lperc；
利用残缺图样本非残缺区域的内容再次生成图计算得到风格损失Lstyle；
利用完整图的边缘假想图Ccomp、残缺图的边缘图计...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。