一种基于线框和边缘结构的多尺度图像修复系统技术方案

本发明专利技术提供了一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：线框与边缘抽取模块利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对待处理图像进行边缘抽取得到边缘图像；结构修复模块基于待处理图像、线框图像以及边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；图像处理模块基于结构修复图像完成图像修复任务或对象移除任务。本发明专利技术的图像修复系统针对人造的场景(如室内家具、室外建筑)有更好的图像修复性能。

【技术实现步骤摘要】
一种基于线框和边缘结构的多尺度图像修复系统
本专利技术属于图像生成领域，具体涉及一种基于线框和边缘结构的多尺度图像修复系统。
技术介绍
图像修复是一种将图片中缺省的区域进行填充修补的任务。而图像修复的目的是确保修复的图像区域的纹理细节的真实性和合理性。并且通过不同的对图像遮掩的系统，图像修复可以为许多现实应用服务，例如图像恢复，图像编辑，对象移除等等。作为计算机视觉近年来的研究热门，基于深度学习的图像修复算法已经有了许多有价值的工作。其中不少工作致力于通过对模型的改进模型来改善填补区域的纹理细节。例如文[1]提出了基于门控卷积的图像修复算法，有效提升了不规则遮掩的图像修复效果。文[2]提出了多尺度的注意力模型，进一步提升了图像修复的纹理效果。然而这些模型并没有考虑到缺失的结构信息。针对缺失的结构信息，文[3]提出了一个两阶段的修复系统，首先还原缺失区域的边缘信息，再基于边缘进行图像修复上色。文[4]则是将不同算子得到的边缘梯度信息作为监督信号来进行多任务训练，以期望得到更优的效果。然而，这些辅助的边缘信息往往基于梯度运算，从而存在一些缺点，例如直线边缘往往是断断续续的，又由于依赖梯度从而丢失一些颜色不敏感的区域的结构信息。参考文献[1]YuJ,LinZ,YangJ,etal.Free-formimageinpaintingwithgatedconvolution[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2019:4471-4480.[2]ZengY,FuJ,ChaoH,etal.Learningpyramid-contextencodernetworkforhigh-qualityimageinpainting[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2019:1486-1494.[3]NazeriK,NgE,JosephT,etal.Edgeconnect:Generativeimageinpaintingwithadversarialedgelearning[J].arXivpreprintarXiv:1901.00212,2019.[4]YangJ,QiZ,ShiY.LearningtoIncorporateStructureKnowledgeforImageInpainting[C]//AAAI.2020:12605-12612.
技术实现思路
为解决上述问题，提供了一种充分利用了结构信息的图像修复系统，本专利技术采用了如下技术方案：本专利技术提供了一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：线框与边缘抽取模块，利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对待处理图像进行边缘抽取得到边缘图像；结构修复模块，基于待处理图像、线框图像以及边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；图像处理模块，基于结构修复图像完成图像修复任务或对象移除任务，其中，结构修复模型的训练过程包括如下步骤：步骤S1-1，利用预定的遮掩图层生成方法生成遮掩图层，并基于该遮掩图层对训练集进行遮掩，从而得到遮掩图像集；步骤S1-2，将遮掩图像集输入预先搭建好的初始线框抽取模型，并进行训练，从而得到训练好的初始线框抽取模型作为最终线框抽取模型；步骤S1-3，利用最终线框抽取模型从训练集中提取线框信息，通过预定的线段采样方法对线框信息进行采样，从而得到线框图层，并利用边缘抽取方法从训练集中进行边缘信息提取，得到边缘图层；步骤S1-4，将线框图层、边缘图层以及遮掩图像集输入预先搭建好的初始结构修复模型进行训练，初始结构修复模型为至少包括线框判别器、边缘判别器以及结构补充生成器的对抗网络，直到初始结构修复模型收敛，从而得到训练好的初始结构修复模型作为结构修复模型。根据本专利技术提供的一种基于线框和边缘结构的多尺度图像修复系统，还可以具有这样的技术特征，其中，线段采样方法为遮掩线段采样MLS：式中，li(i∈n)为线框信息中的线段，n为线段的总数，m为超参数，表示该线段去除的概率。根据本专利技术提供的一种基于线框和边缘结构的多尺度图像修复系统，还可以具有这样的技术特征，其中，步骤S1-4中初始结构修复模型训练过程中结构损失函数为：式中，为线框判别损失，为边缘判别损失，为结构补充生成损失，为特征匹配损失，为粗粒度复原损失，λg与λfm均为超参数。根据本专利技术提供的一种基于线框和边缘结构的多尺度图像修复系统，还可以具有这样的技术特征，其中，图像处理模块具有一个预先训练好的图像处理模型，并通过图像处理模型完成图像修复任务或对象移除任务，训练好的图像处理模型为对抗网络模型，该图像处理模型训练过程中图像修复损失函数为：式中，为图像修复判别损失，为图像修复生成损失，为L1范式损失，为感知损失，为style损失，λg、λper与λstyle均为超参数。根据本专利技术提供的一种基于线框和边缘结构的多尺度图像修复系统，还可以具有这样的技术特征，其中，步骤S1-1中遮掩图层生成方法包括如下步骤：步骤S2-1，根据语义分割数据集的语义分割标签图层构筑第一遮掩图层；步骤S2-2，通过设置随机角度对笔刷进行迭代涂抹，从而得到模拟了人类涂鸦习惯的第二遮掩图层；步骤S2-2，将第一遮掩图层与第二遮掩图层作为遮掩图层。根据本专利技术提供的一种基于线框和边缘结构的多尺度图像修复系统，还可以具有这样的技术特征，其中，边缘抽取方法为Canny边缘提取。根据本专利技术提供的一种基于线框和边缘结构的多尺度图像修复系统，还可以具有这样的技术特征，其中，初始结构修复模型还包括门控卷积模块、高效注意力模块以及分离解码模块，门控卷积模块的前向传播过程为：F＝Convf(X)，G＝Convg(X)GateConv(X)＝σ(G)·F，式中，X为初始结构修复模型中上一网络层的输出特征，σ为sigmoid激活函数，特征F与特征G分别为利用两组不同参数的卷积对特征X卷积得到，GateGonv(X)为特征F及特征G进行门控卷积后得到的特征，高效注意力模块的前向传播过程为：Q＝softmaxrow(Conv1Dq(X)+(M·-inf))K＝softmaxcol(Con1Dk(X)+(M·-inf))V＝Conv1Dv(X)，E＝Q(KTV)，式中，Conv1Dq，k，v为三组不同参数的一维卷积操作，softmaxrow与softmaxcol分别为行列softmax归一化，M为遮掩图层的0-1特征，0表示未被遮盖区域，1表示被遮盖区域，特征Q、K、V为针对本文档来自技高网...

【技术保护点】
1.一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：/n线框与边缘抽取模块，利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对所述待处理图像进行边缘抽取得到边缘图像；/n结构修复模块，基于所述待处理图像、所述线框图像以及所述边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；以及/n图像处理模块，基于所述结构修复图像完成图像修复任务或对象移除任务，/n其中，所述结构修复模型的训练过程包括如下步骤：/n步骤S1-1，利用预定的遮掩图层生成方法生成遮掩图层，并基于该遮掩图层对训练集进行遮掩，从而得到遮掩图像集；/n步骤S1-2，将所述遮掩图像集输入预先搭建好的初始线框抽取模型，并进行训练，从而得到训练好的初始线框抽取模型作为最终线框抽取模型；/n步骤S1-3，利用所述最终线框抽取模型从所述训练集中提取线框信息，通过预定的线段采样方法对所述线框信息进行采样，从而得到线框图层，并利用所述边缘抽取方法从所述训练集中进行边缘信息提取，得到边缘图层；/n步骤S1-4，将所述线框图层、所述边缘图层以及所述遮掩图像集输入预先搭建好的初始结构修复模型进行训练，所述初始结构修复模型为至少包括线框判别器、边缘判别器以及结构补充生成器的对抗网络，直到所述初始结构修复模型收敛，从而得到训练好的初始结构修复模型作为所述结构修复模型。/n...

【技术特征摘要】
1.一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：
线框与边缘抽取模块，利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对所述待处理图像进行边缘抽取得到边缘图像；
结构修复模块，基于所述待处理图像、所述线框图像以及所述边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；以及
图像处理模块，基于所述结构修复图像完成图像修复任务或对象移除任务，
其中，所述结构修复模型的训练过程包括如下步骤：
步骤S1-1，利用预定的遮掩图层生成方法生成遮掩图层，并基于该遮掩图层对训练集进行遮掩，从而得到遮掩图像集；
步骤S1-2，将所述遮掩图像集输入预先搭建好的初始线框抽取模型，并进行训练，从而得到训练好的初始线框抽取模型作为最终线框抽取模型；
步骤S1-3，利用所述最终线框抽取模型从所述训练集中提取线框信息，通过预定的线段采样方法对所述线框信息进行采样，从而得到线框图层，并利用所述边缘抽取方法从所述训练集中进行边缘信息提取，得到边缘图层；
步骤S1-4，将所述线框图层、所述边缘图层以及所述遮掩图像集输入预先搭建好的初始结构修复模型进行训练，所述初始结构修复模型为至少包括线框判别器、边缘判别器以及结构补充生成器的对抗网络，直到所述初始结构修复模型收敛，从而得到训练好的初始结构修复模型作为所述结构修复模型。


2.根据权利要求1所述的基于线框和边缘结构的多尺度图像修复系统，其特征在于：
其中，所述线段采样方法为遮掩线段采样MLS：



式中，li(i∈n)为所述线框信息中的线段，n为所述线段的总数，m为超参数，表示该线段去除的概率。


3.根据权利要求1所述的基于线框和边缘结构的多尺度图像修复系统，其特征在于：
其中，所述步骤S1-4中所述初始结构修复模型训练过程中结构损失函数为：



式中，为线框判别损失，为边缘判别损失，为结构补充生成损失，为特征匹配损失，为粗粒度复原损失，λg与λfm均为超参数。


4.根据权利要求1所述的基于线框和边缘结构的多尺度图像修复系统，其特征在于：
其中，所述图像处理模块具有一个预先训练好的图像处理模型，并通过图像处理模型完成图像修复任务或对象移除任务，
所述训练好的图像处理模型为对抗网络模型，该图像处理模型训练过程中图像修复损失函数为：



式中，为图像修复判别损失，为图像修复生成损失，为L1范式损失，为感知损失，为style损失，λg、λper与λstyle均为超参数。


5.根据权利要求1所述的基于线框和边缘结构的多尺度图像修复系统，其特征在于：
其中，所述步骤S1-1中所述遮掩图层生成方法包括如下步骤：
步骤S2-1，根据语义分割数据集的语义分割标签图层构筑第一遮掩图层；
步骤S2-2，通过设置随机角度对笔刷进行迭代涂抹，从而得到模拟了人类涂鸦习惯的第二遮掩图层；
步骤S2-2，将所述第一遮掩图层与所...

【专利技术属性】
技术研发人员：付彦伟，曹辰捷，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31