图像修复方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像修复方法及装置、电子设备和存储介质。所述方法包括：对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；确定所述目标图像中待修复的目标图像块；在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。像是基于所述目标图像得到的。像是基于所述目标图像得到的。

【技术实现步骤摘要】
图像修复方法及装置、电子设备和存储介质


[0001]本公开涉及图像
，尤其涉及一种图像修复方法及装置、电子设备和存储介质。

技术介绍

[0002]图像修复是指重建图像和/或视频中丢失或损坏的部分的过程。图像修复是计算机视觉领域的一个重要问题。在深度学习技术成为计算机视觉领域的主流技术以前，图像修复主要使用既定规则下的纹理、结构提取和传播的思路进行。在深度学习技术被广泛应用于计算机视觉领域之后，图像修复方面得到了较为迅速的发展，然而，图像修复的效果仍然有待提高。

技术实现思路

[0003]本公开提供了一种图像修复技术方案。
[0004]根据本公开的一方面，提供了一种图像修复方法，包括：
[0005]对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；
[0006]确定所述目标图像中待修复的目标图像块；
[0007]在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；
[0008]采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
[0009]基于待修复的目标图像得到训练图像集，采用所述训练图像集训练第一神经网络，通过对目标图像进行边缘提取，得到目标图像对应的边缘图像，确定目标图像中待修复的目标图像块，在所述边缘图像中，确定目标图像块对应的第一边缘图像块，并采用预先训练的第一神经网络对目标图像块和第一边缘图像块进行处理，得到目标图像块对应的修复图像块，由此针对用于对目标图像进行修复的第一神经网络，仅采用基于目标图像得到的训练图像进行训练，从而能够解决图像的不同创作者(例如不同画家、不同拍摄者等)之间存在创作风格差异的问题，能够使目标图像的修复效果与目标图像的原风格相符，使修复效果更自然，且无需获取复杂、大规模的训练数据集用于第一神经网络的训练。
[0010]在一种可能的实现方式中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；
[0011]在所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理之前，所述方法还包括：
[0012]对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样
本；
[0013]将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；
[0014]根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络。
[0015]在该实现方式中，通过基于目标图像实现训练图像的数据增广，并基于由目标图像进行数据增广得到的训练图像进行无监督学习，由此能够使第一神经网络学习到目标图像的特征，从而能够使第一神经网络学习到针对目标图像进行图像修复的能力。
[0016]在一种可能的实现方式中，所述对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本，包括：
[0017]生成所述原图样本和所述边图样本对应的掩码；
[0018]采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；
[0019]采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。
[0020]通过采用该实现方式得到原图损坏样本和边图损坏样本，由此能够基于无监督学习实现第一神经网络的训练。
[0021]在一种可能的实现方式中，所述将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本，包括：
[0022]将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；
[0023]将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。
[0024]在该实现方式中，第一子网络可以用于边缘结构的修复，第二子网络可以结合修复得到的边缘结构信息进行纹理修复，从而能够获得更好的修复效果。
[0025]在一种可能的实现方式中，所述根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络，包括：
[0026]根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。
[0027]在该实现方式中，在训练第一神经网络时，不仅考虑第二子网络输出的原图修复样本与原图样本之间的差异，还考虑第一子网络输出的边图修复样本与边图样本之间的差异，从而有助于进一步提高第一神经网络的修复效果。
[0028]在一种可能的实现方式中，所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：
[0029]将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；
[0030]采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。
[0031]在该实现方式中，第一子网络可以用于进行目标图像块的边缘结构的修复，第二
子网络可以结合修复得到的边缘结构信息进行目标图像块的纹理修复，从而能够针对目标图像获得更好的修复效果。
[0032]在一种可能的实现方式中，所述采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：
[0033]对所述目标图像块进行预处理，得到预处理后的目标图像块；
[0034]将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。
[0035]在该实现方式中，通过对目标图像块进行预处理，得到预处理后的目标图像块，并将预处理后的目标图像块和第二边缘图像块输入第二子网络，经由第二子网络得到目标图像块对应的修复图像块，由此有助于获得更好的修复效果。
[0036]在一种可能的实现方式中，所述对所述目标图像块进行预处理，得到预处理后的目标图像块，包括：
[0037]根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；
[0038]确定与所述目标图像块的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于，包括：对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；确定所述目标图像中待修复的目标图像块；在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。2.根据权利要求1所述的方法，其特征在于，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；在所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理之前，所述方法还包括：对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络。3.根据权利要求2所述的方法，其特征在于，所述对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本，包括：生成所述原图样本和所述边图样本对应的掩码；采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。4.根据权利要求2或3所述的方法，其特征在于，所述将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本，包括：将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。5.根据权利要求4所述的方法，其特征在于，所述根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络，包括：根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的
修复图像块，包括：将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。7.根据权利要求6所述的方法，其特征在于，所述采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：对所述目标图像块进行预处理，得到预处理后的目标图像块；将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。8.根据权利要求7所述的方法，其特征在于，所述对所述目标图像块进行预处理，得到预处理后的目标图像块，包括：根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；确定与所述目标图像块的纹理相似的目标纹理；将所述目标纹理复制至所述纹理复制区域，得到预处理后的目标图像块。9.根据权利要求8所述的方法...

【专利技术属性】
技术研发人员：邓瀚铭，卢乐炜，代季峰，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：