一种图像修复方法、装置及设备制造方法及图纸

本申请公开了一种图像修复方法、装置及设备，获取待修复图像，将待修复图像输入空间归一化模型，以使空间归一化模型对待修复图像进行空间归一化操作，获得待修复图像对应的归一化特征图。进而，将待修复图像对应的归一化特征图输入图像修复模型，以使图像修复模型对待修复图像对应的归一化特征图进行修复，获取图像修复模型输出的修复后的图像。其中，空间归一化模型和图像修复模型均为训练完成之后的模型。空间归一化模型仅用于将待修复图像进映射到归一化空间，图像修复模型仅用于对归一化空间的归一化特征图进行图像修复。如此，通过空间归一化模型和图像修复模型分集解耦的方式，能够大大降低图像修复的难度，有效提升图像修复的效率。像修复的效率。像修复的效率。

【技术实现步骤摘要】
一种图像修复方法、装置及设备


[0001]本申请涉及图像处理领域，具体涉及一种图像修复方法、装置及设备。

技术介绍

[0002]图像修复的主要目的是修复图像中的残缺部分。目前，现有的图像修复方法是直接将有缺陷的图像输入图像修复模型中，获得图像修复模型输出的修复后的图像，这种图像修复方法的难度较高且效率较低。
[0003]因此，如何提供一种难度较低且效率较高的图像修复方式是亟待解决的问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种图像修复方法、装置及设备，能够降低图像修复的难度且提高图像修复的效率。
[0005]为解决上述问题，本申请实施例提供的技术方案如下：
[0006]第一方面，本申请实施例提供一种图像修复方法，所述方法包括：
[0007]获取待修复图像；
[0008]将待修复图像输入空间归一化模型，以使所述空间归一化模型对所述待修复图像进行空间归一化操作，获得所述待修复图像对应的归一化特征图；
[0009]将所述待修复图像对应的归一化特征图输入图像修复模型，以使所述图像修复模型对所述待修复图像对应的归一化特征图进行修复，获取所述图像修复模型输出的修复后的图像；
[0010]其中，所述空间归一化模型和所述图像修复模型均为训练完成之后的模型。
[0011]第二方面，本申请实施例提供一种图像修复装置，所述装置包括：
[0012]第一获取模块，用于获取待修复图像；
[0013]第二获取模块，用于将待修复图像输入空间归一化模型，以使所述空间归一化模型对所述待修复图像进行空间归一化操作，获得所述待修复图像对应的归一化特征图；
[0014]第三获取模块，用于将所述待修复图像对应的归一化特征图输入图像修复模型，以使所述图像修复模型对所述待修复图像对应的归一化特征图进行修复，获取所述图像修复模型输出的修复后的图像；
[0015]其中，所述空间归一化模型和所述图像修复模型均为训练完成之后的模型。
[0016]第三方面，本申请实施例提供一种电子设备，包括：
[0017]一个或多个处理器；
[0018]存储装置，其上存储有一个或多个程序，
[0019]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的图像修复方法。
[0020]第四方面，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一实施例所述的图像修复方法。
[0021]第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述任一实施例所述的图像修复方法。
[0022]由此可见，本申请实施例具有如下有益效果：
[0023]本申请实施例提供一种图像修复方法、装置及设备，先获取待修复图像，将待修复图像输入空间归一化模型，以使空间归一化模型对待修复图像进行空间归一化操作，获得待修复图像对应的归一化特征图。进而，将待修复图像对应的归一化特征图输入图像修复模型，以使图像修复模型对待修复图像对应的归一化特征图进行修复，获取图像修复模型输出的修复后的图像。其中，空间归一化模型和图像修复模型均为训练完成之后的模型。在本申请实施例中，空间归一化模型仅用于将待修复图像进映射到归一化空间。图像修复模型的输入为恒定归一化空间的归一化特征图，即图像修复模型仅用于对归一化空间的归一化特征图进行图像修复。如此，通过空间归一化模型和图像修复模型分集解耦的方式，能够大大降低图像修复的难度，有效提升图像修复的效率和效果。
附图说明
[0024]图1为本申请实施例提供的一种示例性应用场景的框架示意图；
[0025]图2为本申请实施例提供的一种空间归一化模型训练方法的流程图；
[0026]图3为本申请实施例提供的一种空间归一化模型的结构示意图；
[0027]图4为本申请实施例提供的一种图像修复模型训练方法的流程图；
[0028]图5为本申请实施例提供的一种图像修复模型的结构示意图；
[0029]图6为本申请实施例提供的一种图像修复方法的流程图；
[0030]图7为本申请实施例提供的一种图像修复装置的结构示意图；
[0031]图8为本申请实施例提供的一种电子设备的基本结构的示意图。
具体实施方式
[0032]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
[0033]为了便于理解和解释本申请实施例提供的技术方案，下面将先对本申请的
技术介绍
进行说明。
[0034]图像修复的主要目的是修复图像中的残缺部分。专利技术人在对传统的图像修复方法进行研究后发现，现有的图像修复方法是直接将有缺陷的图像输入图像修复模型中，获得图像修复模型输出的修复后的图像。但是这种图像修复方法的难度较高且效率较低。例如，当图像修复模型输出的修复后的图像存在波纹、扭曲等失真情况时，难以确定具体问题所在，使得图像修复的难度高且效率低。
[0035]因此，如何提供一种难度较低且效率较高的图像修复方式是亟待解决的问题。
[0036]基于此，本申请实施例提供了一种图像修复方法、装置及设备，先获取待修复图像，将待修复图像输入空间归一化模型，以使空间归一化模型对待修复图像进行空间归一化操作，获得待修复图像对应的归一化特征图。进而，将待修复图像对应的归一化特征图输入图像修复模型，以使图像修复模型对待修复图像对应的归一化特征图进行修复，获取图
像修复模型输出的修复后的图像。其中，空间归一化模型和图像修复模型均为训练完成之后的模型。在本申请实施例中，空间归一化模型仅用于将待修复图像进映射到归一化空间。图像修复模型的输入为恒定归一化空间的归一化特征图，即图像修复模型仅用于对归一化空间的归一化特征图进行图像修复。如此，通过空间归一化模型和图像修复模型分集解耦的方式，能够大大降低图像修复的难度，有效提升图像修复的效率和效果。
[0037]为了便于理解本申请实施例提供的图像修复方法，下面结合图1所示的场景示例进行说明。参见图1所示，该图为本申请实施例提供的示例性应用场景的框架示意图。
[0038]在实际应用中，先获取待修复图像，待修复图像为有缺陷的图像。将待修复图像输入空间归一化模型，以使空间归一化模型对待修复图像进行空间归一化操作，将待修复图像映射到归一化空间，获得待修复图像对应的归一化特征图。进而，将得到的待修复图像对应的归一化特征图输入图像修复模型，以使图像修复模型对待修复图像对应的归一化特征图进行修复，获取图像修复模型输出的修复后的图像。
[0039]其中，空间归一化模型和图像修复模型均为预先训练完成之后的模型。
[0040]为了便于理解本申请，下面先结合附图对本申请实施例提供的一种空间归一化模型训练方法进行说明。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述方法包括：获取待修复图像；将待修复图像输入空间归一化模型，以使所述空间归一化模型对所述待修复图像进行空间归一化操作，获得所述待修复图像对应的归一化特征图；将所述待修复图像对应的归一化特征图输入图像修复模型，以使所述图像修复模型对所述待修复图像对应的归一化特征图进行修复，获取所述图像修复模型输出的修复后的图像；其中，所述空间归一化模型和所述图像修复模型均为训练完成之后的模型。2.根据权利要求1所述的方法，其特征在于，所述空间归一化模型包括残差模块、N+1个显著特征提取模块、N+1个差异特征提取模块以及N个增强特征提取模块，所述空间归一化模型的训练过程，包括：将至少一个缺陷图像输入所述残差模块，获取每个缺陷图像分别对应的原始特征图；将第i
‑
1个目标融合特征图输入第i个显著特征提取模块，获取第i个目标显著特征图；i的取值为1至N的正整数，所述i的初始取值为1且当所述i的取值为1时，所述第i
‑
1个目标融合特征图为目标原始特征图，所述目标原始特征图为目标缺陷图像对应的原始特征图，所述目标缺陷图像分别为至少一个缺陷图像中的每一个；将所述第i
‑
1个目标融合特征图和所述第i个目标显著特征图输入第i个增强特征提取模块，获取第i个目标增强特征图，将所述第i
‑
1个目标融合特征图和所述第i个目标显著特征图输入第i个差异特征提取模块，获取第i个目标差异特征图；将所述第i个目标增强特征图和所述第i个目标差异特征图进行拼接，获取第i个目标融合特征图，重复执行所述将第i
‑
1个目标融合特征图输入第i个显著特征提取模块，获取第i个目标显著特征图以及后续步骤，直至所述i的取值为N；将第N个目标融合特征图输入第N+1个显著特征提取模块，获取第N+1个目标显著特征图，将所述第N个目标融合特征图和所述第N+1个目标显著特征图输入第N+1个差异特征提取模块，获取第N+1个目标差异特征图；将N个目标增强特征图以及所述第N+1个目标差异特征图组成所述目标缺陷图像对应的目标特征图集；根据各个缺陷图像分别对应的特征图集，获取第一损失值，基于所述第一损失值训练所述残差模块、所述N+1个显著特征提取模块、所述N+1个差异特征提取模块以及所述N个增强特征提取模块，直至达到第一预设条件。3.根据权利要求2所述的方法，其特征在于，当所述缺陷图像为多个时，所述多个缺陷图像的种类为至少两种；所述空间归一化模型还包括对抗网络损失模块和距离度量损失模块；所述根据各个缺陷图像分别对应的特征图集，获取第一损失值，包括：将各个缺陷图像分别对应的特征图集输入对抗网络损失模块中，获取对抗网络损失值；将各个缺陷图像分别对应的特征图集输入距离度量损失模块中，获取距离度量损失值；所述对抗网络损失值和所述距离度量损失值组成第一损失值。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将N个目标增强特征图以及所述第N+1个目标差异特征图进行拼接，获得所述目标缺陷图像对应的目标预测归一化特征图；所述目标缺陷图像由目标原图图像通过缺陷处理后获得；所述图像修复模型包括第一分支模型和第二分支模型，所述图像修复模型的训练过程，包括：将所述目标预测归一化特征图输入第一分支模型，以使所述第一分支模型对所述目标预测归一化特征图进行细节修复，获取目标预测细节特征图；将所述目标预测归一化特征图输入所述第二分支模型，以使所述第二分支模型对所述目标预测归一化特征图进行粗糙修复，获取目标预测轮廓特征图；将所述目标预测细节特征图和所述目标预测轮廓特征图进行拼接，获取所述目标原图图像对应的目标预测图像；基于各个原图图像以及每个原图图像对应的预测图像获取第二损失值，基于所述第二损失值训练所述第一分支模型和所述第二分支模型，直至达到第二预设条件。5.根据权利要求4所述的方法，其特征在于，所述图像修复模型还包括平滑处理模块，所述将所述目标预测细节特征图和所述目标预测轮廓特征图进行拼接，获取所述目标原图图像对应的目标预测图像，包括：将所述目标预测细节特征图和所述目标预测轮廓特征图进行拼接，获取目标拼接特征图；将所述目标拼接特征图输入所述平滑处理模块中，以使所述平滑处理模块对所述目标拼接特征图进行平滑处理操作，获取所述目标原图图像对应的目标预测图像；所述基于各个原图图像以及...

【专利技术属性】
技术研发人员：毛晓飞，黄灿，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：