图像修复模型的训练方法及图像修复方法、装置及设备制造方法及图纸

本申请公开了一种图像修复模型的训练方法、装置及设备，对原图图像进行随机掩码操作，生成缺陷图像。将缺陷图像分离为多个单通道图像，并将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像。图像修复模型包括单通道图像修复模块。将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。由原图图像和预测图像获得的图像修复模型的损失值训练图像修复模型，直到达到预设条件。基于多个单通道图像的分层修复，能够充分学习图像的语义信息。预测图像的整体像素数值，能够降低已修复区域存在波纹、扭曲等失真情况的发生。如此，使得训练完成的图像修复模型对缺陷图像的修复效果更好。效果更好。效果更好。

【技术实现步骤摘要】
图像修复模型的训练方法及图像修复方法、装置及设备


[0001]本申请涉及图像处理领域，具体涉及一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备。

技术介绍

[0002]图像修复的主要目的是修复图像中的残缺部分。目前，通常是直接利用修复模型来预测残缺部分的像素数值以达到修复图像的目的。然而这种图像修复方式容易导致已修复的区域存在波纹、扭曲等失真情况。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备，能够提高图像的修复效果，减少修复失真的情况。
[0004]为解决上述问题，本申请实施例提供的技术方案如下：
[0005]第一方面，本申请实施例提供一种图像修复模型的训练方法，所述方法包括：
[0006]对原图图像进行随机掩膜操作，生成缺陷图像；
[0007]将所述缺陷图像分离为多个单通道图像；
[0008]将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
[0009]将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
[0010]根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
[0011]根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
[0012]第二方面，本申请实施例提供一种图像修复方法，所述方法包括：
[0013]将待修复图像分离为多个待修复单通道图像；
[0014]将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一项所述的图像修复模型的训练方法训练得到的；
[0015]将所述多个修复后的单通道图像进行合并，获得修复后的图像。
[0016]第三方面，本申请实施例提供一种图像修复模型的训练装置，所述装置包括：
[0017]生成单元，用于对原图图像进行随机掩膜操作，生成缺陷图像；
[0018]分离单元，用于将所述缺陷图像分离为多个单通道图像；
[0019]输入单元，用于将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
[0020]合并单元，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获
得预测图像；
[0021]获取单元，用于根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
[0022]训练单元，用于根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
[0023]第四方面，本申请实施例提供一种图像修复装置，所述装置包括：
[0024]分离单元，用于将待修复图像分离为多个待修复单通道图像；
[0025]输入单元，用于将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一项所述的图像修复模型的训练方法训练得到的；
[0026]合并单元，用于将所述多个修复后的单通道图像进行合并，获得修复后的图像。
[0027]第五方面，本申请实施例提供一种电子设备，包括：
[0028]一个或多个处理器；
[0029]存储装置，其上存储有一个或多个程序，
[0030]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
[0031]第六方面，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
[0032]第七方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
[0033]由此可见，本申请实施例具有如下有益效果：
[0034]本申请实施例提供一种图像修复模型的训练方法、装置及设备，先对原图图像进行随机掩码操作，生成缺陷图像。再将缺陷图像分离为多个单通道图像，并将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像。图像修复模型包括单通道图像修复模块。进而，将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。由原图图像和预测图像获得图像修复模型的损失值。利用损失值训练图像修复模型，直到达到预设条件。可知，在本申请实施例中，基于多个单通道图像的分层修复，能够充分学习图像的语义信息。另外，代替仅预测图像中残缺部分的像素数值，该训练方法可以预测图像的整体像素数值，能够降低已修复区域存在波纹、扭曲等失真情况的发生。如此，通过本申请实施例提供的图像修复模型的训练方法，能够使得训练完成的图像修复模型对缺陷图像的修复效果更好。
附图说明
[0035]图1为本申请实施例提供的一种示例性应用场景的框架示意图；
[0036]图2为本申请实施例提供的一种图像修复模型的训练方法的流程图；
[0037]图3为本申请实施例提供的一种多个单通道图像的示意图；
[0038]图4为本申请实施例提供的一种单通道图像修复模块的结构示意图；
[0039]图5为本申请实施例提供的一种图像修复方法的流程图；
[0040]图6为本申请实施例提供的一种图像修复模型的训练装置的结构示意图；
[0041]图7为本申请实施例提供的一种图像修复装置的结构示意图；
[0042]图8为本申请实施例提供的一种电子设备的基本结构的示意图。
具体实施方式
[0043]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
[0044]为了便于理解和解释本申请实施例提供的技术方案，先对本申请实施例中所涉及到的
技术介绍
进行介绍。
[0045]图像修复的主要目的是修复图像中的残缺部分。目前，通常是直接利用修复模型来预测残缺部分的像素数值以达到修复图像的目的。然而这种图像修复方式容易导致已修复的区域存在波纹、扭曲等失真情况。
[0046]基于此，本申请实施例提供了一种图像修复模型的训练方法、装置及设备，先对原图图像进行随机掩码操作，生成缺陷图像。再将缺陷图像分离为多个单通道图像，并将多个单通道图像分别输入单通道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复模型的训练方法，其特征在于，所述方法包括：对原图图像进行随机掩膜操作，生成缺陷图像；将所述缺陷图像分离为多个单通道图像；将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。2.根据权利要求1所述的方法，其特征在于，所述对原图图像进行随机掩膜操作，生成缺陷图像，包括：按照预设尺寸对原图图像进行划分，获取第一数量的原图图像块；每个所述原图图像块的尺寸均为所述预设尺寸；按照预设掩膜比例对所述第一数量的原图图像块进行随机掩膜操作，生成缺陷图像；所述缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成；所述第二数量和所述第三数量之和为所述第一数量，所述第三数量为所述第一数量与所述预设掩膜比例的乘积。3.根据权利要求1或2所述的方法，其特征在于，所述单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成；所述单通道图像修复模块包括特征编码器和特征解码器，所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像，包括：对目标单通道图像中的所述第二数量的单通道原图图像块进行展平操作，获得第一图像特征；所述目标单通道图像分别为所述多个单通道图像中的每一个；对所述目标单通道图像中的所述第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征；将所述第一图像特征输入所述特征编码器中，以使所述特征编码器对所述第一图像特征进行特征提取，获得第三图像特征；将所述第二图像特征和所述第三图像特征进行特征拼接，获得第四图像特征；将所述第四图像特征输入所述特征解码器中，以使所述特征解码器对所述第四图像特征中的每个值进行预测，获得第五图像特征；根据所述第五图像特征，获得所述目标单通道图像对应的单通道预测图像。4.根据权利要求3所述的方法，其特征在于，所述图像修复模型还包括平滑处理模块，所述将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像，包括：将所述多个单通道图像分别对应的单通道预测图像进行合并，获得合并图像；将所述合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述合并图像进行平滑处理操作，获得预测图像。5.根据权利要求4所述的方法，其特征在于，所述根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通
道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件，包括：根据所述损失值训练所述特征编码器、所述特征解码器以及所述平滑处理模块，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。6.根据权利要求4所述的方法，其特征在于，所述平滑处理模块为门控卷积神经网络。7.根据权利要求1所述的方法，其特征在于，所述多个单通道图像为R通道图像、G通道图像以及B通道图像。8.一种图像修复方法，其特征在于，所述方法包括：将待修复图像分离为多个待修复单通道图像；将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据权利要求1
‑
7任一项所述的图像修复模型的训练方法...

【专利技术属性】
技术研发人员：毛晓飞，黄灿，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：