图像修复模型训练方法、图像修复方法、装置及存储介质制造方法及图纸

技术编号:36545315 阅读:14 留言:0更新日期:2023-02-04 16:57
本申请公开了一种图像修复模型训练方法、图像修复方法、装置及存储介质,其中,图像修复模型训练方法包括:将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络,生成第i个第二图像;根据第一参数和第二参数的相对熵确定第一损失值;所述第一参数根据所述第i个随机噪声和所述N个随机噪声的归一化结果确定;所述第二参数根据所述第i个第二图像和所述N个随机噪声对应生成的N个第二图像的归一化结果确定;所述N为大于1的整数;根据确定出的第一损失值,更新所述图像修复模型的权重参数。复模型的权重参数。复模型的权重参数。

【技术实现步骤摘要】
图像修复模型训练方法、图像修复方法、装置及存储介质


[0001]本申请涉及人工智能领域,尤其涉及一种图像修复模型训练方法、图像修复方法、装置、电子设备及存储介质。

技术介绍

[0002]图像修复,是指重建的图像中丢失或损坏的部分的过程。对于一些应用场景,一个待修复图像可能对应多个合理的修复结果,例如一个人脸鼻子区域损坏的待修复图像,合理的修复图像既可能是高鼻梁,也可能是塌鼻梁。
[0003]相关技术中,在基于随机噪声对待修复图像的进行图像修复的方法中,针对一个待修复图像进行修复时,仅能得到单一的修复图像,无法对一个待修复图像提供多样的修复图像。

技术实现思路

[0004]有鉴于此,本申请实施例提供一种图像修复模型训练方法、图像修复方法、装置、电子设备及存储介质,以至少解决相关技术在进行图像修复时,无法对一个待修复图像提供多样的修复图像的问题。
[0005]本申请实施例的技术方案是这样实现的:
[0006]本申请实施例提供了一种图像修复模型训练方法,包括:
[0007]将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络,生成第i个第二图像;
[0008]根据第一参数和第二参数的相对熵确定第一损失值;所述第一参数根据所述第i个随机噪声和所述N个随机噪声的归一化结果确定;所述第二参数根据所述第i个第二图像和所述N个随机噪声对应生成的N个第二图像的归一化结果确定;所述N为大于1的整数;
[0009]根据确定出的第一损失值,更新所述图像修复模型的权重参数。
[0010]其中,上述方案中,在所述根据确定出的第一损失值,更新所述图像修复模型的权重参数之前,所述方法还包括:
[0011]通过所述图像修复模型的判别网络对所述第i个第二图像进行分类,基于所述第i个第二图像的分类结果和第三图像的分类结果,确定第二损失值;所述第三图像表征所述第一图像对应的标定结果;
[0012]基于所述第i个第二图像与所述第三图像,确定第三损失值;
[0013]所述根据确定出的第一损失值,更新所述图像修复模型的权重参数,包括:
[0014]根据确定出的第一损失值、第二损失值和第三损失值,更新所述图像修复模型的权重参数。
[0015]上述方案中,所述基于所述第i个第二图像与所述第三图像,确定第三损失值,包括:
[0016]根据所述第i个第二图像与所述第三图像的范数,确定第四损失值;
[0017]基于所述第i个第二图像确定第一特征向量,基于所述第三图像确定第二特征向量,根据所述第一特征向量与所述第二特征向量的向量差的范数,确定第五损失值;
[0018]根据所述第四损失值和所述第五损失值确定所述第三损失值。
[0019]上述方案中,在所述将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络之前,所述方法还包括:
[0020]从设定的样本图库中确定第四图像;
[0021]对确定出的第三图像的设定区域进行掩码处理,得到所述第一图像。
[0022]上述方案中,所述从设定的样本图库中确定第四图像,包括:
[0023]对所述设定的样本图库中的第五图像进行目标检测,并基于目标检测过程中定位的目标矩形框对所述第五图像进行裁剪,确定所述第四图像。
[0024]本申请实施例还提供了一种图像修复方法,包括:
[0025]将待修复的第六图像和N个随机噪声输入图像修复模型的生成网络,输出N个第七图像;其中,
[0026]所述图像修复模型采用上述任一项所述图像修复模型训练方法训练得到。
[0027]本申请实施例还提供了一种图像修复模型训练装置,包括:
[0028]生成单元,用于将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络,生成第i个第二图像;
[0029]第一处理单元,用于根据第一参数和第二参数的相对熵确定第一损失值;所述第一参数根据所述第i个随机噪声和所述N个随机噪声的归一化结果确定;所述第二参数根据所述第i个第二图像和所述N个随机噪声对应生成的N个第二图像的归一化结果确定;所述N为大于1的整数;
[0030]训练单元,用于根据确定出的第一损失值,更新所述图像修复模型的权重参数。
[0031]本申请实施例还提供了一种图像修复装置,包括:
[0032]修复单元,用于将待修复的第六图像和N个随机噪声输入图像修复模型的生成网络,输出N个第七图像;其中,
[0033]所述图像修复模型采用上述任一项所述图像修复模型训练方法训练得到。
[0034]本申请实施例还提供了一种第一电子设备,包括:第一处理器及第一通信接口;其中,
[0035]所述第一处理器,用于将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络,生成第i个第二图像;
[0036]根据第一参数和第二参数的相对熵确定第一损失值;所述第一参数根据所述第i个随机噪声和所述N个随机噪声的归一化结果确定;所述第二参数根据所述第i个第二图像和所述N个随机噪声对应生成的N个第二图像的归一化结果确定;所述N为大于1的整数;
[0037]根据确定出的第一损失值,更新所述图像修复模型的权重参数。
[0038]本申请实施例还提供了一种第二电子设备,包括:第二处理器及第二通信接口;其中,
[0039]所述第二处理器,用于将待修复的第六图像和N个随机噪声输入图像修复模型的生成网络,输出N个第七图像;其中,
[0040]所述图像修复模型采用上述任一项所述图像修复模型训练方法训练得到。
[0041]本申请实施例还提供了一种第一电子设备,包括:第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器,
[0042]其中,所述第一处理器用于运行所述计算机程序时,执行上述任一项所述图像修复模型训练方法的步骤。
[0043]本申请实施例还提供了一种第二电子设备,包括:第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器,
[0044]其中,所述第二处理器用于运行所述计算机程序时,执行上述图像修复方法的步骤。
[0045]本申请实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述图像修复模型训练方法的步骤,或者实现上述图像修复方法的步骤。
[0046]本申请实施例提供的图像修复模型训练方法、图像修复方法、装置、电子设备及存储介质,将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络,生成第i个第二图像,以第i个随机噪声和N个随机噪声的归一化结果为第一参数,以及第i个第二图像和N个随机噪声对应生成的N个第二图像的归一化结果为第二参数,基于第一参数和第二参数的相对熵确定第一损失值,并根据第一损失值更新图像修复模型的生成网络的权重参数。在训练图像修复模型时,通过第一损失值更本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像修复模型训练方法,其特征在于,包括:将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络,生成第i个第二图像;根据第一参数和第二参数的相对熵确定第一损失值;所述第一参数根据所述第i个随机噪声和所述N个随机噪声的归一化结果确定;所述第二参数根据所述第i个第二图像和所述N个随机噪声对应生成的N个第二图像的归一化结果确定;所述N为大于1的整数;根据确定出的第一损失值,更新所述图像修复模型的权重参数。2.根据权利要求1所述的图像修复模型训练方法,在所述根据确定出的第一损失值,更新所述图像修复模型的权重参数之前,所述方法还包括:通过所述图像修复模型的判别网络对所述第i个第二图像进行分类,基于所述第i个第二图像的分类结果和第三图像的分类结果,确定第二损失值;所述第三图像表征所述第一图像对应的标定结果;基于所述第i个第二图像与所述第三图像,确定第三损失值;所述根据确定出的第一损失值,更新所述图像修复模型的权重参数,包括:根据确定出的第一损失值、第二损失值和第三损失值,更新所述图像修复模型的权重参数。3.根据权利要求2所述的图像修复模型训练方法,所述基于所述第i个第二图像与所述第三图像,确定第三损失值,包括:根据所述第i个第二图像与所述第三图像的范数,确定第四损失值;基于所述第i个第二图像确定第一特征向量,基于所述第三图像确定第二特征向量,根据所述第一特征向量与所述第二特征向量的向量差的范数,确定第五损失值;根据所述第四损失值和所述第五损失值确定所述第三损失值。4.根据权利要求1所述的图像修复模型训练方法,在所述将待修复的第一图像和N个随机噪声中的第i个随机噪声输入图像修复模型的生成网络之前,所述方法还包括:从设定的样本图库中确定第四图像;对确定出的第四图像的设定区域进行掩码处理,得到所述第一图像。5.根据权利要求4所述的图像修复模型训练方法,所述从设定的样本图库中确定第四图像,包括:对所述设定的样本图库中的第五图像进行目标检测,并基于目标检测过程中定位的目标矩形框对所述第五图像进行裁剪,确定所述第四图像。6.一种图像修复方法,其特征在于,包括:将待修复的第六图像和N个随机噪声输入图像修复模型的生成网络,输出N个第七图像;其中,所述图像修复模型采用如权利要求1至5任一项所述图像修复模型训练方法训练得到。7.一种图像...

【专利技术属性】
技术研发人员:左力文夏叶锋彭湃
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1