图像修复方法、装置、设备、介质及产品制造方法及图纸

技术编号:33713422 阅读:28 留言:0更新日期:2022-06-06 08:51
本公开提供了一种图像修复方法、装置、设备、介质以及产品,该方法包括:获取待修复图像,然后从图像库中确定待修复图像的多张相似图像,其中包括第一相似图像和第二相似图像,融合待修复图像和第一相似图像与第二相似图像,并将融合后的图像输入图像修复模型,通过图像修复模型的第一分支对从融合后的图像提取的特征图进行序列化和编码,得到第一编码结果,通过图像修复模型的第二分支对特征图按照不同尺度分割的子特征图集合进行分别编码,并将子特征图集合中的子特征图的编码结果进行全连接,获得第二编码结果,根据第一编码结果和第二编码结果获得修复后的图像。如此,提高了图像修复的真实性,提高了用户的使用体验。提高了用户的使用体验。提高了用户的使用体验。

【技术实现步骤摘要】
图像修复方法、装置、设备、介质及产品


[0001]本公开涉及图像处理
,尤其涉及一种图像修复方法、装置、设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]随着图像处理技术的不断成熟,用户对于通过图像处理技术进行图像修复的需求逐渐增强。图像修复是指对于图像中的缺失部分进行修复。具体地,图像修复是指基于图像中的已知信息去还原图像中的未知信息。
[0003]一种典型的图像修复方案是,针对待修复图像,确定待修复图像中的修复区域,为该修复区域确定参考区域,然后基于图像的参考区域的像素值,通过神经网络模型预测修复区域的像素值,从而实现图像修复。但是这种图像修复技术可能导致修复区域存在波纹、扭曲等失真情况,不满足用户对于图像修复真实度的要求。
[0004]如何提高图像修复的真实性成为亟需解决的问题。

技术实现思路

[0005]本公开的目的在于:提供了一种图像修复方法、装置、设备、计算机可读存储介质以及计算机程序产品,能够对于待修复图像进行高真实度的修复,提高用户的使用体验。
[0006]第一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法,其特征在于,所述方法包括:获取待修复图像;从图像库中确定所述待修复图像的多张相似图像,所述多张相似图像至少包括第一相似图像和第二相似图像;融合所述待修复图像和所述第一相似图像、所述第二相似图像,并将融合后的图像输入图像修复模型,通过所述图像修复模型的第一分支对从所述融合后的图像中提取的特征图进行序列化和编码,得到第一编码结果,通过所述图像修复模型的第二分支对所述特征图按照不同尺度分割的子特征图集合分别进行编码,并将所述子特征图集合中的子特征图的编码结果进行全连接,得到第二编码结果,根据所述第一编码结果和所述第二编码结果获得修复后的图像。2.根据权利要求1所述的方法,其特征在于,所述图像修复模型通过训练图像训练得到,所述训练图像包括多张相似图像,所述多张相似图像中包括掩码图像,所述掩码图像通过对所述相似图像进行掩码获得。3.根据权利要求2所述的方法,其特征在于,所述图像修复模型通过以下方式训练得到:从所述训练图像中提取训练特征图;通过所述图像修复模型的第一分支对所述训练特征图进行序列化和编码,获得第一训练编码结果;通过所述图像修复模型的第二分支对所述训练特征图按照不同尺度分割的训练子特征图集合分别进行编码,并将所述训练子特征集合中的训练子特征图的编码结果进行全连接,获得第二训练编码结果;根据所述第一训练编码结果、所述第二训练编码结果修复所述掩码图像;根据修复后的掩码图像与掩码前的训练图像更新所述图像修复模型参数。4.根据权利要求1所述的方法,其特征在于,所述从图像库中确定所述待修复图像的多张相似图像,包括:将所述待修复图像输入特征比对模型,获得所述待修复图像的搜索特征;根据所述搜索特征从图像特征库中获取与所述搜索特征相似的多个相似特征;根据所述多个相似特征,从图像库中获取所述待修复图像的多张相似图像,所述图像库中的图像与所述图像特征库中的特征一一对应。5.根据权利要求4所述的方法,其特征在于,所述将所述待修复图像输入特征比对模型,获得所述待修复图像的搜索特征,包括:将所述待修复图像输入特征比对模型,通过所述特征比对模型对所述待修复图像进行下采样获得所述待修复图像的特征图,并对所述特征图进行编码,获得所述待修复图像的搜索特征。6.根据权利要求1至5任意一项所述的方法,其特征在于,所述多张相似图像与所述待修复图像均为同一主体在不同时刻或不同角度的图像。7.根据权利要求1至5任意一项所述的方法,其特征在于,所述多张相似图像与所述待修复图像为拍摄地点相同的图像。8.一种图像修复装置,其特征在于,所述装置包括:
获取模块,用于获取待修复图像;确定模块,用于从图像库中确定所述待修复图像的多张相似图像,所述多张相似图像至少包括第一相似图像和第二相似图像...

【专利技术属性】
技术研发人员:毛晓飞黄灿
申请(专利权)人:北京有竹居网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1