图像修复方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像修复方法及装置、电子设备和存储介质，其中，所述方法包括：获取第一人脸图像和第二人脸图像；其中，所述第一人脸图像的清晰度大于清晰度阈值；基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征；基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像。本公开实施例可以提高修复图像的清晰度。

【技术实现步骤摘要】
图像修复方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种图像修复方法及装置、电子设备和存储介质。
技术介绍
计算机视觉技术是利用计算机以及相关设备对生物视觉进行模拟的一种技术，通过对采集的图像或视频进行处理可以获得相应场景的三维信息，从而模拟生物的观测。其中，图像是计算机视觉技术的基础，图像质量也是影响计算机视觉效果的关键，例如，在人脸识别场景中，需要高质量的人脸图像实现人脸的识别。但是，受限于图像拍摄装置，通常人脸图像是在非理想条件下进行采集，例如，由于弱光、抖动、失焦等非理想条件，都会使得人脸图像存在不清晰、模糊等问题。
技术实现思路
本公开提出了一种图像修复技术方案。根据本公开的一方面，提供了一种图像修复方法，包括：获取第一人脸图像和第二人脸图像；其中，所述第一人脸图像的清晰度大于清晰度阈值；基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征；基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像。在一个可能的实现方式中，所述方法还包括：提取所述第一人脸图像的第一关键点信息；提取所述第二人脸图像的第二关键点信息；根据所述第一关键点信息和所述第二关键点信息，确定所述第一人脸图像与所述第二人脸图像之间的形变信息。在一个可能的实现方式中，所述基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征，包括：基于所述形变信息对所述第一人脸图像进行至少一级第一特征提取，得到所述第一人脸图像的第一图像特征；对所述第二人脸图像进行至少一级第二特征提取，得到所述第二人脸图像的第二图像特征；根据所述第一人脸图像的第一图像特征和所述第二人脸图像的第二图像特征，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到所述第一融合特征。在一个可能的实现方式中，所述至少一级第一特征提取中的一级第一特征提取包括下采样处理和扭曲处理；所述基于所述形变信息对所述第一人脸图像进行至少一级第一特征提取，得到所述第一人脸图像的第一图像特征，包括：对所述第一人脸图像进行至少一级下采样处理，得到第一下采样特征；基于所述形变信息对所述第一下采样特征进行扭曲处理，得到所述第一人脸图像的第一图像特征。在一个可能的实现方式中，所述根据所述第一人脸图像的第一图像特征和所述第二人脸图像的第二图像特征，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到所述第一融合特征，包括：将所述至少一级第一特征提取中最后一级第一特征提取的第一图像特征与所述至少一级第二特征提取中最后一级第二特征提取的第二图像特征进行特征融合，得到所述第一融合特征。在一个可能的实现方式中，所述基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像，包括：对所述第一融合特征进行至少一级第三特征提取，得到所述至少一级第三特征提取中最后一级第三特征提取输出的第二融合特征；基于所述第二融合特征，对所述第二人脸图像进行修复得到第一修复图像。在一个可能的实现方式中，所述至少一级第三特征提取中的一级第三特征提取包括融合处理和上采样处理；所述对所述第一融合特征进行至少一级第三特征提取，得到所述至少一级第三特征提取中最后一级第三特征提取输出的第二融合特征，包括：针对所述至少一级第三特征提取中的一级第三特征提取，对输入的第二输入信息进行融合处理，得到第三融合特征；对所述第三融合特征进行上采样处理，得到所述一级第三特征提取的第二融合特征；其中，所述第二输入信息包括深度融合信息以及最后一级融合处理的第一融合特征，所述深度融合信息为最后一级融合处理的第一融合特征进行卷积处理得到的；或者，所述第二输入信息包括上一级第三特征提取得到的第二融合特征，以及与该第二融合特征的特征尺寸相匹配的第一融合特征。在一个可能的实现方式中，所述方法还包括：获取训练图像和参考图像；将所述训练图像和所述参考图像输入第一修复网络中，得到对所述训练图像进行修复的第二修复图像；基于所述第二修复图像与所述训练图像的标签图像，确定所述第一修复网络的网络损失；基于所述网络损失对所述第一修复网络的网络参数进行调整，得到训练完成的图像修复模型；其中，所述图像修复模型用于对所述第二人脸图像进行修复得到第一修复图像。根据本公开的一方面，提供了一种图像修复装置，其特征在于，包括：获取模块，用于获取第一人脸图像和第二人脸图像；其中，所述第一人脸图像的清晰度大于清晰度阈值；融合模块，用于基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征；修复模块，用于基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像。在一种可能的实现方式中，所述装置还包括：提取模块，用于提取所述第一人脸图像的第一关键点信息；提取所述第二人脸图像的第二关键点信息；根据所述第一关键点信息和所述第二关键点信息，确定所述第一人脸图像与所述第二人脸图像之间的形变信息。在一种可能的实现方式中，所述融合模块，具体用于基于所述形变信息对所述第一人脸图像进行至少一级第一特征提取，得到所述第一人脸图像的第一图像特征；对所述第二人脸图像进行至少一级第二特征提取，得到所述第二人脸图像的第二图像特征；根据所述第一人脸图像的第一图像特征和所述第二人脸图像的第二图像特征，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到所述第一融合特征。在一种可能的实现方式中，所述至少一级第一特征提取中的一级第一特征提取包括下采样处理和扭曲处理；所述融合模块，具体用于对所述第一人脸图像进行至少一级下采样处理，得到第一下采样特征；基于所述形变信息对所述第一下采样特征进行扭曲处理，得到所述第一人脸图像的第一图像特征。在一种可能的实现方式中，所述融合模块，具体用于将所述至少一级第一特征提取中最后一级第一特征提取的第一图像特征与所述至少一级第二特征提取中最后一级第二特征提取的第二图像特征进行特征融合，得到所述第一融合特征。在一种可能的实现方式中，所述修复模块，具体用于对所述第一融合特征进行至少一级第三特征提取，得到所述至少一级第三特征提取中最后一级第三特征提取输出的第二融合特征；基于所述第二融合特征，对所述第二人脸图像进行修复得到第一修复图像。在一种可能的实现方式中，所述至少一级第三特征提取中的一级第三特征提取包括融合处理和上采样处理；所述修复模块，具体用于针对所述至少一级第三特征提取中的一级第三特征提取，对输入的第二输入信息进行融合处理，得到第三融合特征；对所述第三融合特征进行上采样处理，得到所述一级第三特征提取的第二融合特征；其中，所述第二输入信息包括深度融合信息以及最后一级融合处理的第一融合特征，所述深度融合信息为最后一级融合处理的第一融合特征进行卷积处理得到的；或者，所述第二输入信息包括上一级第三特征提取得到的第二融合特征，以及与该第二融合特征的特征尺本文档来自技高网...

【技术保护点】
1.一种图像修复方法，其特征在于，包括：/n获取第一人脸图像和第二人脸图像；其中，所述第一人脸图像的清晰度大于清晰度阈值；/n基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征；/n基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像。/n

【技术特征摘要】
1.一种图像修复方法，其特征在于，包括：
获取第一人脸图像和第二人脸图像；其中，所述第一人脸图像的清晰度大于清晰度阈值；
基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征；
基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
提取所述第一人脸图像的第一关键点信息；
提取所述第二人脸图像的第二关键点信息；
根据所述第一关键点信息和所述第二关键点信息，确定所述第一人脸图像与所述第二人脸图像之间的形变信息。


3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一人脸图像与所述第二人脸图像之间的形变信息，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到第一融合特征，包括：
基于所述形变信息对所述第一人脸图像进行至少一级第一特征提取，得到所述第一人脸图像的第一图像特征；
对所述第二人脸图像进行至少一级第二特征提取，得到所述第二人脸图像的第二图像特征；
根据所述第一人脸图像的第一图像特征和所述第二人脸图像的第二图像特征，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到所述第一融合特征。


4.根据权利要求3所述的方法，其特征在于，所述至少一级第一特征提取中的一级第一特征提取包括下采样处理和扭曲处理；所述基于所述形变信息对所述第一人脸图像进行至少一级第一特征提取，得到所述第一人脸图像的第一图像特征，包括：
对所述第一人脸图像进行至少一级下采样处理，得到第一下采样特征；
基于所述形变信息对所述第一下采样特征进行扭曲处理，得到所述第一人脸图像的第一图像特征。


5.根据权利要求3或4所述的方法，其特征在于，所述根据所述第一人脸图像的第一图像特征和所述第二人脸图像的第二图像特征，对所述第一人脸图像和所述第二人脸图像进行特征融合，得到所述第一融合特征，包括：
将所述至少一级第一特征提取中最后一级第一特征提取的第一图像特征与所述至少一级第二特征提取中最后一级第二特征提取的第二图像特征进行特征融合，得到所述第一融合特征。


6.根据权利要求1至5任意一项所述的方法，其特征在于，所述基于所述第一融合特征，对所述第二人脸图像进行修复得到第一修复图像，包括：
对所述第一融合特征进行至...

【专利技术属性】
技术研发人员：王超，杨定东，王昊然，许泳哲，严琼，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44