一种提高人脸图像清晰度的方法、装置及存储介质制造方法及图纸

本公开提供了一种提高人脸图像清晰度的方法、装置及存储介质，此方法包括:获取模糊式人脸图像；识别所述模糊式人脸图像的N个特征区，确定每个特征区对应的模糊式局部图像，获得N个模糊式局部图像，每个模糊式局部图像是所述模糊式人脸图像的部分图像；将所述模糊式人脸图像输入整体图处理模型，获得清晰式整体图像；将每个模糊式局部图像分别输入相应的局部图处理模型，获得N个清晰式局部图像；对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图。本公开在整体提升清晰度的基础上，进一步重点提高重要特征部位的清晰度，从而体现更多的重要细节信息。

【技术实现步骤摘要】
一种提高人脸图像清晰度的方法、装置及存储介质
本公开涉及图像处理
，尤其涉及一种提高人脸图像清晰度的方法、装置及存储介质。
技术介绍
用户使用智能终端进行拍照时，由于拍摄条件的限制，经常会出现拍摄到的图像中经常出现人像模糊的情况。例如镜头失焦和拍摄距离太远等原因，都会导致拍摄出的图像中的人物呈像模糊。在多人合影的场景下，镜头失焦造成人像模糊的情况经常出现，因为镜头只对焦在一个人物上，其它的人物的呈像就会出现模糊。如何提高人脸图像的清晰度是需要解决的问题。
技术实现思路
为克服相关技术中存在的问题，本公开提供了一种提高人脸图像清晰度的方法、装置及存储介质。根据本公开实施例的第一方面，提供一种提高人脸图像清晰度的方法，包括：获取模糊式人脸图像；所述模糊式人脸图像中包括一人脸；识别所述模糊式人脸图像的N个特征区，确定每个特征区对应的模糊式局部图像，获得N个模糊式局部图像，每个模糊式局部图像是所述模糊式人脸图像的部分图像；将所述模糊式人脸图像输入整体图处理模型，获得清晰式整体图像；将每个模糊式局部图像分别输入相应的局部图处理模型，获得N个清晰式局部图像；所述清晰式整体图像的清晰度大于所述模糊式人脸图像，所述清晰式局部图像的清晰度大于相应的模糊式局部图像；对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图；所述N是大于0的整数。在一实施方式中，所述获取模糊式人脸图像之前，还包括：获取待处理图像，识别待处理图像中的人脸，确定每个人脸对应的人脸区域图像，确定每个人脸区域图像的清晰度；将模糊式人脸图像将清晰度小于设定清晰度的人脸区域图像作为模糊式人脸图像。在一实施方式中，所述整体图处理模型是通过以下方式训练的：构建多个整体式样本对，每个整体式样本对包括一个模糊式整体样本图像和一个清晰式整体样本图像，所述模糊式整体样本图像是对所述清晰式整体样本图像进行降采样后的图像；将使用所述多个整体式样本对训练完成的用于处理整体图像的生成对抗网络，作为所述整体图处理模型。在一实施方式中，所有整体式样本对中的清晰式整体样本图像的尺寸相同；所述获取模糊式人脸图像，包括：判断所述模糊式人脸图像的尺寸是否大于所述整体式样本对中的清晰式整体图像的尺寸，在大于的情况下，对所述模糊式人脸图像进行裁剪，将裁剪后的图像作为更新后的模糊式人脸图像。在一实施方式中，所有整体式样本对中的清晰式整体图像中标的物的姿态表征信息相同；所述获取模糊式人脸图像，包括：判断所述模糊式人脸图像中标的物的姿态表征信息与所述整体式样本对中的清晰式整体样本图像中标的物的姿态表征信息的误差是否大于设定误差，在大于设定误差的情况下，对所述模糊式人脸图像中标的物进行校正处理，使校正处理后的标的物的姿态表征信息与所述整体式样本对中的清晰式整体样本图像中标的物的姿态表征信息的误差小于或等于所述设定误差。在一实施方式中，所述N个局部图处理模型是通过以下方式训练的：针对每个整体式样本对中的模糊式整体样本图像，识别所述模糊式整体样本图像的N个特征区，从所述模糊式整体样本图像中截取出每个特征区对应的模糊式局部样本图像，从所述模糊式整体样本图像对应的清晰式整体样本图像中截取出每个特征区对应的清晰式局部样本图像，获得N个局部式样本对，每个局部式样本对包括同一整体式样本对中相同特征区对应的模糊式局部样本图像和清晰式局部样本图像；确定与N个特征区对应的N个用于处理局部图像的生成对抗网络，使用对应于同一特征区的局部式样本对训练相应的用于处理局部图像的生成对抗网络，获得N个训练完的用于处理局部图像的生成对抗网络，作为N个局部图处理模型。在一实施方式中，所述方法还包括：根据每个特征区对应的设定尺寸和位置设置规则，确定每个特征区对应的模糊式局部样本图像；所述根据每个特征区对应的设定尺寸和位置设置规则，确定每个特征区对应的模糊式局部样本图像，包括：确定每个特征区对应的特征区覆盖范围，确定每个特征区对应的包含相应特征区覆盖范围的模糊式局部样本图像；每个特征区对应的模糊式局部样本图像的尺寸是此特征区对应的设定尺寸，并且每个特征区在相应的模糊式局部样本图像内的位置符合相应的位置设置规则；所述位置设置规则包括以下规则中的一种：所述特征区对应的特征区覆盖范围的中心点位于所述模糊式局部样本图像的中心点；所述特征区对应的特征区覆盖范围的中心点位于所述模糊式局部样本图像的设定位置点；所述特征区对应的特征区覆盖范围的设定侧的边界线贴合所述模糊式局部样本图像的设定侧的边界线。在一实施方式中，对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图像，包括：将所述清晰式整体图像和所述N个清晰式局部图像输入融合网络模型，获得融合式整体图像。在一实施方式中，所述融合网络模型是通过以下方式训练的：确定多个融合用样本组，每个融合用样本组包括：一个融合输入用样本整体图，N个融合输入用样本局部图像，一个融合目标用样本整体图；所述融合输入用样本整体图和融合目标用样本整体图是包含同一标的物的不同图像，所述N个融合输入用样本局部图像是所述输入用目标整体图中所述同一标的物中不同部位的局部图像；使用所述多个融合用样本组对神经网络进行训练，作为所述融合网络模型。在一实施方式中，所述使用所述多个融合用样本组对神经网络进行训练后，还包括：将所述融合用样本组中的融合输入用样本整体图输入至所述神经网络，获得所述神经网络输出的输出图像，将所述融合输入用样本整体图和所述输出图像输入至人脸一致性验证网络，根据所述人脸一致性验证网络的输出结果更新所述神经网络的参数。根据本公开实施例的第二方面，提供一种提高人脸图像清晰度的装置，包括：第一获取模块，被配置为获取模糊式人脸图像；所述模糊式人脸图像中包括一人脸；识别模块，被配置为识别所述模糊式人脸图像的N个特征区；第二获取模块，被配置为确定每个特征区对应的模糊式局部图像，获得N个模糊式局部图像，每个模糊式局部图像是所述模糊式人脸图像的部分图像；处理模块，被配置为将所述模糊式人脸图像输入整体图处理模型，获得清晰式整体图像；将每个模糊式局部图像分别输入相应的局部图处理模型，获得N个清晰式局部图像；所述清晰式整体图像的清晰度大于所述模糊式人脸图像，所述清晰式局部图像的清晰度大于相应的模糊式局部图像；融合模块，被配置为对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图；所述N是大于0的整数。在一实施方式中，所述装置还包括：第一确定模块，被配置为获取待处理图像，识别待处理图像中的人脸，确定每个人脸对应的人脸区域图像，确定每个人脸区域图像的清晰度，将清晰度小于设定清晰度的人脸区域图像作为模糊式人脸图像。在一实施方式中，所述装置包括：...

【技术保护点】
1.一种提高人脸图像清晰度的方法，其特征在于，包括：/n获取模糊式人脸图像；所述模糊式人脸图像中包括一人脸；/n识别所述模糊式人脸图像的N个特征区，确定每个特征区对应的模糊式局部图像，获得N个模糊式局部图像，每个模糊式局部图像是所述模糊式人脸图像的部分图像；/n将所述模糊式人脸图像输入整体图处理模型，获得清晰式整体图像；将每个模糊式局部图像分别输入相应的局部图处理模型，获得N个清晰式局部图像；所述清晰式整体图像的清晰度大于所述模糊式人脸图像，所述清晰式局部图像的清晰度大于相应的模糊式局部图像；/n对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图；/n所述N是大于0的整数。/n

【技术特征摘要】
1.一种提高人脸图像清晰度的方法，其特征在于，包括：
获取模糊式人脸图像；所述模糊式人脸图像中包括一人脸；
识别所述模糊式人脸图像的N个特征区，确定每个特征区对应的模糊式局部图像，获得N个模糊式局部图像，每个模糊式局部图像是所述模糊式人脸图像的部分图像；
将所述模糊式人脸图像输入整体图处理模型，获得清晰式整体图像；将每个模糊式局部图像分别输入相应的局部图处理模型，获得N个清晰式局部图像；所述清晰式整体图像的清晰度大于所述模糊式人脸图像，所述清晰式局部图像的清晰度大于相应的模糊式局部图像；
对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图；
所述N是大于0的整数。


2.如权利要求1所述的方法，其特征在于，
所述获取模糊式人脸图像之前，还包括：
获取待处理图像，识别待处理图像中的人脸，确定每个人脸对应的人脸区域图像，确定每个人脸区域图像的清晰度；将模糊式人脸图像将清晰度小于设定清晰度的人脸区域图像作为模糊式人脸图像。


3.如权利要求1所述的方法，其特征在于，
所述整体图处理模型是通过以下方式训练的：
构建多个整体式样本对，每个整体式样本对包括一个模糊式整体样本图像和一个清晰式整体样本图像，所述模糊式整体样本图像是对所述清晰式整体样本图像进行降采样后的图像；
将使用所述多个整体式样本对训练完成的用于处理整体图像的生成对抗网络，作为所述整体图处理模型。


4.如权利要求3所述的方法，其特征在于，
所有整体式样本对中的清晰式整体样本图像的尺寸相同；
所述获取模糊式人脸图像，包括：
判断所述模糊式人脸图像的尺寸是否大于所述整体式样本对中的清晰式整体图像的尺寸，在大于的情况下，对所述模糊式人脸图像进行裁剪，将裁剪后的图像作为更新后的模糊式人脸图像。


5.如权利要求3所述的方法，其特征在于，
所有整体式样本对中的清晰式整体图像中标的物的姿态表征信息相同；
所述获取模糊式人脸图像，包括：
判断所述模糊式人脸图像中标的物的姿态表征信息与所述整体式样本对中的清晰式整体样本图像中标的物的姿态表征信息的误差是否大于设定误差，在大于设定误差的情况下，对所述模糊式人脸图像中标的物进行校正处理，使校正处理后的标的物的姿态表征信息与所述整体式样本对中的清晰式整体样本图像中标的物的姿态表征信息的误差小于或等于所述设定误差。


6.如权利要求3、4或5所述的方法，其特征在于，
所述N个局部图处理模型是通过以下方式训练的：
针对每个整体式样本对中的模糊式整体样本图像，识别所述模糊式整体样本图像的N个特征区，从所述模糊式整体样本图像中截取出每个特征区对应的模糊式局部样本图像，从所述模糊式整体样本图像对应的清晰式整体样本图像中截取出每个特征区对应的清晰式局部样本图像，获得N个局部式样本对，每个局部式样本对包括同一整体式样本对中相同特征区对应的模糊式局部样本图像和清晰式局部样本图像；
确定与N个特征区对应的N个用于处理局部图像的生成对抗网络，使用对应于同一特征区的局部式样本对训练相应的用于处理局部图像的生成对抗网络，获得N个训练完的用于处理局部图像的生成对抗网络，作为N个局部图处理模型。


7.如权利要求3、4、或5所述的方法，其特征在于，
所述方法还包括：
根据每个特征区对应的设定尺寸和位置设置规则，确定每个特征区对应的模糊式局部样本图像；
所述根据每个特征区对应的设定尺寸和位置设置规则，确定每个特征区对应的模糊式局部样本图像，包括：
确定每个特征区对应的特征区覆盖范围，确定每个特征区对应的包含相应特征区覆盖范围的模糊式局部样本图像；每个特征区对应的模糊式局部样本图像的尺寸是此特征区对应的设定尺寸，并且每个特征区在相应的模糊式局部样本图像内的位置符合相应的位置设置规则；
所述位置设置规则包括以下规则中的一种：
所述特征区对应的特征区覆盖范围的中心点位于所述模糊式局部样本图像的中心点；
所述特征区对应的特征区覆盖范围的中心点位于所述模糊式局部样本图像的设定位置点；
所述特征区对应的特征区覆盖范围的设定侧的边界线贴合所述模糊式局部样本图像的设定侧的边界线。


8.如权利要求1所述的方法，其特征在于，
对所述清晰式整体图像和所述N个清晰式局部图像进行融合处理，获得融合式整体图像，包括：
将所述清晰式整体图像和所述N个清晰式局部图像输入融合网络模型，获得融合式整体图像。


9.如权利要求8所述的方法，其特征在于，
所述融合网络模型是通过以下方式训练的：
确定多个融合用样本组，每个融合用样本组包括：一个融合输入用样本整体图，N个融合输入用样本局部图像，一个融合目标用样本整体图；所述融合输入用样本整体图和融合目标用样本整体图是包含同一标的物的不同图像，所述N个融合输入用样本局部图像是所述输入用目标整体图中所述同一标的物中不同部位的局部图像；
使用所述多个融合用样本组对神经网络进行训练，作为所述融合网络模型。


10.如权利要求9所述的方法，其特征在于，
所述使用所述多个融合用样本组对神经网络进行训练后，还包括：
将所述融合用样本组中的融合输入用样本整体图输入至所述神经网络，获得所述神经网络输出的输出图像，将所述融合输入用样本整体图和所述输出图像输入至人脸一致性验证网络，根据所述人脸一致性验证网络的输出结果更新所述神经网络的参数。


11.一种提高人脸图像清晰度的装置，其特征在于，包括：
第一获取模块，被配置为获取模糊式人脸图像；所述模糊式人脸图像中包括一人脸；
识别模块，被配置为识别所述模糊式人脸图像的N个特征区；
第二获取模块，被配置为确定每个特征区对应的模糊式局部图像，获得N个模糊式局部图像，每个模糊式局部图像是所述模糊...

【专利技术属性】
技术研发人员：万韶华，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11