一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种图像处理方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：获取待处理的面部图像；从所述面部图像中分割出面部轮廓以及不同面部器官各自对应的局部图像块；利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原，得到所述面部轮廓以及不同面部器官各自对应的局部清晰图像块；将所述面部轮廓以及不同面部器官各自对应的局部清晰图像块进行拼接，得到目标面部清晰图像，其中，所述目标面部清晰图像的清晰度大于所述面部图像的清晰度。本申请实施例中，通过该方法对面部模糊图像中丢失的细节进行还原，便可以准确获得纹理清晰、细节丰富的高分辨图像。

An image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质
本申请属于图像处理
，具体涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
随着深度学习的应用愈加广泛，针对各类场景的人脸识别技术也在飞速发展，各类算法的识别准确率也在不断增加。但是在整个人脸识别的过程中，不管是训练数据还是测试数据，数据的质量对于识别准确率的影响都是非常大的，尤其对一些监控录像中的人脸数据进行处理和识别过程中，因为采集数据的设备本身的硬件条件不够，或者是在采集的过程中存在人脸的快速移动，亦或者是由于恶劣天气(例如雨雾)、光照(例如光照过强、过暗等)都会导致视频中的人脸出现模糊，因此针对视频中人脸识别中出现模糊人脸这一现象提出了基于视频中模糊人脸的清晰化方法。基于视频中模糊人脸的清晰化方法采用基于学习的单帧图像超分辨率重建。借助深度学习技术，通过学习低分辨率与高分辨率图像之间的映射关系估计低分辨率图像中丢失的细节，以获得纹理清晰、细节丰富的高分辨率图像。该方法虽然能在一定程度上将低分辨率图像还原成较高分辨率图像，但是还原程度有限，对于一些局部纹理、局部细节仍然没办法还原。
技术实现思路
鉴于此，本申请的目的在于提供一种图像处理方法、装置、电子设备及存储介质，以改善现有模糊人脸的清晰化方法所存在的还原程度有限，对于一些局部纹理、局部细节仍然没办法还原的问题。本申请的实施例是这样实现的：第一方面，本申请实施例提供了一种图像处理方法，包括：获取待处理的面部图像；从所述面部图像中分割出面部轮廓以及不同面部器官各自对应的局部图像块；利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原，得到所述面部轮廓以及不同面部器官各自对应的局部清晰图像块；将所述面部轮廓以及不同面部器官各自对应的局部清晰图像块进行拼接，得到目标面部清晰图像，其中，所述目标面部清晰图像的清晰度大于所述面部图像的清晰度。本申请实施例中，通过将面部图像分割成面部轮廓以及不同面部器官(如眼睛、鼻子、嘴巴、耳朵)各自对应的局部图像块，然后利用与面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原，将还原后的面部轮廓以及不同面部器官各自对应的局部图像块进行拼接，便可以准确获得纹理清晰、细节丰富的高分辨图像。由于在图像还原时，是基于面部轮廓以及不同面部器官各自进行还原，相比于将面部作为一个整体进行还原来说，更能捕获图像中丢失的细节、纹理，因此基于该方法获得的面部清晰图像的分辨率更高，图像的质量更好。结合第一方面实施例的一种可能的实施方式，获取待处理的面部图像，包括：从视频中获取包含面部的初始图像；从所述初始图像中提取出面部特征，得到所述面部图像。本申请实施例中，先从视频中获取包含面部的初始图像，然后再从初始图像中提取出面部特征，得到面部图像，以便于进行后续直接基于面部图像进行处理，可加快处理的流程。结合第一方面实施例的一种可能的实施方式，在利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原之前，所述方法还包括：通过训练获得与所述面部轮廓以及不同面部器官各自对应的映射网络。本申请实施例中，通过训练获得与所述面部轮廓以及不同面部器官各自对应的映射网络，以便于在对面部图像进行还原时，基于不同的局部部位选取对应的映射网络，以提高对图像中丢失的细节、纹理的还原程度。结合第一方面实施例的一种可能的实施方式，通过以下步骤训练获得与所述面部轮廓以及不同面部器官各自对应的映射网络：获取训练样本，所述训练样本包括：来自同一对象的同一预设部位的局部面部模糊图像块和局部面部清晰图像块，其中，所述预设部位为：不同面部器官或面部轮廓；利用所述训练样本对对应的初始映射网络进行训练，得到与所述预设部位对应的映射网络。本申请实施例中，通过将来自同一对象的同一预设部位的局部面部模糊图像块和局部面部清晰图像块作为训练样本，然后利用该训练样本对对应的初始映射网络进行训练，得到与所述面部轮廓以及不同面部器官各自对应的映射网络，通过借助深度学习技术，通过学习面部轮廓以及不同面部器官各自对应的低分辨率与高分辨率图像之间的映射关系，以此来估计低分辨率图像中丢失的细节，以获得纹理清晰、细节丰富的高分辨率图像。结合第一方面实施例的一种可能的实施方式，获取训练样本，包括：获取来自同一对象的面部模糊图像和面部清晰图像；从所述面部模糊图像以及所述面部清晰图像中分别提取出所述同一预设部位的局部图像块，得到所述训练样本。本申请实施例中，将来自同一对象的同一预设部位的局部面部模糊图像块和局部面部清晰图像块作为训练样本，从源头上保证了训练数据的质量，为后续处理得到纹理清晰、细节丰富的高分辨率图像夯实了基础。结合第一方面实施例的一种可能的实施方式，利用所述训练样本对对应的初始映射网络进行训练，包括：将所述训练样本中的局部面部模糊图像块输入所述初始映射网络中进行还原，得到还原图像；将所述还原图像与所述训练样本中的局部清晰图像进行相似度比较；若比较结果的相似程度小于预设阈值，调整所述初始映射网络的参数，并继续训练；若比较结果的相似程度不小于所述预设阈值，得到训练好的映射网络。本申请实施例中，通过借助深度学习技术，将训练样本中的局部面部模糊图像块输入将映射网络进行还原，得到还原图像，将还原图像与对应的局部清晰图像进行相似度比较，直至两者的相似度大于预设阈值才停止训练，以保证训练得到的映射网络学习到的低分辨率与高分辨率图像之间的映射关系的准确度很高，以便于后续以此来估计低分辨率图像中丢失的细节，从而获得纹理清晰、细节丰富的高分辨率图像。第二方面，本申请实施例还提供了一种图像处理装置，包括：获取模块、分割模块、还原模块以及拼接模块；获取模块，用于获取待处理的面部图像；分割模块，用于从所述面部图像中分割出面部轮廓以及不同面部器官各自对应的局部图像块；还原模块，用于利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原，得到所述面部轮廓以及不同面部器官各自对应的局部清晰图像块；拼接模块，用于将所述面部轮廓以及不同面部器官各自对应的局部清晰图像块进行拼接，得到目标面部清晰图像，其中，所述目标面部清晰图像的清晰度大于所述面部图像的清晰度。结合第二方面实施例的一种可能的实施方式，所述装置还包括：获得模块，用于在所述获取模块获取待处理的面部图像之前，通过训练获得与所述面部轮廓以及不同面部器官各自对应的映射网络。第三方面，本申请实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。附图说本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取待处理的面部图像；从所述面部图像中分割出面部轮廓以及不同面部器官各自对应的局部图像块；利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原，得到所述面部轮廓以及不同面部器官各自对应的局部清晰图像块；将所述面部轮廓以及不同面部器官各自对应的局部清晰图像块进行拼接，得到目标面部清晰图像，其中，所述目标面部清晰图像的清晰度大于所述面部图像的清晰度。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理的面部图像；从所述面部图像中分割出面部轮廓以及不同面部器官各自对应的局部图像块；利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原，得到所述面部轮廓以及不同面部器官各自对应的局部清晰图像块；将所述面部轮廓以及不同面部器官各自对应的局部清晰图像块进行拼接，得到目标面部清晰图像，其中，所述目标面部清晰图像的清晰度大于所述面部图像的清晰度。2.根据权利要求1所述的方法，其特征在于，获取待处理的面部图像，包括：从视频中获取包含面部的初始图像；从所述初始图像中提取出面部特征，得到所述面部图像。3.根据权利要求1或2所述的方法，其特征在于，在利用与所述面部轮廓以及不同面部器官各自对应的事先训练好的映射网络对对应的局部图像块进行还原之前，所述方法还包括：通过训练获得与所述面部轮廓以及不同面部器官各自对应的映射网络。4.根据权利要求3所述的方法，其特征在于，通过以下步骤训练获得与所述面部轮廓以及不同面部器官各自对应的映射网络：获取训练样本，所述训练样本包括：来自同一对象的同一预设部位的局部面部模糊图像块和局部面部清晰图像块，其中，所述预设部位为：不同面部器官或面部轮廓；利用所述训练样本对对应的初始映射网络进行训练，得到与所述预设部位对应的映射网络。5.根据权利要求4所述的方法，其特征在于，获取训练样本，包括：获取来自同一对象的面部模糊图像和面部清晰图像；从所述面部模糊图像以及所述面部清晰图像中分别提取出所述同一预设部位的局部图像块，得到所述训练样本。...

【专利技术属性】
技术研发人员：白雪松，柯学，
申请(专利权)人：上海骏聿数码科技有限公司，
类型：发明
国别省市：上海,31