一种图像处理方法和设备技术

本申请公开了一种图像处理方法包括：对待处理图像进行人脸检测后，利用多个图像类别分别对应的低质量人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。应用本申请，能够有效提高图像质量评估的准确性。

Image processing method and device

The application discloses an image processing method including: after face detection of the processed image, the image quality of the result image of the face detection is evaluated and the image quality grade is determined by using the low quality face image regression model corresponding to the multiple image categories. Application of this application can effectively improve the accuracy of image quality assessment.

【技术实现步骤摘要】
一种图像处理方法和设备
本申请涉及图像处理技术，特别是一种图像处理方法和设备。
技术介绍
在非受控条件下，如光照、相机抖动和被拍摄主体运动等，日常采集的图像和视频存在的大量低质量图像，如强背光图像，低光照图像和模糊图像等，对当前人脸识别和活体检测造成了极大的阻碍，成为影响人脸识别和活体检测效果的难点。为解决这一问题，对图像进行预处理是提高人脸检测和识别效果的常用方法。预处理就是对输入图像进行优化，从而尽可能去除或者减小光照、成像系统、外部环境等对待处理图像的干扰，提高后续处理质量。在人脸检测识别技术中，现有的图像预处理方法主要是针对不同图像类别的低质量图像进行处理，一般是在假设已知光照模型或者模糊模型基础上进行预处理，例如，对于不同光照条件下采集的图像，如背光图像，低光照图像等，一般进行全局统一的归一化处理，如直方图均衡化、灰度拉伸和滤波等；对于模糊图像进行去模糊处理等。目前，对于背光图像，通常的检测方法为：将输入图像进行分块计算亮度，再根据小块之间的亮度对比关系确定前景背景的亮度；对于模糊图像，通常的检测方法为：将输入图像的边缘图像进行分块计算锐化度或模糊度，从而研究整体图像的模糊程度。要改进现有人脸识别和活体检测算法的效果，对输入图像进行整体的预处理是一种重要的方法。然而，对已有人脸识别和活体检测方法而言，依然是基于相同正常条件下的图像，一般没有考虑低质量图像，人脸识别和活体检测在自然条件下采集的低质量图像上的效果较差，存在严重的错识错检问题。同时，已有的方法中，人脸识别算法使用的数据库一般具有相似或相近的光照条件，能达到令人满意的检测效果。但是在遇到一些与数据库中的图像差异比较大的图像,尤其是脸部区域差异较大时，其识别检测效果将大打折扣。图1a、图1b和图1c展示了这一问题，人脸识别和活体检测不能识别和检测低质量图像上的真实人脸：图1a给出了背光图像样例；图1b给出了低光照图像样例；图1c给出了模糊图像样例。
技术实现思路
本申请提供一种图像处理方法，能够在活体检测和人脸识别中，有效实现图像质量的评估。为实现上述目的，本申请采用如下技术方案：一种图像处理方法，包括：对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。较佳地，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像进行CNN回归训练得到的，或者，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像和高质量的包括人脸的训练图像进行CNN回归训练得到的。较佳地，在确定所述图像质量等级后，该方法还包括：根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。较佳地，预先训练每个图像类别对应的人脸图像回归模型的方式包括：对于每个训练图像，预先利用所述训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据所述人脸检测结果图像和所述人脸识别概率分数，进行CNN回归训练，得到相应图像类别对应的人脸图像回归模型。较佳地，所述进行CNN回归训练包括：对于不同图像类别的训练图像，采用相同的CNN结构、卷积层参数和池化层参数进行CNN回归训练。较佳地，所述确定图像质量等级包括：利用每个图像类别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，得到每个图像类别对应的评估分数，再利用所有图像类别对应的评估分数确定所述图像质量等级。较佳地，利用所有图像类别对应的评估分数确定所述图像质量等级包括：利用所有图像类别对应的评估分数进行加权平均，将加权平均结果作为所述图像质量等级；或者，若任一图像类别对应的评估分数低于设定的回归模型阈值T，则将所述任一图像类别对应的评估分数作为所述图像质量等级，并结束比较过程。较佳地，所述确定进行活体检测和/或人脸识别时使用的阈值包括：预先设定图像质量等级与活体检测或人脸识别时使用的阈值之间的对应关系；根据所述对应关系，计算确定的图像质量等级对应的活体检测和/或人脸识别时使用的阈值。较佳地，所述图像类别包括：低光照类别、背光类别和/或模糊类别。一种图像处理设备，包括：人脸检测模块和图像质量评估模块；所述人脸检测模块，用于对待处理图像进行人脸检测后，将人脸检测的结果图像输出给所述图像质量评估模块；所述图像质量评估模块，用于利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。较佳地，该设备还包括阈值确定模块，用于根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。由上述技术方案可见，本申请中，对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。通过上述方式，利用人脸图像回归模型，能够实现对低质量图像的有效质量评估。另外，进一步地，还可以根据确定出的图像质量等级，确定进行人脸识别和/或活体检测时使用的阈值，利用相应阈值对人脸检测的结果图像进行人脸识别和/或活体检测。这样，可以依据评估结果动态选取活体检测或人脸识别的阈值，从而针对不同质量的图像选用不同的活体检测和/或人脸识别标准，进而提高活体检测和/或人脸识别对于低质量图像的性能。附图说明图1a背光图像样例；图1b为低光照图像样例；图1c为模糊图像样例；图2为本申请中图像处理方法的基本流程示意图；图3为训练人脸图像回归模型的示意图；图4为CNN回归模型的示意图；图5为图像质量等级评定的示意图；图6为确定活体检测阈值的示意图；图7为确定人脸识别阈值的示意图；图8为本申请中图像处理设备的基本结构示意图；图9为训练CNN模型的效果示意图；图10为测试CNN模型的效果示意图。具体实施方式为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。本申请提供一种图像处理方法，通过引入多种不同图像类别的人脸图像模型，能够对人脸图像进行全方位的有效评估，提高图像质量评估的准确性。进一步地，在现有的活体检测和/或人脸识别方法中，需要将待处理图像进行处理后与预先设定的阈值进行比较，以进行有效的活体检测和/或人脸识别。在现有方法中，活体检测和/或人脸识别中的阈值在一种算法中通常是相对固定的，无论待处理图像质量如何，均需要通过图像预处理将其处理成更高质量的图像后，再与阈值进行比较。当图像质量很差时，如果通过图像预处理无法处理成与设定阈值相匹配的高质量图像，那么在与阈值进行比较后，可能就会导致错检误检以及无法识别的问题。基于此，本申请中的图像处理方法，在对人脸图像进行有效的质量评估的基础上，还可以依据评估结果动态选取活体检测和/或人脸识别的阈值，使阈值能够适应于待处理图像质量，从而避免由于待处理图像质量过低、阈值要求过高而导致的错检误检以及无法识别的问题，进而提高活体检测和/或人脸识别的性能。综上，本申请针对上述两个问题，本专利技术提出了一种新的基于CNN回归的IQA(图像质量评估)图像预处理方。本申请方法可以解决现有方法的技术缺陷，提高图像质量评估的准确性，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。2.根据权利要求1所述的方法，其特征在于，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像进行CNN回归训练得到的，或者，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像和高质量的包括人脸的训练图像进行CNN回归训练得到的。3.根据权利要求1或2所述的方法，其特征在于，在确定所述图像质量等级后，该方法还包括：根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。4.根据权利要求2所述的方法，其特征在于，预先训练每个图像类别对应的人脸图像回归模型的方式包括：对于每个训练图像，预先利用所述训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据所述人脸检测结果图像和所述人脸识别概率分数，进行CNN回归训练，得到相应图像类别对应的人脸图像回归模型。5.根据权利要求2所述的方法，其特征在于，所述进行CNN回归训练包括：对于不同图像类别的训练图像，采用相同的CNN结构、卷积层参数和池化层参数进行CNN回归训练。6.根据权利要求1、2或3所述的方法，其特征在于，所述确定图像质量等级包括：利用每个图像类别对应的人脸图像回归模型，对所述人脸检测的结果图像进...

【专利技术属性】
技术研发人员：安耀祖，韩在濬，张超，徐静涛，单言虎，冯昊，崔昌圭，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11