一种人脸矫正方法及系统技术方案

本发明专利技术公开了一种人脸矫正方法及系统，方法包括：设置一标准脸，得到标准点，所述标准点至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点；从上述标准点中选择不同特征点，对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式，对多偏转角度的人脸进行矫正；当偏转角在第一偏转角度阈值内，则采用基于左右两眼球中心的坐标计算相似变换的参数；当偏转角在第二偏转角度阈值内，则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数；当偏转角在第三偏转角度阈值内，则采用基于单侧特征点计算相似变换参数。本发明专利技术对于偏转角度较大的人脸不会使人脸过长；设立了对于偏转角度特别大以至于只含有单侧特征点的人脸的矫正标准。

Method and system for correcting human face

The invention discloses a correction method and system, face method includes setting a standard face, get the standard, the standard includes at least 5 feature points left eye center, right eye center, left and right nose, mouth mouth; choose different feature points from the standard point, face different deflection angle of the input using different calculation parameters of similarity transformation, face of the deflection angle correction; when the deflection angle of deflection angle in the first threshold, the coordinates of about two eye center based on the calculation of similarity transformation parameters; when the deflection angle of deflection angle in the second threshold, using similar transformation the parameters of coordinate calculation of intermediate coordinate between two and two eye mouth based on; when the bias angle in the third angle threshold, the unilateral feature points based on similarity calculation Transformation parameter. The invention does not make the face long for a person with a large deflection angle, and establishes a correction standard for a face with a particularly large deflection angle so that only one side feature point is included.

【技术实现步骤摘要】
一种人脸矫正方法及系统
本专利技术涉图像识别领域，特别涉及一种人脸矫正方法及系统，有效解决实际场景中多偏转角度人脸的矫正问题。
技术介绍
在计算机视觉领域，人脸识别一直以来都在学术界和工业界的应用广泛。学术上的热门和工业市场的迫切需求，使得围绕该方向的核心技术自深度学习爆发以来，得到了更为迅猛的发展。得益于深度学习，当前计算机对人脸属性的分析判断在某些(姿态、光照)限制条件下已经媲美甚至超越人类，但是如何在非限制条件下，使计算机获取和人类一样，从姿态万千的人脸图像中依然能够进行识别的能力，是一项非常具有挑战性的工作。其中，人脸矫正是人脸属性分析中至关重要的一步，能够直接影响整体性能的好坏。在深度学习之前就有许多优秀的方法被提出，比如，ASM算法和AAM算法，这些方法能够在人脸变化不大的条件下取得比较好的效果，但是对于一些发生遮挡或者姿态角度偏大的情况就差强人意了；在深度学习出来之后，一些基于深度学习的方法虽然能够解决上述部分问题，但是对姿态角度偏大的情况仍然无能为力。而利用3D人脸可变模型来解决2D图像中姿态角度偏大问题，该方法能够使3D人脸模型“学习”2D图像中人脸在拍照时候的姿势状态。给神经网络输入通用正面人脸模板模型和2D图像，神经网络识别获取图像中人脸的姿态角度参数矩阵，利用这些参数就可以使模型“做出”和图像中人脸同样的脸部朝向。但是实际场景中，很多时候都是非正面的；还有方式是多角度人脸识别技术。该技术包含两个核心部分，表示学习和图像生成。表示学习是指在某一个场景下获取的多张不同姿态的图像，将这些图像作为输入，通过提出的DR-GAN网络模型，产生一个固定长度的特征向量，该向量表示的是这个人的特征，与姿态光照无关，同时该网络还可以根据输入的Noise/Pose编码，生成不同姿态的人脸。基于上述，现有的人脸矫正技术具体包括步骤：通过人脸检测，找到双眼的位置，然后根据坐标，找到旋转角度，然后进行旋转。比如，基于两眼球中心的两点相似变换，缺点为：对于偏转角较大的人脸，会使得人脸拉的过长，额头或下巴部分很容易超出预设图片大小。对于偏转角度特别大的人脸可能只有单侧脸可见。又比如，基于两眼球中心和鼻尖的三点仿射变换，缺点为：容易使人脸变形，对于角度特别大的人脸可能只有单侧脸可见。
技术实现思路
本专利技术要解决的技术问题是，解决实际场景中多偏转角度人脸的矫正问题。解决上述技术问题，本专利技术提供了一种人脸矫正方法包括如下步骤：设置一标准脸，得到标准点，所述标准点至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点；从上述标准点中选择不同特征点，对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式，对多偏转角度的人脸进行矫正；当偏转角在第一偏转角度阈值内，则采用基于左右两眼球中心的坐标计算相似变换的参数；当偏转角在第二偏转角度阈值内，则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数；当偏转角在第三偏转角度阈值内，则采用基于单侧特征点计算相似变换参数。更进一步，所述第二偏转角度阈值为：30～60度，基于两眼球中间的坐标和两嘴角与鼻尖三点中间的坐标的两点相似变换，具体所要求的方程组如下：根据所述参数r，θ以及tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。更进一步，所述第三偏转角度阈值为：60～90度，基于单侧的眼球中心坐标、单侧的嘴角坐标的两点相似变换，具体要求左侧脸所要求的方程组如下：右侧脸所要求的方程组如下：根据所述参数r，θ，tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。更进一步，所述第一偏转角度阈值为：0～30度，基于左右两个眼球的两点相似变换，具体要求的方程组如下：根据所述参数r，θ，tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。更进一步，所述相似变换进一步包括：平移变换，包括在坐标轴上的tx,ty两个参数，分别代表两个方向上的平移量；用以进行位置的变换；尺度变换，包括尺度参数r，代表图片的放大缩小系数；旋转变换指的是图片的旋转，有旋转参数θ，代表旋转的角度，用以进行图片的放大或者缩小。更进一步，所述相似变换包括：对图片进行至少平移变换、尺度变换、旋转变换中一种或多种的变换的变换。更进一步，所述采用基于单侧特征点计算相似变换参数至少包括如下两组参数：{左眼球中心、鼻尖、左嘴角}{右眼球中心、鼻尖、右嘴角}。更进一步，所述第一偏转角度阈值、第二偏转角度阈值以及第三偏转角度阈值内属于{0-90°}的集合。本专利技术还提供了一种人脸识别方法，还包括所述的人脸矫正方法。基于上述方法，本专利技术还提供了一种人脸矫正系统，包括：标准化单元、角度判断单元、第一矫正单元、第二矫正单元、第三矫正单元，所述标准化单元，用以设置一标准脸，得到标准点，所述标准点至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点；所述角度判断单元，用以从上述标准点中选择不同特征点，对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式，对多偏转角度的人脸进行矫正；所述第一矫正单元，用以当偏转角在第一偏转角度阈值内，则采用基于左右两眼球中心的坐标计算相似变换的参数；所述第二矫正单元，用以当偏转角在第二偏转角度阈值内，则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数；所述第三矫正单元，用以当偏转角在第三偏转角度阈值内，则采用基于单侧特征点计算相似变换参数。本专利技术的有益效果：本专利技术是在已经获得人脸5个特征点的基础上，通过5个特征点的关系，计算人脸的偏转角度，针对不同的偏转角度用不同的特征点计算相似变换的参数，从而对人脸进行基于相似变换地矫正，进而有效解决实际场景中多偏转角度的人脸矫正问题。采用本专利技术的方法不会使人脸变形；对于偏转角度较大的人脸不会使人脸过长；设立了对于偏转角度特别大以至于只含有单侧特征点的人脸的矫正标准。此外，本专利技术根据不同偏转角度使用不同人脸矫正策略，以及30-60偏转角度和60-90偏转角度的人脸矫正策略。附图说明图1是本专利技术一实施例中的方法流程示意图；图2是本专利技术一优选实施例中的方法流程示意图；图3是本专利技术一实施例中的系统结构示意图；图4为本专利技术中偏转角小于30度人脸的矫正前后效果示意图；图5为偏转角大于30度小于60度人脸的分别在矫正之前、用两眼计算变换参数和用本专利技术的方法计算变换参数的对比图；图6为本专利技术中偏转角大于60度左侧人脸的矫正前后的效果示意图；图7为本专利技术中大于60度右侧人脸的矫正前后的效果示意图。具体实施方式现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。本领域技术人员能够明了，相似变换是一种保持形状不变的变换方式，能够实现平移、旋转和尺度三种变换，十分适用于人脸矫正任务。可以理解，本申请中的人脸矫本文档来自技高网...

【技术保护点】
一种人脸矫正方法，其特征在于包括如下步骤：设置一标准脸，得到标准点，所述标准点至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点；从上述标准点中选择不同特征点，对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式，对多偏转角度的人脸进行矫正；当偏转角在第一偏转角度阈值内，则采用基于左右两眼球中心的坐标计算相似变换的参数；当偏转角在第二偏转角度阈值内，则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数；当偏转角在第三偏转角度阈值内，则采用基于单侧特征点计算相似变换参数。

【技术特征摘要】
1.一种人脸矫正方法，其特征在于包括如下步骤：设置一标准脸，得到标准点，所述标准点至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点；从上述标准点中选择不同特征点，对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式，对多偏转角度的人脸进行矫正；当偏转角在第一偏转角度阈值内，则采用基于左右两眼球中心的坐标计算相似变换的参数；当偏转角在第二偏转角度阈值内，则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数；当偏转角在第三偏转角度阈值内，则采用基于单侧特征点计算相似变换参数。2.根据权利要求1所述的人脸矫正方法，其特征在于，所述第二偏转角度阈值为：30～60度，基于两眼球中间的坐标和两嘴角与鼻尖三点中间的坐标的两点相似变换，具体所要求的方程组如下：根据所述参数r，θ以及tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。3.根据权利要求1所述的人脸矫正方法，其特征在于，所述第三偏转角度阈值为：60～90度，基于单侧的眼球中心坐标、单侧的嘴角坐标的两点相似变换，具体要求左侧脸所要求的方程组如下：右侧脸所要求的方程组如下：

【专利技术属性】
技术研发人员：熊风烨，白洪亮，董远，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11