一种人脸图像的配准方法、装置和人脸识别系统制造方法及图纸

本发明专利技术实施例提供了一种人脸图像的配准方法、装置和人脸识别系统，该方法和装置应用于人脸识别系统，具体为从原始人脸图像上选定多个原始匹配点，并确定与多个原始匹配点一一对应的配准后的多个目标匹配点，原始匹配点的数量与目标匹配点的数量相同；配合预设的正则化项，并采用薄板样条函数拟合多个原始匹配点与多个目标匹配点之间的二维变换，得到原始人脸图像中每个像素的形变量；根据形变量并通过图像差值采样方法得到配准后的目标人脸图像。通过上述操作，可以将原始人脸图像配准为正立状态的目标人脸图像，即能够使任意状态的人脸图像变换为容易识别的正立状态，从而可以提高人脸图像的识别效果。

Face image registration method, device and face recognition system

The embodiment of the invention provides a face image registration method, a device and a face recognition system. The method and the device are applied to a face recognition system, in particular, a plurality of original matching points are selected from the original face image, and a plurality of target matching points corresponding to the plurality of original matching points one by one are determined. The number of matching points is the same as the number of target matching points; matching the preset regularization term and fitting the two-dimensional transformation between multiple original matching points and multiple target matching points with thin-plate spline function, the shape variable of each pixel in the original face image is obtained; matching is obtained according to the deformation and by image difference sampling method. After the target face image. Through the above operations, the original face image can be registered as a normal state of the target face image, that is, any state of the face image can be transformed into an easily recognized upright state, thus improving the recognition effect of the face image.

【技术实现步骤摘要】
一种人脸图像的配准方法、装置和人脸识别系统
本专利技术涉及人脸识别
，特别是涉及一种人脸图像的配准方法、装置和人脸识别系统。
技术介绍
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。本申请的专利技术人在实施人脸识别的过程中发现，由于在人脸识别、人脸分析等任务中，被识别的人脸往往仅为拍摄距离、角度等问题，造成得到的人脸图像并非是一种便于识别的正立状态，从而导致识别效果较差。
技术实现思路
有鉴于此，本专利技术提供了一种人脸图像的配准方法、装置和人脸识别系统，用于将待识别的人脸图像进行配准处理，使人脸图像变换为容易识别的正立状态，以提高人脸图像的识别效果。为了解决上述问题，本专利技术公开了一种人脸图像的配准方法，应用于人脸识别系统，所述配准方法包括步骤：从原始人脸图像上选定多个原始匹配点，并确定与所述多个原始匹配点一一对应的配准后的多个目标匹配点，所述原始匹配点的数量与所述目标匹配点的数量相同；配合预设的正则化项，并采用薄板样条函数拟合所述多个原始匹配点与所述多个目标匹配点之间的二维变换，得到所述原始人脸图像中每个像素的形变量；根据所述形变量并通过图像差值采样方法得到配准后的目标人脸图像。可选的，所述从原始人脸图像上选定多个原始匹配点，包括：利用预先训练好的神经网络模型从上述原始人脸图像中定位所述原始匹配点。可选的，所述神经网络通过如下步骤进行训练：获取人脸图像的关键点，所述关键点包括原始点和预先规定的匹配点；利用所述原始点和所述匹配点进行模型训练，得到所述神经网络模型。可选的，所述关键点为所述人脸图像上的面部轮廓上的点和/或所述人脸图像上的器官轮廓上的点。可选的，根据所述形变量并通过图像差值采样方法得到配准后的目标人脸图像，包括：通过双线性插值采样方法得到所述目标人脸图像上每个像素坐标的原始像素值；根据所述形变量对所述原始像素值进行投射，得到配准后的目标人脸图像。相应的，为了保证上述方法的实施，本专利技术还提供了一种人脸图像的配准装置，应用于人脸识别系统，所述配准装置包括：匹配点选定模块，用于从原始人脸图像上选定多个原始匹配点，并确定与所述多个原始匹配点一一对应的配准后的多个目标匹配点，所述原始匹配点的数量与所述目标匹配点的数量相同；形变量计算模块，用于配合预设的正则化项，并采用薄板样条函数拟合所述多个原始匹配点与所述多个目标匹配点之间的二维变换，得到所述原始人脸图像中每个像素的形变量；目标图像输出模块，用于根据所述形变量并通过图像差值采样方法得到配准后的目标人脸图像。可选的，所述匹配点选定模块包括：原始匹配点选定单元，用于利用预先训练好的神经网络模型从所述原始人脸图像中定位所述原始匹配点。可选的，所述匹配点选定模块还包括模型训练单元，其中：所述模型训练单元具体用于获取人脸图像的关键点，所述关键点包括原始点和预先规定的匹配点；并利用所述原始点和所述匹配点进行模型训练，得到所述神经网络模型。可选的，根据目标图像输出模块包括：像素值获取单元，用于通过双线性插值采样方法得到所述原始人脸图像上每个像素坐标的原始像素值；像素值投射单元，用于根据所述形变量对所述原始像素值进行投射，得到配准后的目标人脸图像。另外，还提供了一种人脸识别系统，包括识别装置和如上所述的配准装置，其中：所述配准装置用于对原始人脸图像进行配准，得到配准后的目标人脸图像；所述识别装置用于对所述目标人脸图像进行人脸识别，得到识别结果。从上述技术方案可以看出，本专利技术提供了一种人脸图像的配准方法、装置和人脸识别系统，该方法和装置应用于人脸识别系统，具体为从原始人脸图像上选定多个原始匹配点，并确定与多个原始匹配点一一对应的配准后的多个目标匹配点，原始匹配点的数量与目标匹配点的数量相同；配合预设的正则化项，并采用薄板样条函数拟合多个原始匹配点与多个目标匹配点之间的二维变换，得到原始人脸图像中每个像素的形变量；根据形变量并通过图像差值采样方法得到配准后的目标人脸图像。通过上述操作，可以将原始人脸图像配准为正立状态的目标人脸图像，即能够使任意状态的人脸图像变换为容易识别的正立状态，从而可以提高人脸图像的识别效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种人脸图像的配准方法的步骤流程图；图2为本专利技术实施例提供的一种原始匹配点与目标匹配点的示意图；图3为本专利技术实施例提供的一种人脸图像的配准装置的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一图1为本专利技术实施例提供的一种人脸图像的配准方法的步骤流程图。本实施例提供的人脸图像的配准方法应用于人脸识别系统，用于将非正立状态的原始人脸图像进行配准处理，得到正立状态的目标人脸图像，从而便于人脸识别系统对目标人脸图像中的人像进行识别，并得到该人像所属人员的相关信息。参照图1所示，本实施例提供的人脸图像的配准方法具体包括如下步骤：S101：选定多个原始匹配点和确定多个目标匹配点。从待配准处理的原始人脸图像上选定多个原始匹配点，其数量可以随意，例如选取68个点；可以取类似均匀网格的模式，也可以取不均匀网格的模式。目标匹配点是指对应配准后的目标点。在本申请的一个具体实施方式中，具体利用预先训练好的神经网络模型以不均匀网格从上述原始人脸图像中进行选取，从而得到多个原始匹配点。这些原始匹配点可以为原始人脸图像中的面部轮廓、眼睛轮廓、鼻子轮廓、嘴巴轮廓上的点。在本申请的另外一个具体实施方式中，还可以包括相应的模型训练步骤，该步骤用于训练上述的神经网络模型。该步骤具体为：首先，获取一张人脸图像的多个关键点，这里的关键点包括原始点和配准后的配准点；参见图2，比方说x就是原始人脸图像上的配准点，o是规定的配准后的标准位置，薄板样条插值做的事情就是把图像做变形，让这些点能接近。然后利用上述关键点进行模型训练，所谓训练是指用卷积神经网络拟合从图像到关键点位置的映射，从而得到相应的模型参数，然后将模型参数植入该初始神经网络，从而得到该神经网络模型。S102：配合合适的正则化项并采用薄板样条函数拟合二维变换。在选取上述原始匹配点和目标匹配点后，配合预先设定的合适的正则化项，并采用薄板样条函数拟合出原始匹配点与目标匹配点之间的二维变换，从而得到原始人脸图像的形变量。拟合过程为最小化一个能量函数，这个能量函数包含两项：一是让匹配点位置接近，二时对曲面光滑性的要求，即正则化项。薄板样条函数是一种插值方法，它寻找一个通过所有的控制点的弯曲最小的光滑曲面；就像一个薄铁板，通过所给定的几个“样条”，铁板表面是光滑的。S本文档来自技高网...

【技术保护点】
1.一种人脸图像的配准方法，应用于人脸识别系统，其特征在于，所述配准方法包括步骤：从原始人脸图像上选定多个原始匹配点，并确定与所述多个原始匹配点一一对应的配准后的多个目标匹配点，所述原始匹配点的数量与所述目标匹配点的数量相同；配合预设的正则化项，并采用薄板样条函数拟合所述多个原始匹配点与所述多个目标匹配点之间的二维变换，得到所述原始人脸图像中每个像素的形变量；根据所述形变量并通过图像差值采样方法得到配准后的目标人脸图像。

【技术特征摘要】
1.一种人脸图像的配准方法，应用于人脸识别系统，其特征在于，所述配准方法包括步骤：从原始人脸图像上选定多个原始匹配点，并确定与所述多个原始匹配点一一对应的配准后的多个目标匹配点，所述原始匹配点的数量与所述目标匹配点的数量相同；配合预设的正则化项，并采用薄板样条函数拟合所述多个原始匹配点与所述多个目标匹配点之间的二维变换，得到所述原始人脸图像中每个像素的形变量；根据所述形变量并通过图像差值采样方法得到配准后的目标人脸图像。2.如权利要求1所述的配准方法，其特征在于，所述从原始人脸图像上选定多个原始匹配点，包括：利用预先训练好的神经网络模型从所述原始人脸图像中定位所述原始匹配点。3.如权利要求2所述的配准方法，其特征在于，所述神经网络通过如下步骤进行训练：获取人脸图像的关键点，所述关键点包括原始点和预先规定的匹配点；利用所述原始点和所述匹配点进行模型训练，得到所述神经网络模型。4.如权利要求3所述的配准方法，其特征在于，所述关键点为所述人脸图像上的面部轮廓上的点和/或所述人脸图像上的器官轮廓上的点。5.如权利要求1所述的配准方法，其特征在于，根据所述形变量并通过图像差值采样方法得到配准后的目标人脸图像，包括：通过双线性插值采样方法得到所述目标人脸图像上每个像素坐标的原始像素值；根据所述形变量对所述原始像素值进行投射，得到配准后的目标人脸图像。6.一种人脸图像的配准装置，应用于人脸识别系统，其特征在于，所述配准装置包括：匹配点选定模块，用...

【专利技术属性】
技术研发人员：陈健生，李健，钟元熠，万纬韬，张连毅，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，清华大学，
类型：发明
国别省市：北京,11