一种人脸特征点定位方法及装置制造方法及图纸

本发明专利技术公开了一种人脸特征点定位方法及装置，用以解决人脸特征点定位方法定位不准确，而且速度慢的问题。方法包括：获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将第i‑1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过第i个卷积模块中的第二卷积层将第一特征图再次基于多组权重进行融合，得到第二特征图；通过第i个卷积模块中的第三卷积层提取第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过第i个卷积模块中的融合层将第二特征图与第三特征图进行融合；将深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为待检测人脸图像的人脸特征图。

A method and device for locating the feature point of the face

The invention discloses a facial feature point positioning method and device, which is used to solve the problem that the positioning method of facial feature points is inaccurate and slow. The methods include: obtaining the face image to be detected; using the first volume of the I convolution module of the deep convolution neural network model, the face feature images processed by the 1 convolution module of the I deconvolution module are fused on the basis of multiple groups of weights, and the first feature map is obtained; the first special layer in the second volume convolution module of the I convolution module will be the first special. The eigen map is based on multiple groups of weights, and then obtains second feature graphs. Through the third volume layer in the I convolution module, the features of the face contour and the features of the five features are extracted, and the third feature graphs are obtained. The second feature graphs are fused with the third feature graphs by the fusion layer in the I convolution module; The final convolution module of the deep convolution neural network model processes the face feature map as the face feature map of the face image to be detected.

【技术实现步骤摘要】
一种人脸特征点定位方法及装置
本专利技术涉及图像处理
，特别涉及一种人脸特征点定位方法及装置。
技术介绍
在计算机视觉和模式识别领域里，人脸特征点(比如眼角点、虹膜中心、鼻尖点、鼻孔、嘴角点等)定位有着广泛的应用，比如人脸识别、人脸三维重建、动漫模拟等。通过人脸特征点定位可以确定人脸上眼角、眼中心、眉毛、鼻子、嘴角等的位置，但是在非可控环境下，人脸特征点定位受很多因素的干扰，如光照，姿态和遮挡等，使得人脸特征点定位依然面临着巨大的挑战。传统的人脸图像特征点定位方法是通过对人脸形状利用主成分分析(英文：PrincipleComponentAnalysis，简称：PCA)算法进行统计分析，具体的，首先对训练集中的人脸样本图像通过手动定位特征点位置，进行PCA训练提取各特征点的主元特征矢量。然后对待检测图像进行人脸特征点初定位，并在待检测图像人脸特征点初定位的基础上，利用各特征点的主元特征，通过最小剩余误差能量的判决准则实现人脸特征点的自动定位。但是，基于PCA算法的人脸特征点定位方法容易陷入局部最小值，导致定位不准确，而且速度慢，难以满足人脸特征点定位的实时性需求。
技术实现思路
本专利技术实施例提供一种人脸特征点定位方法及装置，用以解决现有技术中存在人脸特征点定位方法定位不准确，而且速度慢的问题。第一方面，本专利技术实施例提供了一种人脸特征提取方法，包括：获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。本专利技术实施例通过获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。相比于现有技术中通过PCA算法进行统计分析，通过本专利技术实施例中的深度卷积神经网络提取人脸特征时可以提高人脸特征提取的准确度，并且可以减少提取人脸特征过程中的计算量，从而可以快速准确的提取人脸特征。结合第一方面，在第一方面的第一种可能的实施方式中，通过所述第i个卷积模块的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，包括：针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，在通过所述第i个卷积模块的融合层，将所述第二特征图与所述第三特征图进行融合之后，所述方法还包括：通过所述第i个卷积模块中的池化层对所述融合层处理得到的结果进行降维处理，得到第i个卷积模块处理后的人脸特征图。结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，在获取待检测人脸图像之后，所述方法还包括：将所述待检测人脸图像进行亮度归一化处理。第二方面，本专利技术实施例提供了一种基于第一方面或第一方面的任一种可能的实施方式中所述的人脸特征提取方法的人脸特征点定位方法，包括：将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。本专利技术实施例中通过将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差的多个特征值；然后基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。通过多阶段的级联回归，可以从粗到细定位人脸特征点，增加人脸特征点定位的鲁棒性。结合第二方面，在第二方面的第一种可能的实施方式中，在获取待检测人脸图像之后，所述方法还包括：将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；在基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，所述方法还包括：对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。结合第二方面或第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述深度卷积神经网络模型通过如下方式训练得到：将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置本文档来自技高网...

【技术保护点】
1.一种人脸特征提取方法，其特征在于，包括：获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i‑1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。

【技术特征摘要】
1.一种人脸特征提取方法，其特征在于，包括：获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。2.如权利要求1所述的方法，其特征在于，通过所述第i个卷积模块的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，包括：针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。3.如权利要求2所述的方法，其特征在于，在通过所述第i个卷积模块的融合层，将所述第二特征图与所述第三特征图进行融合之后，所述方法还包括：通过所述第i个卷积模块中的池化层对所述融合层处理得到的结果进行降维处理，得到第i个卷积模块处理后的人脸特征图。4.如权利要求1至3任一项所述的方法，其特征在于，在获取待检测人脸图像之后，所述方法还包括：将所述待检测人脸图像进行亮度归一化处理。5.一种基于权利要求1～4任一项所述的人脸特征提取方法的人脸特征点定位方法，其特征在于，包括：将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。6.如权利要求5所述的方法，其特征在于，在获取待检测人脸图像之后，所述方法还包括：将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；在基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，所述方法还包括：对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。7.如权利要求5或6所述的方法，其特征在于，所述深度卷积神经网络模型通过如下方式训练得到：将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸特征图中包括的多个人脸特征点的预测位置；在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。8.一种人脸特征提取装置，其特征在于，包括：获取模块，用于获取待检测人脸图像；深度卷积神经网络模型，用于提取所述获取模块获取的所述待检测人脸图像的人脸轮廓特征以及五官特征；所述深度卷积神经网络模型为预先训练的，包括多个卷积模块，其中，每个...

【专利技术属性】
技术研发人员：李运涛，王刚，朱树磊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江,33