人脸特征点的获取方法和装置制造方法及图纸

本发明专利技术公开了一种人脸特征点的获取方法和装置。其中，该方法包括：获取经过归一化处理的人脸图像；将人脸图像输入到卷积神经网络进行处理，其中，卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；卷积层用于根据卷积核进行卷积处理，池化层用于对卷积层的数据进行简化；卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；获取卷积神经网络处理后输出的人脸图像中的人脸的多个特征点。本发明专利技术解决了现有技术的基于卷积神经网络的人脸特征点的获取方法计算量大、训练时间较长的技术问题。

Method and device for obtaining feature points of face

The invention discloses a method and device for obtaining the feature points of a face. Among them, the method includes: acquiring through face image normalization; face image input to the convolutional neural network processing, the convolutional neural network includes at least one roll of layers, at least one pool layer, at least one partial response normalized layer, at least one connection layer for convolution layer; according to the convolution kernel convolution processing, pool layer for volume data layer simplification; number of facial feature points and the expected configuration of convolutional neural network obtained by the correlation, and is using a predetermined training set after training; a plurality of feature points of face image acquisition processing convolution neural network output in the the. The invention solves the technical problems of large calculation amount and long training time based on the convolution neural network.

【技术实现步骤摘要】
人脸特征点的获取方法和装置
本专利技术涉及图像领域，具体而言，涉及一种人脸特征点的获取方法和装置。
技术介绍
人脸特征点获取是根据输入的人脸图像，自动定位出人脸关键特征点。根据应用要求的不同，关键特征点的数目也不同：最少的是5个特征点，包括眼睛、鼻尖和嘴角，可用于人脸识别；在人脸美妆中，还会考虑眉毛和人脸各个部分的轮廓点，包括下巴的轮廓点，即68点定位。在人脸分析任务中，获取人脸特征点必不可少，例如，人脸认证和识别、表情识别、头部姿势估计、人脸3D建模和人脸美妆等。人脸特征点获取方法可大致分为三类：基于优化的方法、基于回归的方法和基于卷积神经网络的方法。(1)基于优化的方法基于优化的人脸特征点获取方法是最早使用的方法，它先从一些图像中学习形状模型，选定一个形状模型来重构整张人脸，再通过最小化重构出的人脸与待定位人脸的纹理特征之间的差异来估计关键特征点的位置。基于优化的方法学习到的形状模型有限，对于那些有大的偏转姿态、光照和遮挡的复杂图像，尤其是从未见过的图像，定位效果不好。除此之外，梯度下降等优化策略使得这种方法先天地对初始化十分敏感。(2)基于回归的方法基于回归的方法是目前用于特征点获取的一个主流方法，这种方法将定位问题看作学习回归器的过程。根据输入的人脸图像，采用随机、平均或者依某种概率分布的方式选出一个初始形状，输入到回归器(例如，随机森林)中，回归器利用当前形状的形状索引特征(例如，SIFT和HOG等特征)对形状进行调整。比较有效的是级联回归器，即多个回归函数，后一个的输入依赖于前一个的输出，每一个回归器的目标都是逼近特征点的真实位置。基于回归的方法主要有两个缺点：人脸特征点获取的效果依赖于初始形状，如果初始形状离目标形状很远，通过级联的后续迭代也无法纠正差异，回归出的形状会陷入局部极小值；回归过程中用到的形状索引特征是人工设计或者从浅层模型中学习到的特征，对于有特殊偏转姿态的人脸图像很难定位准确。(3)基于卷积神经网络的方法深度学习的兴起和卷积神经网络在机器视觉领域的广泛使用，使得卷积神经网络在人脸特征点定位中发挥作用。这种方法是将人脸图像输入到有监督的卷积神经网络中，不用设定初始形状，在训练时给出特征点的真实位置，即可自动地学习有益于定位的特征，是目前最受欢迎的方法之一。然而，专利技术人发现，现有技术中基于卷积神经网络的人脸特征点的获取方法在获取人脸特征点的同时加入了多个任务(例如判断眼镜、性别、微笑和三维姿态等)，卷积神经网络的层数多，参数也多，有的方法融合多个网络，还有的方法将人脸划分多个子区域、对每个区域单独地训练出一个网络之后加以融合，使得计算量大大增加，占用了很多的计算资源，训练时间也大大增加。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种人脸特征点的获取方法和装置，以至少解决现有技术的基于卷积神经网络的人脸特征点的获取方法计算量大、训练时间较长的技术问题。根据本专利技术实施例的一个方面，提供了一种人脸特征点的获取方法，包括：获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点。进一步地，所述卷积神经网络包括：5个卷积层，3个池化层，2个局部响应归一化层，1个全连接层。进一步地，所述5个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，所述3个池化层分别为第一池化层、第二池化层、第三池化层，所述2个局部响应归一化层分别为第一局部响应归一化层、第二局部响应归一化层，所述卷积神经网络依次由所述第一卷积层、所述第一池化层、所述第一局部响应归一化层、所述第二卷积层、所述第二池化层、所述第二局部响应归一化层、所述第三卷积层、所述第四卷积层、所述第五卷积层、所述第三池化层、所述全连接层级联构成。进一步地，所述第一卷积层的卷积核是11×11，步长是4；所述第二卷积层的卷积核是5×5，步长是1；所述第三卷积层、所述第四卷积层和所述第五卷积层的卷积核都是3×3，步长都是1。进一步地，所述3个池化层的池化尺寸都是3×3，步长是2。进一步地，所述2个局部响应归一化层的局部尺寸大小均为5。进一步地，所述人脸图像为灰度图像。进一步地，所述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本中的至少一种，在将所述人脸图像输入到卷积神经网络进行处理之前，所述方法还包括：通过人脸检测框截取人脸图像，生成所述第一训练样本；将所述人脸检测框向预设方向平移预设距离并截取人脸图像，生成所述第二训练样本；以所述第一训练样本和/或所述第二训练样本的人脸检测框的中心为旋转中心，将所述人脸检测框旋转预设角度并截取人脸图像，得到所述第三训练样本；将所述第一训练样本、所述第二训练样本和所述第三训练样本中的一种或者几种进行镜像变换，生成所述第四训练样本。进一步地，所述预设距离为所述人脸检测框的边长的预设倍数。进一步地，所述预设倍数为0.03。根据本专利技术实施例的另一方面，还提供了一种人脸特征点的获取装置，包括：第一获取单元，用于获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；处理单元，用于将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；第二获取单元，用于获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点。进一步地，所述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本中的至少一种，所述装置还包括：第一截取单元，用于在所述处理单元将所述人脸图像输入到卷积神经网络进行处理之前，通过人脸检测框截取人脸图像，生成所述第一训练样本；第二截取单元，用于将所述人脸检测框向预设方向平移预设距离并截取人脸图像，生成所述第二训练样本；第三截取单元，用于以所述第一训练样本和/或所述第二训练样本的人脸检测框的中心为旋转中心，将所述人脸检测框旋转预设角度并截取人脸图像，得到所述第三训练样本；镜像变换单元，用于将所述第一训练样本、所述第二训练样本和所述第三训练样本中的一种或者几种进行镜像变换，生成所述第四训练样本。在本专利技术实施例中，根据预期得到的人脸的特征点的数量配置卷积神经网络，使用预定训练集对卷积神经网络进行训练，得到训练后的卷积神经网络，将人脸图像进行归一化处理，将归一化处理后的人脸图像输入到训练后的卷积神经网络，训练后的卷积神经网络输出人脸图像中的人脸的多个特征点，在这个过程中，只有获取人脸特征点一个任务，没有加入任何其他任务，单网络获取人脸特征点，本文档来自技高网...

【技术保护点】
一种人脸特征点的获取方法，其特征在于，包括：获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点。

【技术特征摘要】
1.一种人脸特征点的获取方法，其特征在于，包括：获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点。2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括：5个卷积层，3个池化层，2个局部响应归一化层，1个全连接层。3.根据权利要求2所述的方法，其特征在于，所述5个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，所述3个池化层分别为第一池化层、第二池化层、第三池化层，所述2个局部响应归一化层分别为第一局部响应归一化层、第二局部响应归一化层，所述卷积神经网络依次由所述第一卷积层、所述第一池化层、所述第一局部响应归一化层、所述第二卷积层、所述第二池化层、所述第二局部响应归一化层、所述第三卷积层、所述第四卷积层、所述第五卷积层、所述第三池化层、所述全连接层级联构成。4.根据权利要求3所述的方法，其特征在于，所述第一卷积层的卷积核是11×11，步长是4；所述第二卷积层的卷积核是5×5，步长是1；所述第三卷积层、所述第四卷积层和所述第五卷积层的卷积核都是3×3，步长都是1。5.根据权利要求3所述的方法，其特征在于，所述3个池化层的池化尺寸都是3×3，步长是2。6.根据权利...

【专利技术属性】
技术研发人员：芦姗，程海敬，孔令美，张祥德，
申请(专利权)人：北京眼神科技有限公司，
类型：发明
国别省市：北京,11