人脸关键点定位的方法及装置制造方法及图纸

本公开是关于一种人脸关键点定位的方法及装置，用于提高人脸关键点定位准确度。所述方法包括：采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。

Method and device for locating key points of human face

The present invention relates to a method and a device for locating the key points of human faces, which is used to improve the positioning accuracy of the key points of human faces. The method comprises the following steps: first using convolutional neural network to determine the first projection matrix of 3D T images and the first face shape coefficients in alpha, the three-dimensional image for 3D to 2D face image recognition fitting deformable face image; according to the first T and the first alpha, the first key point to determine P face recognition the 2D face images.

【技术实现步骤摘要】
人脸关键点定位的方法及装置
本公开涉及人脸识别
，尤其涉及人脸关键点定位的方法及装置。
技术介绍
人脸关键点定位是在检测到人脸后，进一步需要确定脸部关键点，包括眼睛，眉毛，鼻子，嘴巴和脸部轮廓等。这项技术的应用得到了广泛的应用，如自动人脸识别，表情识别以及人脸动画自动合成等。在相关技术中，采用可变形模板、点分布模型，图模型和级联形状回归等方式检测人脸关键点。上述这些相关技术中，都是基于二维人脸图像的方法。然而，在人脸图像的姿态变化，表情，光照以及人脸遮挡的因素的影响下，采用基于二维人脸图像的关键点定位的方法，其定位准确度会受到很大的影响。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种人脸关键点定位的方法及装置。根据本公开实施例的第一方面，提供一种人脸关键点定位的方法，包括：采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。本公开的实施例提供的技术方案可以包括以下有益效果：基于三维可形变人脸模型对人脸关键点确定的准确度高，通过利用第一卷积神经网络对投影矩阵和人脸形状分量系数集进行预估，进而获得更为准确的人脸关键点，提高人脸关键点定位的准确度。在一实施例中，在根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P之后，所述方法还包括：根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；根据所述第二T和所述第一α，确定所述待识别二维人脸图像的第二P。本公开的实施例提供的技术方案可以包括以下有益效果：进一步通过第二卷积神经网络对投影矩阵进行优化，进而再次确定人脸关键点，进一步提高人脸关键点定位的准确度。在一实施例中，在根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P之后，所述方法还包括：根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；根据所述第二T和所述第一α，确定所述待识别二维人脸图像的第二P；根据所述第二P的相邻区域的图像，采用第三卷积神经网络确定第二α；根据第二T和所述第二α，确定所述待识别二维人脸图像的第三P。本公开的实施例提供的技术方案可以包括以下有益效果：进一步通过第二卷积神经网络和第三卷积神经网络分别对投影矩阵和人脸形状分量系数集进行优化，进而再次确定人脸关键点，进一步提高人脸关键点定位的准确度。在一实施例中，在根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P之后，所述方法还包括：根据所述第一P的相邻区域的图像，采用第三卷积神经网络确定第三α；根据所述第一T和所述第三α，确定所述待识别二维人脸图像的第四P。本公开的实施例提供的技术方案可以包括以下有益效果：进一步通过第三卷积神经网络对人脸形状分量系数集进行优化，进而再次确定人脸关键点，进一步提高人脸关键点定位的准确度。在一实施例中，所述采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数α包括：采用第一卷积神经网络对所述三维图像进行回归计算，得到所述三维图像的所述第一T和所述第一α；所述根据所述第一T和所述第一α，确定所述待识别二维人脸图像的人脸关键点P包括：根据所述第一T和所述第一α，利用公式获得所述二维人脸图像的第一P，T为三维图像到二维人脸图像的投影矩阵，mindex为所述三维图像中平均人脸关键点P的形状向量，为所述三维图像中人脸关键点中第i个人脸形状分量，αi为第一α的第i个形状分量系数，n为三维图像中人脸关键点P的像素数量。根据本公开实施例的第二方面，提供一种人脸关键点定位的装置，包括：第一确定模块，用于采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；第一识别模块，用于根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。在一实施例中，所述装置还包括：第二确定模块，用于根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；第二识别模块，用于根据所述第二T和所述第一α，确定所述待识别二维人脸图像的第二P。在一实施例中，所述装置还包括：第二确定模块，用于根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；第二识别模块，用于根据所述第二T和所述第一α，确定所述待识别二维人脸图像的第二P；第三确定模块，用于根据所述第二P的相邻区域的图像，采用第三卷积神经网络确定第二α；第三识别模块，用于根据第二T和所述第二α，确定所述待识别二维人脸图像的第三P。在一实施例中，所述装置还包括：第四确定模块，用于根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；第四识别模块，用于根据所述第一T和所述第三α，确定所述待识别二维人脸图像的第四P。在一实施例中，所述第一确定模块包括：第一确定子模块，用于采用第一卷积神经网络对所述三维图像进行回归计算，得到所述三维图像的所述第一T和所述第一α；所述第一识别模块包括：第一识别子模块，用于根据所述第一T和所述第一α，利用公式获得所述二维人脸图像的第一P，T为三维图像到二维人脸图像的投影矩阵，mindex为所述三维图像中平均人脸关键点P的形状向量，为所述三维图像中人脸关键点中第i个人脸形状分量，αi为第一α的第i个形状分量系数，n为三维图像中人脸关键点的像素数量。根据本公开实施例的第三方面，提供一种人脸关键点定位的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的一种人脸关键点定位的方法的流程图。图2是根据一示例性实施例示出的一种人脸关键点定位的方法的流程图。图3是根据一示例性实施例示出的一种人脸关键点定位的方法的流程图。图4是根据一示例性实施例示出的一种人脸关键点定位的方法的流程图。图5是根据一示例性实施例示出的一种人脸关键点定位的装置的框图。图6是根据一示例性实施例示出的一种人脸关键点定位的装置的框图。图7是根据一示例性实施例示出的一种人脸关键点定位的装置的框图。图8是根据一示例性实施例示出的一种人脸关键点定位的装置的框图。图9是根据一示例性实施例示出的一种人脸关键点定位的装置的框图。图10是根据一示例性实本文档来自技高网...

【技术保护点】
一种人脸关键点定位的方法，其特征在于，包括：采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。

【技术特征摘要】
1.一种人脸关键点定位的方法，其特征在于，包括：采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P。2.根据权利要求1所述的方法，其特征在于，在根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P之后，所述方法还包括：根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；根据所述第二T和所述第一α，确定所述待识别二维人脸图像的第二P。3.根据权利要求1所述的方法，其特征在于，在根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P之后，所述方法还包括：根据所述第一P的相邻区域的图像，采用第二卷积神经网络确定第二T；根据所述第二T和所述第一α，确定所述待识别二维人脸图像的第二P；根据所述第二P的相邻区域的图像，采用第三卷积神经网络确定第二α；根据第二T和所述第二α，确定所述待识别二维人脸图像的第三P。4.根据权利要求1所述的方法，其特征在于，在根据所述第一T和所述第一α，确定所述待识别二维人脸图像的第一人脸关键点P之后，所述方法还包括：根据所述第一P的相邻区域的图像，采用第三卷积神经网络确定第三α；根据所述第一T和所述第三α，确定所述待识别二维人脸图像的第四P。5.根据权利要求1所述的方法，其特征在于，所述采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数α包括：采用第一卷积神经网络对所述三维图像进行回归计算，得到所述三维图像的所述第一T和所述第一α；所述根据所述第一T和所述第一α，确定所述待识别二维人脸图像的人脸关键点P包括：根据所述第一T和所述第一α，利用公式获得所述二维人脸图像的第一P，T为三维图像到二维人脸图像的投影矩阵，mindex为所述三维图像中平均人脸关键点P的形状向量，为所述三维图像中人脸关键点中第i个人脸形状分量，αi为第一α的第i个形状分量系数，n为三维图像中人脸关键点的像素数量。6.一种人脸关键点定位的装置，其特征在于，包括：第一确定模块，用于采用第一卷积神经网络确定三维图像的第一投影矩阵T和第一人脸形状分量系数集α，所述三维图像为待识别二维人脸图像拟合的三维可形变人脸图像；第一识别模块，用于根据所述第一T和所述第一α，确定...

【专利技术属性】
技术研发人员：杨松，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11