人脸特征点检测方法、装置及设备制造方法及图纸

本发明专利技术提供一种人脸特征点检测方法、装置及设备，其中，所述方法包括：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置，进而根据确定的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。利用本发明专利技术提供的人脸特征点检测方法可提高人脸特征点识别的准确性，降低误检率。

Method, device and device for detecting facial feature points

The invention provides a facial feature point detection method, device and equipment, wherein, the method comprises: acquiring target objects in 2D images, the two-dimensional image and the corresponding depth image, the target object's 3D face model and used to represent the 3D face model and the two-dimensional image feature point mapping the relationship between the mapping matrix; face position detection on the two-dimensional image to obtain the two-dimensional image of the face position; through the cascade regression for pre training for the mapping matrix, the 3D face model and the iterative computation of the face position, to determine the mapping matrix, the iteration termination condition the 3D face model and the position of the face, and then according to the mapping matrix, the 3D face model and the face position is determined that the two-dimensional images of people Facial feature point position. The method of face feature point detection provided by the invention can improve the accuracy of face feature point recognition and reduce the false detection rate.

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特别涉及一种人脸特征点检测方法、装置及设备。
技术介绍
近年来，随着移动互联网的发展，人脸特征点检测技术已推广至智能监控、智能手机应用、智能家居等各个领域。在智能监控领域，人脸特征点检测技术可以用于获得人流统计信息(如年龄、性别、种族的组成等)、跟踪或查找特定的人(群)；在智能手机应用领域，人脸特征点检测技术可以用于信息认证(如人脸支付、人脸开锁、美颜、化妆等)；在智能家居领域，智能家电(机器人)可以基于人脸特征点检测技术获得家庭人员的信息，实现人机交互。相关技术中，人脸特征点检测方法主要是对二维图像中的人脸进行检测，包括基于机器学习的人脸特征点检测方法等。由于完全依赖于二维图像信息，因而无法准确区分真实人脸和人脸影像，比如容易将衣服上的人脸图像、玻璃门上的人脸倒影等也误检为人脸，误检率较高，并且针对姿态角较大的人脸进行特征点检测时的准确度较低。
技术实现思路
有鉴于此，本专利技术提供一种人脸特征点检测方法、装置及设备，以提高人脸特征点检测的准确性。第一方面，本专利技术实施例提供了一种人脸特征点检测方法，包括：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。可选地，所述级联回归器包括：用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。可选地，所述对所述映射矩阵进行迭代运算，包括：根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；将所述第一特征向量输入到所述第一回归器，以更新所述映射矩阵。可选地，所述对所述人脸位置进行迭代运算，包括：根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置；分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二特征向量；将所述第二特征向量输入到所述第二回归器，以更新所述三维人脸模型。可选地，所述对所述三维人脸模型进行迭代运算，包括：根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置；分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三特征向量；将所述第三特征向量输入到所述第三回归器，以更新人脸位置。可选地，所述方法还包括根据以下步骤训练所述第一回归器：获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵；对所述样本二维图像进行人脸位置检测，以获取所述样本二维图像上的样本人脸位置；根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置；分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一样本特征向量矩阵；根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。可选地，所述方法还包括根据以下步骤训练所述第二回归器：将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器，以得到更新的样本映射矩阵；根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置；分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二样本特征向量矩阵；根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。可选地，所述方法还包括根据以下步骤训练所述第三回归器：将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器，以得到更新的样本三维人脸模型；根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置；分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三样本特征向量矩阵；根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。第二方面，提供了一种人脸特征点检测装置，包括：数据获取模块，用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；人脸检测模块，用于对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；数据运算模块，用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；特征点确定模块，用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。第三方面，还提供了一种电子设备，所述电子设备包括：处理器；被配置为存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。由上述技术方案可知，本专利技术提供的人脸特征点检测方法，首先获取目标对象的二维图像、对应的深度图像、三维人脸模型以及映射矩阵，然后对所述二维图像进行人脸本文档来自技高网...

【技术保护点】
一种人脸特征点检测方法，其特征在于，包括：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。

【技术特征摘要】
1.一种人脸特征点检测方法，其特征在于，包括：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。2.根据权利要求1所述的方法，其特征在于，所述级联回归器包括：用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。3.根据权利要求2所述的方法，其特征在于，所述对所述映射矩阵进行迭代运算，包括：根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；将所述第一特征向量输入到所述第一回归器，以更新所述映射矩阵。4.根据权利要求3所述的方法，其特征在于，所述对所述人脸位置进行迭代运算，包括：根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置；分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二特征向量；将所述第二特征向量输入到所述第二回归器，以更新所述三维人脸模型。5.根据权利要求4所述的方法，其特征在于，所述对所述三维人脸模型进行迭代运算，包括：根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置；分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三特征向量；将所述第三特征向量输入到所述第三回归器，以更新人脸位置。6.根据权利要求2所述的方法，其特征在于，所述方法还包括根据以下步骤训练所述第一回归器：获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵；对所述样本二维图像进行人脸位置检测，以获取所述样本二维图像上的样本人脸位置；根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置；分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一样本特征向量矩阵；根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。7.根据权利要求6所述的方法，其特征在于，所述方法还包括根据以下步骤训练所述第二回归器：将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器，以得到...

【专利技术属性】
技术研发人员：王行，盛赞，李朔，周晓军，李骊，杨高峰，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11