人脸深度图对齐方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种人脸深度图对齐方法、装置、计算机设备和存储介质，利用二维图像得到待对齐人脸的人脸特征点，将其应用到深度图中，再将深度图转换成点云，得到第一点云和第一待对齐人脸特征点集合；利用人脸的对称性，得到与待对齐人脸方向相同的待对齐人脸剖面；通过旋转待对齐人脸剖面至剖面法向与相机坐标竖轴方向相同得到一个能够使第一点云，即待对齐人脸实现初步对齐的旋转矩阵，得到第二点云；沿相机坐标竖轴旋转第二点云，使第二点云中的第二待对齐人脸特征点集合对齐，从而实现待对齐人脸的对齐；计算第二点云中每一点到待对齐人脸剖面的距离，生成对齐后的人脸深度图；可以实现多姿态人脸深度图的对齐，提高人脸深度图对齐的效率。

Face depth map alignment method, device, computer equipment and storage medium

【技术实现步骤摘要】
人脸深度图对齐方法、装置、计算机设备和存储介质
本申请涉及计算机视觉
，特别是涉及一种人脸深度图对齐方法、装置、计算机设备和存储介质。
技术介绍
作为计算机视觉
的研究热点，人脸识别技术通过计算机提取人脸特征，并根据这些特征进行身份识别；其具有操作简单、结果直观以及隐蔽性好等优点，在生活娱乐、信息安全、出入口控制等领域得到广泛的应用。其中，人脸对齐为人脸识别奠定基础，是人脸识别不可或缺的一个关键步骤。由于人脸图像拍摄过程中人脸和相机的移动，人脸深度图的深度值浮动较大，不能准确地检测到人脸深度图的脸部特征点，难以将人脸深度图对齐。传统方案通常通过建立三维人脸模型，训练三维人脸模型来预测人脸图像的深度信息，生成对齐的人脸深度图。然而，建立和训练三维人脸模型的过程复杂、繁琐，导致人脸深度图对齐的效率低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高效率的人脸深度图对齐方法、装置、计算机设备和存储介质。一种人脸深度图对齐方法，所述方法包括：获取待对齐人脸的二维图像和深度图像；根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。在其中一个实施例中，所述根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合包括：对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；根据所述二维图像与所述深度图像中每一像素点的对应关系，将所述第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；将所述深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，讲所述第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。在其中一个实施例中，所述对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合包括：检测所述二维图像，得到所述二维图像中待对齐人脸的位置信息；根据所述位置信息，生成待对齐人脸的人脸框；根据所述人脸框，确定待对齐人脸的特征区域；在所述特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。在其中一个实施例中，所述将所述深度图像转换为待对齐人脸的第一点云包括：获取所述深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；根据所述转换关系计算所述深度图像中每个像素点对应的三维空间坐标；根据所述三维空间坐标确定每个像素点对应的三维空间位置；根据所述三维空间位置，生成对应的待对齐人脸的第一点云。在其中一个实施例中，所述根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：根据人脸的对称性，在所述第一待对齐人脸特征点集合中确定待对称特征点集合；将所述待对称特征点集合中的待对称特征点一一配对，获取配对的待对称特征点与待对齐人脸剖面间的关联关系；所述关联关系使所述待配对的对称特征点到待对齐人脸剖面的距离相等；在所述第一待对齐人脸特征点集合中获取鼻尖特征点，根据所述鼻尖特征点确定待对齐人脸剖面的中心点；对所述关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。在其中一个实施例中，所述沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云包括：根据人脸的对称性，在所述第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；将所述待对平对齐的特征点集合中的点一一配对；获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；沿所述相机坐标系的竖轴旋转所述第二点云，使所述配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。一种人脸深度图对齐装置，所述装置包括：图像获取模块，用于获取待对齐人脸的二维图像和深度图像；图像处理模块，用于根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；待对齐人脸剖面生成模块，用于根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；旋转矩阵计算模块，用于旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；第二点云对齐模块，用于根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；对齐后的人脸深度图生成模块，用于计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。在其中一个实施例中，所述图像处理模块还用于：对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；根据所述二维图像与所述深度图像中每一像素点的对应关系，得到待对齐人脸在所述深度图像中对应的第二人脸特征点集合；将所述深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，得到待对齐人脸在所述第一点云中对应的第一待对齐人脸特征点集合。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待对齐人脸的二维图像和深度图像；根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；<本文档来自技高网...

【技术保护点】
1.一种人脸深度图对齐方法，所述方法包括：/n获取待对齐人脸的二维图像和深度图像；/n根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；/n根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；/n旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；/n根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；/n计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。/n

【技术特征摘要】
1.一种人脸深度图对齐方法，所述方法包括：
获取待对齐人脸的二维图像和深度图像；
根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。


2.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合包括：
对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；
根据所述二维图像与所述深度图像中每一像素点的对应关系，将所述第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；
将所述深度图像转换为待对齐人脸的第一点云；
根据深度图像与第一点云间的转换关系，将所述第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。


3.根据权利要求2所述的方法，其特征在于，所述对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合包括：
检测所述二维图像，得到所述二维图像中待对齐人脸的位置信息；
根据所述位置信息，生成待对齐人脸的人脸框；
根据所述人脸框，确定待对齐人脸的特征区域；
在所述特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。


4.根据权利要求2所述的方法，其特征在于，所述将所述深度图像转换为待对齐人脸的第一点云包括：
获取所述深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；
根据所述转换关系计算所述深度图像中每个像素点对应的三维空间坐标；
根据所述三维空间坐标确定每个像素点对应的三维空间位置；
根据所述三维空间位置，生成对应的待对齐人脸的第一点云。


5.根据权利要求1所述的方法，其特征在于，所述根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：
根据人脸的对称性，在所述第一待对齐人脸特征点集合中确定待对称特征点集合；
将所述待对称特征点集合中的待对称特征点一一配对，获取配对的待对称特征点与待对齐人脸剖面间的关联关系；所述关联关系使所述待配对...

【专利技术属性】
技术研发人员：陈威宁，王立杰，刘智远，魏福呈，廖致霖，
申请(专利权)人：业成科技成都有限公司，业成光电深圳有限公司，英特盛科技股份有限公司，
类型：发明
国别省市：四川;51