人脸姿态分析方法、装置、设备、存储介质以及程序制造方法及图纸

本申请实施方式公开了一种人脸姿态分析方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人脸姿态分析方法包括：获取待处理人脸图像的人脸关键点；将所述待处理人脸图像的人脸关键点输入至神经网络中，以获得所述神经网络输出的所述待处理人脸图像的人脸姿态信息。

Face pose analysis methods, devices, devices, storage media and programs

【技术实现步骤摘要】
人脸姿态分析方法、装置、设备、存储介质以及程序
本申请涉及计算机视觉技术，尤其是涉及一种人脸姿态分析方法、人脸姿态分析装置、神经网络的训练方法、神经网络的训练装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
人脸图像是包含有人脸的图像。如何从人脸图像中获得更多的信息，是一个值得关注的技术问题。
技术实现思路
本申请实施方式提供一种人脸姿态分析和训练神经网络的技术方案。根据本申请实施方式其中一方面，提供一种人脸姿态分析方法，所述方法包括：获取待处理人脸图像的人脸关键点；将所述待处理人脸图像的人脸关键点输入至神经网络中，以获得所述神经网络输出的所述待处理人脸图像的人脸姿态信息。在本申请一实施方式中，所述人脸姿态信息包括：围绕X轴旋转信息、围绕Y轴旋转信息以及围绕Z轴旋转信息中的至少一个。在本申请的又一实施方式中，所述获取待处理人脸图像的人脸关键点包括：利用卷积神经网络获取待处理人脸图像的人脸关键点。在本申请再一实施方式中，所述将所述待处理人脸图像的人脸关键点输入至神经网络中包括：将所述待处理人脸图像的人脸关键点进行坐标归一化处理，并将坐标归一化处理后的人脸关键点输入至神经网络中。在本申请再一实施方式中，所述神经网络基于包括有人脸关键点和人脸姿态标注信息的训练数据预先训练而得。在本申请再一实施方式中，所述神经网络包括：至少两个带有修正线性单元的全连接层以及一个被作为输出层的全连接层。在本申请再一实施方式中，所述围绕X轴旋转信息包括：围绕X轴旋转角度；和/或，所述围绕Y轴旋转信息包括：围绕Y轴旋转角度；和/或，所述围绕Z轴旋转信息包括：围绕Z轴旋转角度。在本申请再一实施方式中，所述方法还包括：根据所述待处理人脸图像的人脸姿态信息对所述待处理人脸图像进行处理；其中，所述处理包括：人脸识别、变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。在本申请再一实施方式中，所述神经网络的训练方法包括：从训练数据集中获取训练数据，所述训练数据包括有人脸关键点和人脸姿态标注信息；将所述训练数据中的人脸关键点输入待训练的神经网络中，以获得所述待训练的神经网络输出的人脸姿态信息；以所述待训练的神经网络输出的人脸姿态信息和所述训练数据中的人脸姿态标注信息之间的差异为指导信息，对所述待训练的神经网络进行监督学习。在本申请再一实施方式中，所述训练数据集中的训练数据的生成方法包括：获取人脸图像样本的人脸关键点；根据人脸图像样本的人脸关键点，利用三维人脸模型，确定所述人脸图像样本的人脸姿态标注信息；其中，所述人脸图像样本的人脸关键点和人脸图像样本的人脸姿态标注信息被作为训练数据集中的一条训练数据。在本申请再一实施方式中，所述根据所述人脸图像样本的人脸关键点，利用三维人脸模型，确定所述人脸图像样本的人脸姿态标注信息包括：根据梯度下降法，调整三维人脸模型的参数，以优化所述人脸图像样本的人脸关键点和参数调整后的三维人脸模型的人脸关键点投影获得的二维人脸关键点之间的距离和，从而确定所述人脸图像样本的人脸姿态标注信息。在本申请再一实施方式中，所述调整三维人脸模型的参数包括：调整三维人脸模型的位置、三维人脸模型的姿态以及三维人脸模型的表情中的至少一个。在本申请再一实施方式中，所述训练数据集中的训练数据的生成方法包括：获取训练数据集中的一条训练数据，对该条训练数据中的人脸关键点进行坐标变换，并根据人脸关键点的坐标变换对该条训练数据中的人脸姿态标注信息进行相应的变换；将变换处理后的人脸关键点和人脸姿态标注信息作为一条新的训练数据添加在所述训练数据集中。在本申请再一实施方式中，设定在人脸为正脸时，人脸关键点围绕Y轴旋转信息和围绕Z轴旋转角信息均表示不存在旋转的情况下，所述对该条训练数据中的人脸关键点进行坐标变换，并根据人脸关键点的坐标变换对该条训练数据中的人脸姿态标注信息进行相应的变换包括：对该条训练数据中的人脸关键点的X轴坐标进行镜像处理，并将该条训练数据中的人脸姿态标注信息中的围绕Y轴旋转信息和围绕Z轴旋转信息分别取负。在本申请再一实施方式中，所述对该条训练数据中的人脸关键点进行坐标变换，并根据人脸关键点的坐标变换对该条训练数据中的人脸姿态标注信息进行相应的变换包括：对该条训练数据中的人脸关键点的坐标二维旋转预定角度，并根据该预定角度调整该条训练数据中的人脸姿态标注信息中的围绕Z轴旋转信息。根据本申请实施方式的其中另一方面，提供一种神经网络的训练方法，所述训练方法包括：从训练数据集中获取训练数据，所述训练数据包括有人脸关键点和人脸姿态标注信息；将所述训练数据中的人脸关键点输入待训练的神经网络中，以获得所述待训练的神经网络输出的人脸姿态信息；以所述待训练的神经网络输出的人脸姿态信息与所述训练数据中的人脸姿态标注信息之间的差异为指导信息，对所述待训练的神经网络进行监督学习。在本申请一实施方式中，该训练数据集中的训练数据的生成方法包括：获取人脸图像样本的人脸关键点；根据所述人脸图像样本的人脸关键点，利用三维人脸模型，确定所述人脸图像样本的人脸姿态标注信息；其中，所述人脸图像样本的人脸关键点和人脸图像样本的人脸姿态标注信息被作为训练数据集中的一条训练数据。在本申请又一实施方式中，所述根据所述人脸图像样本的人脸关键点，利用三维人脸模型，确定所述人脸图像样本的人脸姿态标注信息包括：根据梯度下降法，调整三维人脸模型的参数，以优化所述人脸图像样本的人脸关键点和参数调整后的三维人脸模型的人脸关键点投影获得的二维人脸关键点之间的距离和，从而确定所述人脸图像样本的人脸姿态标注信息。在本申请再一实施方式中，所述调整三维人脸模型的参数包括：调整三维人脸模型的位置、三维人脸模型的姿态以及三维人脸模型的表情中的至少一个。在本申请再一实施方式中，所述训练数据集中的训练数据的生成方法包括：获取训练数据集中的一条训练数据，对该条训练数据中的人脸关键点进行坐标变换，并根据人脸关键点的坐标变换对该条训练数据中的人脸姿态标注信息进行相应的变换；将变换处理后的人脸关键点和人脸姿态标注信息作为一条新的训练数据添加在所述训练数据集中。在本申请再一实施方式中，设定在人脸为正脸时，人脸关键点围绕Y轴旋转信息和围绕Z轴旋转角信息均表示不存在旋转的情况下，所述对该条训练数据中的人脸关键点进行坐标变换，并根据人脸关键点的坐标变换对该条训练数据中的人脸姿态标注信息进行相应的变换包括：对该条训练数据中的人脸关键点的X轴坐标进行镜像处理，并将该条训练数据中的人脸姿态标注信息中的围绕Y轴旋转信息和围绕Z轴旋转信息分别取负。在本申请再一实施方式中，所述对该条训练数据中的人脸关键点进行坐标变换，并根据人脸关键点的坐标变换对该条训练数据中的人脸姿态标注信息进行相应的变换包括：对该条训练数据中的人脸关键点的坐标二维旋转预定角度，并根据该预定角度调整该条训练数据中的人脸姿态标注信息中的围绕Z轴旋转信息。根据本申请实施方式的其中再一方面，提供一种人脸姿态分析装置，所述装置包括：获取关键点模块，用于获取待处理人脸图像的人脸关键点；获取姿态模块，用于将所述待处理人脸图像的人脸关键点输入至神经网络中，以获得所述神经网络输出的所述待处理人脸图像的人脸姿态本文档来自技高网...

【技术保护点】
1.一种人脸姿态分析方法，其特征在于，包括：获取待处理人脸图像的人脸关键点；将所述待处理人脸图像的人脸关键点输入至神经网络中，以获得所述神经网络输出的所述待处理人脸图像的人脸姿态信息。

【技术特征摘要】
1.一种人脸姿态分析方法，其特征在于，包括：获取待处理人脸图像的人脸关键点；将所述待处理人脸图像的人脸关键点输入至神经网络中，以获得所述神经网络输出的所述待处理人脸图像的人脸姿态信息。2.根据权利要求1所述的方法，其特征在于，所述人脸姿态信息包括：围绕X轴旋转信息、围绕Y轴旋转信息以及围绕Z轴旋转信息中的至少一个。3.根据权利要求1至2中任一项所述的方法，其特征在于，所述获取待处理人脸图像的人脸关键点包括：利用卷积神经网络获取待处理人脸图像的人脸关键点。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将所述待处理人脸图像的人脸关键点输入至神经网络中包括：将所述待处理人脸图像的人脸关键点进行坐标归一化处理，并将坐标归一化处理后的人脸关键点输入至神经网络中。5.一种神经网络的训练方法，其特征在于，包括：从训练数据集中获取训练数据，所述训练数据包括有人脸关键点和人脸姿态标注信息；将所述训练数据中的人脸关键点输入待训练的神经网络中，以获得所述待训练的神经网络输出的人脸姿态信息；以所述待训练的神经网络输出的人脸姿态信息与所述训练数据中的人脸姿态标注信息之间的差异为指导信息，对所述待训练的...

【专利技术属性】
技术研发人员：王权，王飞，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11