手部姿态识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种手部姿态识别方法、装置、设备及存储介质，所述手部姿态识别方法包括：获取待识别手部图像；将所述待识别手部图像输入至预设的手部图像识别模型，基于所述手部图像识别模型，对所述待识别手部图像进行关键点识别处理，得到所述待识别手部图像的3D关键点坐标，其中，所述手部图像识别模型是基于多目视角的手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练得到的。本申请属于智能驾驶技术领域，基于多目视角的手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签进行机器深度预测学习，去除了输入样本自遮挡点的问题，且考虑手部图像深度，提高了预测手部关键点的准确性。关键点的准确性。关键点的准确性。

【技术实现步骤摘要】
手部姿态识别方法、装置、设备及存储介质


[0001]本申请涉及智能驾驶
，尤其涉及一种手部姿态识别方法、装置、设备及存储介质。

技术介绍

[0002]在智能驾驶领域，手势识别是近年来大热的人机交互方式，手势识别技术是指检测图片或视频中的人手，并预测检出人手的手型以及关键点位置的技术。当前许多车厂已经使用了动态手势识别技术，可通过不同的手势实现车内接听电话、调节音量、切歌、控制导航等功能的操作，支持包括主副驾驶、后排乘客交互的多种场景，以此可以减少驾驶员的分神行为。
[0003]目前常用的基于计算机视觉的手部姿态估计任务大多采用深度学习的方式，以单目摄像机获取的2D人手图像作为输入，学习图像特征以及从图像到手部姿态的映射关系。但是以2D人手图像作为输入进行深度学习，手部图像识别的信息不足，导致预测的手部关键点准确性差。

技术实现思路

[0004]本申请的主要目的在于提供一种手部姿态识别方法、装置、设备及存储介质，旨在解决现有技术中预测的手部关键点准确性差的技术问题。
[0005]为实现以上目的，本申请提供一种手部姿态识别方法，所述手部姿态识别方法包括：
[0006]获取待识别手部图像；
[0007]将所述待识别手部图像输入至预设的手部图像识别模型，基于所述手部图像识别模型，对所述待识别手部图像进行关键点识别处理，得到所述待识别手部图像的3D关键点坐标，其中，所述手部图像识别模型是基于多目视角的手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练得到的。
[0008]在本申请的一种可能的实施方式中，所述获取待识别手部图像的步骤之前，所述方法包括：
[0009]采用多目摄像机采集手部图像训练样本，得到多目视角的所述手部图像训练样本；
[0010]确定所述手部图像训练样本的3D关键点坐标标签；
[0011]基于所述手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练，得到具有满足精度条件的手部图像识别模型。
[0012]在本申请的一种可能的实施方式中，所述基于所述手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练，得到具有满足精度条件的手部图像识别模型的步骤，包括：
[0013]将所述手部图像训练样本输入至所述待训练模型，得到所述手部图像训练样本的
预测3D关键点坐标；
[0014]基于所述预测3D关键点坐标和所述3D关键点坐标标签，采用均方误差loss，计算得到第一误差值；
[0015]判断所述第一误差值是否满足预设第一误差阈值范围指示的第一误差标准；
[0016]若所述误差结果未满足所述第一误差标准，则返回将所述手部图像训练样本输入至所述待训练模型，得到所述手部图像训练样本的预测3D关键点坐标的步骤，直到所述第一误差值满足所述第一误差标准后停止训练，得到具有满足精度条件的手部识别模型。
[0017]在本申请的一种可能的实施方式中，所述基于所述手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练，得到具有满足精度条件的手部图像识别模型的步骤，包括：
[0018]将所述手部图像训练样本输入至所述待训练模型，得到每一目视角的所述手部图像训练样本的预测2D关键点坐标和所述预测2D关键点坐标相对于手腕点坐标的深度值，并基于所述预测2D关键点坐标和所述深度值，构成所述手部图像训练样本的预测3D关键点坐标；
[0019]基于所述预测3D关键点坐标和所述3D关键点坐标标签，采用均方误差loss，计算得到第一误差值；
[0020]基于所述预测2D关键点坐标和所述预测3D关键点坐标，计算多目视角的所述手部图像训练样本之间所述预测2D关键点坐标的第二误差值和所述预测3D关键点坐标的第三误差值；
[0021]将所述第一误差值、所述第二误差值和所述第三误差值相加，得到第四误差值，并判断所述第四误差值是否满足预设第二误差阈值范围指示的第二误差标准；
[0022]若所述第四误差值未满足所述第二误差标准，则返回将所述手部图像训练样本输入至所述待训练模型，得到每一目视角的所述手部图像训练样本的预测2D关键点坐标和所述预测2D关键点坐标相对于手腕点坐标的深度值，并基于所述预测2D关键点坐标和所述深度值，确定所述手部图像训练样本的预测3D关键点坐标的步骤，直到所述第四误差值满足所述第二误差标准后停止训练，得到具有满足精度条件的手部识别模型。
[0023]在本申请的一种可能的实施方式中，所述基于所述预测2D关键点坐标和所述预测3D关键点坐标，计算多目视角的所述手部图像训练样本之间所述预测2D关键点坐标的第二误差值和所述预测3D关键点坐标的第三误差值的步骤，包括：
[0024]获取每一目视角的所述手部图像训练样本的所述预测2D关键点坐标的第一置信度数据和所述3D关键点坐标的第二置信度数据；
[0025]计算多目视角的所述手部图像训练样本之间所述预测2D关键点坐标的空间距离和所述预测3D关键点坐标的关联点距离；
[0026]基于所述第一置信度数据和所述空间距离，采用以下公式，计算得到所述手部图像训练样本的多目视角之间2D关键点坐标的第二误差值Loss1；
[0027][0028]其中，表示第C个视角预测的第j个关键点的第一置信度数据，是相机参数
转换矩阵，表示预测2D关键点坐标的空间距离计算，J代表全部的关键点，表示预测的第C个视角的第j个关键点的位置；
[0029]基于所述第二置信度数据和所述关联点距离，采用以下公式，计算得到所述手部图像训练样本的多目视角之间3D关键点坐标的第三误差值Loss2；
[0030][0031]其中，ε表示有关联的指部关节点，表示第j个关键点的第二置信度数据，表示关键点j到j
’
的平均距离，表示每一手部图像训练样本中关联点之间的距离计算。
[0032]在本申请的一种可能的实施方式中，所述确定所述手部图像训练样本的3D关键点坐标标签的步骤，包括：
[0033]获取所述多目摄像机的相机参数；
[0034]标定每一目视角的所述手部图像训练样本的2D关键点坐标；
[0035]对所述相机参数和所述2D关键点坐标进行计算和验证处理，得到所述手部图像训练样本的3D关键点坐标标签。
[0036]在本申请的一种可能的实施方式中，所述对所述相机参数和所述2D关键点坐标进行计算和验证处理，得到所述手部图像训练样本的3D关键点坐标标签的步骤，包括：
[0037]基于所述多目摄像机的相机参数和所述2D关键点坐标，采用超定方程，计算得到所述手部图像训练样本的待验证3D关键点坐标；
[0038]将所述待验证3D关键点坐标重投影至每一目视角的所述手部图像训练样本，得到重投影误差，并判断所述重投影误差是否满足预设的重投影误差阈值范围指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手部姿态识别方法，其特征在于，所述手部姿态识别方法包括：获取待识别手部图像；将所述待识别手部图像输入至预设的手部图像识别模型，基于所述手部图像识别模型，对所述待识别手部图像进行关键点识别处理，得到所述待识别手部图像的3D关键点坐标，其中，所述手部图像识别模型是基于多目视角的手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练得到的。2.如权利要求1所述的手部姿态识别方法，其特征在于，所述获取待识别手部图像的步骤之前，所述方法包括：采用多目摄像机采集手部图像训练样本，得到多目视角的所述手部图像训练样本；确定所述手部图像训练样本的3D关键点坐标标签；基于所述手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练，得到具有满足精度条件的手部图像识别模型。3.如权利要求2所述的手部姿态识别方法，其特征在于，所述基于所述手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练，得到具有满足精度条件的手部图像识别模型的步骤，包括：将所述手部图像训练样本输入至所述待训练模型，得到所述手部图像训练样本的预测3D关键点坐标；基于所述预测3D关键点坐标和所述3D关键点坐标标签，采用均方误差loss，计算得到第一误差值；判断所述第一误差值是否满足预设第一误差阈值范围指示的第一误差标准；若所述误差结果未满足所述第一误差标准，则返回将所述手部图像训练样本输入至所述待训练模型，得到所述手部图像训练样本的预测3D关键点坐标的步骤，直到所述第一误差值满足所述第一误差标准后停止训练，得到具有满足精度条件的手部识别模型。4.如权利要求2所述的手部姿态识别方法，其特征在于，所述基于所述手部图像训练样本和所述手部图像训练样本的3D关键点坐标标签，对预设的待训练模型进行迭代训练，得到具有满足精度条件的手部图像识别模型的步骤，包括：将所述手部图像训练样本输入至所述待训练模型，得到每一目视角的所述手部图像训练样本的预测2D关键点坐标和所述预测2D关键点坐标相对于手腕点坐标的深度值，并基于所述预测2D关键点坐标和所述深度值，构成所述手部图像训练样本的预测3D关键点坐标；基于所述预测3D关键点坐标和所述3D关键点坐标标签，采用均方误差loss，计算得到第一误差值；基于所述预测2D关键点坐标和所述预测3D关键点坐标，计算多目视角的所述手部图像训练样本之间所述预测2D关键点坐标的第二误差值和所述预测3D关键点坐标的第三误差值；将所述第一误差值、所述第二误差值和所述第三误差值相加，得到第四误差值，并判断所述第四误差值是否满足预设第二误差阈值范围指示的第二误差标准；若所述第四误差值未满足所述第二误差标准，则返回将所述手部图像训练样本输入至所述待训练模型，得到每一目视角的所述手部图像训练样本的预测2D关键点坐标和所述预测2D关键点坐标相对于手腕点坐标的深度值，并基于所述预测2D关键点坐标和所述深度
值，确定所述手部图像训练样本的预测3D关键点坐标的步骤，直到所述第四误差值满足所述第二误差标准后停止训练，得到具有满足精度条件的手部识别模型。5.如权利要求4所述的手部姿态识别方法，其特征在于，所述基于所述预测2D关键点坐标和所述预测3D关键点坐标，计算多目视角的所述手部图像训练样本之间所述预测2D关键点坐标的第二误差值和所述预测3D关键点坐标的第三误差值的步骤，包括：获取每一目视角的所述手部图像训练样本的所述预测2D关键点坐标的第一置信度数据和所述3D关键点坐标的第二置信度数据；计算多目视角的所述手部图像训练样本之间所述预测2D关键点坐标的空间距离和所述预测3D关键点坐标的关联点距离；基于所述第一置信度数据和所述空间距离，采用以下公式，计算得到所述手部图像训练样本的多目视角之间2D关键点坐标的第二误差值Loss1；其中，表示第C个视角预测的第j个关键点的第一置信度数据，是相机参数转换矩阵，表示预测2D关键点坐标的空间距离计算，J代表全部的关键点，表示预测的第C个视角的第j个关键点的位置；基于所述第二置信度数据和所述关联点距离，采用以下公式，计算得到所述手部图像训练样本的多目视角之间3D关键点坐标的第三误差值Loss2；其中，ε表示有关联的指部关节点，表示第j个关键点的第二置信度数据，表示关键点j到j
’
的平均距离，表示每一手部图像训练样本中关联点之间的距离计算。6.如权利要求2所述的手部姿态识别方法，其特征在于，所述确定所述手部图像训练样本的3D关键点坐标标签的步骤，包括：获取所述多目摄像机的相机参数；标定每一目视角的所述手部图像训练样本的2D关键点坐标；对所述相机参数和所述2D关键点坐标进行计算和验证处理，得到所述手部图像训练样本的3D关键点坐标标签。7.如权利要求6所述的手部姿态识别方法，其特征在于，所述对所述相机参数和所述2D关键点坐标进行计算和验证处理，得到所述手部图像训练样本的3D关键点坐标标签的步骤，包括：基于所述多目摄像机的相机参数和所述2D关键点坐标，采用超定方程，计算得到所述手部图像训练样本的待验证3D关键点坐标；将所述待验证3D关键点坐标重投影至每一目视角的所述手部图像训练样本，得到重投影误差，并判断所述重投影误差是否满足预设的重投影误差阈值范围指示的第三误差标准；
若所述重投影误差未满足所述第三误差标准，则返回所述标定每一目视角的所述手部图像训练样本的2D关键点坐标的步骤，直到所述重投影误差满足所述第三标准后停止验证，得到所述手部图像训练样本的3D关键点坐标标签。8.一种手部姿态识别装置，其特征在于，所述手部姿态识别装置包...

【专利技术属性】
技术研发人员：韦立庆，赵显，张彬，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：