模型训练方法、手势识别方法、装置、设备及介质制造方法及图纸

本申请公开了一种关节点旋转检测模型训练方法、装置、设备及介质，涉及图像处理技术领域，包括：获取人手图像数据，并提取第一手部关键点，以及利用反向动力学方法确定出各关节点的第一旋转轴角；将人手图像数据输入初始关节点旋转检测模型以输出六维旋转向量，并获取与六维旋转向量对应的第二旋转轴角；基于第一手部关键点和旋转矩阵确定出第二手部关键点；基于第一旋转轴角和第二旋转轴角以及基于第一手部关键点和第二手部关键点构建分别构建损失函数；利用总的损失函数对初始关节点旋转检测模型进行训练得到关节点旋转检测模型。通过构建关节点旋转轴角的损失函数和构建手部关键点的损失函数对模型进行训练，能够提高模型的稳定性和性能。的稳定性和性能。的稳定性和性能。

【技术实现步骤摘要】
模型训练方法、手势识别方法、装置、设备及介质


[0001]本专利技术涉及图像处理
，特别涉及一种模型训练方法、手势识别方法、装置、设备及介质。

技术介绍

[0002]随着科技的发展，智能设备逐渐进入人们的日常生活，例如带摄像头的智能手机与智能电视以及汽车中控等等。在各类技术中，基于图像的手势识别技术应用相当广泛，在没有文字或者语音设备进行记录的前提下，手势能够辅助表词达意。目前基于深度学习模型进行手势识别的方法主要有以下三种：(1)图像分类识别手势，该方法的优势是整个流程简单，耗时低，但是缺点是难以增加新的手势，每次增加手势时需要重新训练整个图像模型，另外人手在图像中的尺寸大小对识别精度的影响较大；(2)检测人手关键点加手势分类，该方法不需要每次重新训练图像模型，仅需要重新训练分类模型即可，可扩展性增强，但是当人手整体发生旋转时，手势分类模型会因为关键点整体发生变化而难以训练；(3)检测人手关键点并进行反向动力学后再进行手势分类，该方法可以能够克服前两种方法中的问题，但是由于反向动力学过程会随着关节点的增加而增加耗时，且解算结果不唯一，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关节点旋转检测模型训练方法，其特征在于，包括：获取人手图像数据，并对所述人手图像数据进行关键点提取以得到第一手部关键点，以及基于所述第一手部关键点利用反向动力学方法对所述人手图像数据进行处理以得到人手各关节点的第一旋转轴角；将所述人手图像数据输入初始关节点旋转检测模型以输出六维旋转向量，并获取与所述六维旋转向量对应的第二旋转轴角；利用所述第二旋转轴角确定出旋转矩阵，并基于所述第一手部关键点和所述旋转矩阵确定出第二手部关键点；基于所述第一旋转轴角和所述第二旋转轴角构建第一损失函数，并基于所述第一手部关键点和所述第二手部关键点构建第二损失函数；利用所述第一损失函数和所述第二损失函数对所述初始关节点旋转检测模型进行训练，以得到训练后的关节点旋转检测模型。2.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述获取人手图像数据，包括：获取利用三维扫描仪或RGB
‑
D相机采集到的人手图像数据。3.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述对所述人手图像数据进行关键点提取以得到第一手部关键点，包括：提取所述人手图像数据中人手关节点的第一空间位置坐标和手指末端的第二空间位置坐标；基于所述第一空间位置坐标和所述第二空间位置坐标得到第一手部关键点。4.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述获取与所述六维旋转向量对应的第二旋转轴角，包括：对所述六维旋转向量进行格拉姆
‑
施密特正交化处理以得到对应的第二旋转轴角。5.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述利用所述第二旋转轴角确定出旋转矩阵，包括：基于所述第二旋转轴角中的旋转轴和旋转角，并利用罗德里格斯旋转公式确定出旋转矩阵。6.根据权利要求1至5任一项所述的关节点旋转检测模型训练方法，其特征在于，所述基...

【专利技术属性】
技术研发人员：张鹏宇，
申请(专利权)人：济南博观智能科技有限公司，
类型：发明
国别省市：