手势重建方法、装置以及电子设备制造方法及图纸

本申请公开了一种手势重建方法、装置以及电子设备，涉及信息处理技术领域。首先根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；然后确定目标手部的至少两种手部状态对应的初始姿态角，得到各初始姿态角对应的候选姿态角；最后将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。由于根据各手部关键点的权重以及采用至少两种手部状态对应的初始姿态角，来计算目标手部的姿态角，可以实现基于手部的构造对手部姿态进行约束，也就可以更加准确地预测出手部的姿态角，进而可以更加准确地重建手部的手势。地重建手部的手势。地重建手部的手势。

【技术实现步骤摘要】
手势重建方法、装置以及电子设备


[0001]本申请涉及信息处理
，尤其涉及一种手势重建方法、装置以及电子设备。

技术介绍

[0002]随着科学技术的发展，手势交互技术已经越来越成为VR、AR等场景的标配技术，手势交互技术的应用核心在于对手势的重建，因此关于手势重建方法也称为本领域技术人员研究的重点之一。
[0003]在相关技术中，手势重建方法一般以相机图像作为输入，通过神经网络直接预测手部姿态角，然后基于手部姿态角对手部进行重建，但是上述手势重建过程中存在手部姿态角预测不准确的问题。

技术实现思路

[0004]本申请提供一种手势重建方法、装置以及电子设备，可以解决相关技术中在手势重建过程中存在手部姿态角预测不准确的技术问题。
[0005]第一方面，本申请实施例提供一种手势重建方法，该方法包括：
[0006]根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；
[0007]确定所述目标手部的至少两种手部状态对应的初本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势重建方法，其特征在于，所述方法包括：根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；确定所述目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；将误差最小的候选姿态角作为所述目标手部的最终姿态角，基于所述最终姿态角在三维坐标系中重建所述目标手部的手势。2.根据权利要求1所述的方法，其特征在于，所述得到各相机图像对应的目标手部的手部关键点之后，还包括：根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度；去除平均置信度低于预设置信度阈值的相机图像。3.根据权利要求1所述的方法，其特征在于，所述根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，包括：基于正向运动学方法得到第一姿态角计算公式为：其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的外部参数，h表示正向运动学公式，S表示手部关键点的权重，θ
k
表示标号为k的初始姿态角，θ
k*
表示标号为k的初始姿态角对应的第一候选姿态角；将各初始姿态角、各手部关键点以及各手部关键点的权重输入所述第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。4.根据权利要求3所述的方法，其特征在于，所述根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，还包括：计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差；去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于所述剩余手部关键点以及所述第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。5.根据权利要求4所述的方法，其特征在于，所述将误差最小的候选姿态角作为所述目标手部的最终姿态角，包括：根据所述第一姿态角公式得到第二姿态角公式为：其中，θ
**k
表示标号为k的初始姿态角对应的第二候选姿态角，θ
*
表示各第一候选姿态角中误差最小的第二候选姿态角；<...

【专利技术属性】
技术研发人员：胡慧，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：