【技术实现步骤摘要】
一种手部姿态三维重建方法、装置及存储介质
[0001]本专利技术涉及计算机视觉和模式识别的
，尤其涉及一种手部姿态三维重建方法、装置及存储介质。
技术介绍
[0002]基于计算机视觉技术的三维手部姿态估计在人类生活的众多领域得到广泛应用，如计算机动画、医学、人机交互，手势识别等领域。基于神经网络技术的快速发展，从RGB图像估计三维手部姿态，不仅消除了对RGB
‑
D传感器(如Kinect)的依赖，并且获得了性能上的明显提升，成为当前研究热点。
[0003]手部作为人体最灵活的部位之一，是人体最经常使用到的一个部位，在日常生活、学习以及工作的各个方面，都发挥着重要的作用。在目前的科学研究和开发中，手部姿态估计的相关技术的研究和产品的开发已取得了大量的成果，手部姿态估计技术在社会生活和生产中的一些领域已经得到了较为成熟的应用。然而，在智能医疗方面的研究却是相当有限，主要原因是现有的应用于智能医疗的手部姿态估计技术和产品在制作成本、可移动性、环境适应性、使用灵活性、针对复杂姿态的解析能力等方面存在着不...
【技术保护点】
【技术特征摘要】
1.一种手部姿态三维重建方法，其特征在于，包括：实时获取一组多角度下的手部图像；将获取的一组多角度下的手部图像输入预先训练好的关节三维坐标预测模型中，得到手部各关节点的三维坐标；其中关节三维坐标预测模型基于多组标注有手部关节点的多角度下手部图像对神经网络进行弱监督训练得到；基于手部各关节点的三维坐标使用空间向量法，实时计算得到各相邻手指骨骼之间的夹角；基于实时计算得到的各相邻手指骨骼之间的夹角调整预先建立的人体手部三维模型中各关节的位置，实现手部姿态运动可视化。2.根据权利要求1所述的手部姿态三维重建方法，其特征在于，所述关节三维坐标预测模型包括特征提取模块和坐标计算模块，其中：所述特征提取模块的输入为一组多角度下的手部图像，其输出包括2J个通道，其中J个通道用于输出关节2D热点图H
j2D
，另外J个通道用于输出关节潜在深度图所述坐标计算模块的输入为关节2D热点图H
j2D
和关节潜在深度图其输出为各关节点的三维坐标；其处理过程包括：获取二维坐标：将关节2D热点图H
j2D
通过softmax函数对其进行归一化转换得到归一化关节热点图关节热点图然后根据函数soft
‑
argmax计算出各关节的二维位姿坐标(x
j
,y
j
)，如下式所示：其中，u，v是2D热点图H
j2D
中的像素坐标，U是基于神经网络的有效步幅大小预设采样的二维网格，而λ是控制归一化热点图温度的常数；获取2.5D位置姿态：通过将归一化关节热点图和关节潜在深度图进行同位素相乘，得到每一个关节的相对尺度归一化深度值乘，得到每一个关节的相对尺度归一化深度值二维位姿坐标(x
j
,y
j
)和相对尺度归一化深度值构成了2.5D位置姿态计算三维关节坐标：每个关节的深度值表现为根关节深度值加上相对尺度归一化深度值，手指骨骼长度固定不变，通过如下公式计算得到关节的根关节深度值值，手指骨骼长度固定不变，通过如下公式计算得到关节的根关节深度值值，手指骨骼长度固定不变，通过如下公式计算得到关节的根关节深度值其中，l、k表示关节，且l关节为k关节的根关节，表示k关节的相对尺度归一化深度值，表示k关节的根关节深度值，z
k
表示k关节的深度值；A为预设常数；k关节的三维坐标通过如下公式计算得到：
其中，K为相机的内参矩阵。3.根据权利要求1或2所述的手部姿态三维重建方法，其特征在于，所述关节三维坐标预测模型通过方法得到：采集多组多角度下手部图像并标注手部关节点，构成训练样本集；以多角度下手部图像为输入，各关节点三维坐标为输出，基于训练样本集对神经网络进行弱监督训练，得到关节三维坐标预测模型；训练过程中，使用的损失函数如下：L
WS
＝L
H
+αL
MC
+βL
B
其中，L
H
为2D热点图的损失函数，L
MC
为多角度一致性的损失函数，L
B
为手指骨骼长度的损失函数，α，β表示权重。4.根据权利要求3所述的手部姿态三维重建方法，其特征在于，2D热点图的损失函数L
H
，是在关节位置处用高斯分布函数测量2D实际热点图和标注热点图之间的差异：其只对带有2D位姿标注的图像起作用，并且对所有其他图像都假定为零；其中，H
j2D
(x
j
,y
j
)表示多角度下的手部图像2D热点图二维坐标，H
gt2D
(x
j
,y
j
)是多角度下的手部图像标注图的2D热点图二维坐标；j是某个关节，J是手部所有关节的合集，表示关节j相对深度标注值，γ表示由关节深度值带来的损失所占权重；多角度一致性的损失函数L
MC
，强制要求从不同视图获得的3D姿态估计在刚性变换之前应该是相同的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。