基于单目RGB输入的移动端实时3D手部动作捕捉方法及系统、设备、存储介质技术方案

本发明专利技术公开了一种基于单目RGB输入的移动端实时3D手部动作捕捉方法及系统、设备、存储介质，包括输入RGB图像；从RGB图像中获取手部区域的图像；基于手部区域的图像，检测获得手部2D点位、手部3D点位和置信度；基于手部3D点位和置信度，利用IK算法获得当前手部姿态；将当前手部姿态融合到身体姿态上，并通过retarget算法映射至目标虚拟形象上，以达到实时驱动虚拟形象。本发明专利技术输入为全身人体图像，采集到手部区域的图像，得到手部2D和3D关键点，通过IK计算得到姿态信息，最后经过姿态融合和retarget得到驱动虚拟人体手部的效果。合和retarget得到驱动虚拟人体手部的效果。合和retarget得到驱动虚拟人体手部的效果。

【技术实现步骤摘要】
基于单目RGB输入的移动端实时3D手部动作捕捉方法及系统、设备、存储介质


[0001]本专利技术属于虚拟
，特别涉及一种基于单目RGB输入的移动端实时3D手部动作捕捉方法及系统、设备、存储介质。

技术介绍

[0002]人体手部动作捕捉是一种能够检测人体手部在三维空间中的姿态，并通过重定向将动作映射到虚拟人体手部上的技术。当前业界主要采用惯性动捕和光学捕捉。其中惯性动捕主要为穿戴式设备，如手套等，精度较高，不存在遮挡等问题。但是存在一定的成本，难以普及到一般用户中。光学捕捉多采用有红外和激光两种，具有更高的实时性和刷新率，精度更加高，但是使用门槛较高，需要复杂的场地调试和安装。

技术实现思路

[0003]针对上述的问题，本专利技术提供一种基于单目RGB输入的移动端实时3D手部动作捕捉方法及系统、设备、存储介质，其方法包括：
[0004]输入RGB图像；
[0005]从所述RGB图像中获取手部区域的图像；
[0006]基于所述手部区域的图像，检测获得手部2D点位、手部3D点位和置信度：
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目RGB输入的移动端实时3D手部动作捕捉方法，其特征在于，包括：输入RGB图像；从所述RGB图像中获取手部区域的图像；基于所述手部区域的图像，检测获得手部2D点位、手部3D点位和置信度；基于所述手部3D点位和置信度，利用IK算法获得当前手部姿态；将所述当前手部姿态融合到身体姿态上，并通过retarget算法映射至目标虚拟形象上，以达到实时驱动所述虚拟形象。2.如权利要求1所述的基于单目RGB输入的移动端实时3D手部动作捕捉方法，其特征在于，基于所述手部区域的图像，检测获得手部2D点位、手部3D点位和置信度步骤包括：构建Mobileone神经网络模型；使用H2D数据集训练所述Mobileone神经网络模型中Backbone和H2D分支，得到网络模型N1；加载所述网络模型N1，并锁定所述Backbone，使用H3D数据集训练H3D分支，得到网络模型N2；将所述H2D数据集和手部负样本数据集组合成置信度网络训练集，并使用所述置信度网络训练集训练所述网络模型N2，得到最终网络模型N3。3.如权利要求2所述的基于单目RGB输入的移动端实时3D手部动作捕捉方法，其特征在于，采集所述H2D数据集包括收集公开2D数据集和对实时采集图像过程中标注的2D数据集。4.如权利要求2所述的基于单目RGB输入的移动端实时3D手部动作捕捉方法，其特征在于，采集所述H3D数据集包括：将多个相机分别放置在同一水平面的不同方位，所述相机用于采集手部图像；对所述手部图像进行预标注，并利用labelme标注工具对所述预标注的标签进行调整；核查当前标注的标签是否满足多视角重建要求，若不满足，则调整；若满足，则按PartFix按钮，完成3D数据的重建，并重接投影到各个视角的所述手部图像上。5.如权利要求2所述的基于单目RGB输入的移动端实时3D手部动作捕捉方法，其特征在于，使用H2D数据集训练所述Mobileone神经网络模型中Backbone和H2D分支，得到网络模型N1包括：所述Mobileone神经网络模型中的loss函数为L＝L
2d
+L
con2d
；；式中：K
2d
为H2D数...

【专利技术属性】
技术研发人员：李冬平，杨凯兵，岳亚，
申请(专利权)人：杭州相芯科技有限公司，
类型：发明
国别省市：