动作捕捉方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种动作捕捉方法、装置、电子设备及存储介质，所述方法包括：通过单目采集设备采集目标对象的全身动作视频数据；通过神经网络模型识别目标对象的全身动作视频数据，得到主体关节运动信息，主体关节包括人体中除手腕关节外的其他关节；接收目标对象上的手持设备输出的手腕关节运动信息，手持设备设置有惯性传感器；对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。根据本公开的方案，在采集目标对象的全身动作视频数据的同时，单独通过设置有惯性传感器的手持设备采集手腕关节运动信息，从而可以得到包含精确的手腕关节动作信息的目标动作信息，实现完整的动作捕捉。实现完整的动作捕捉。实现完整的动作捕捉。

【技术实现步骤摘要】
动作捕捉方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种动作捕捉方法、装置、电子设备及存储介质。

技术介绍

[0002]动作捕捉是指对表演者的肢体动作进行估算的技术，在CG动画电影、虚拟形象等产业中有着广泛的应用。实时动作捕捉指的是在表演者表演动作的同时就能得到动作捕捉结果，该技术可以赋能虚拟形象产业的诸多应用，如虚拟偶像直播、虚拟主持人与观众的互动，以及短视频应用场景下的身体魔法特效等。
[0003]动作捕捉可以采用光学动作捕捉、惯性动作捕捉和无标记视觉动作捕捉几种方式实现。光学动作捕捉是现有的捕捉质量较高的动作捕捉方案，是三维动画电影制作流程中的常用手段。惯性动作捕捉在虚拟偶像等半专业内容生产中有广泛应用。对于光学动作捕捉和惯性动作捕捉，通常需要表演者穿上专业的服装，并采用专业的采集设备进行动作采集，存在成本较大的问题。而无标记视觉动作捕捉方式解决了动作捕捉成本较大的问题，表演者可以采用普通手机或者带有普通摄像头的计算机就能够进行动作采集。但是，相关技术中，无标记视觉动作捕捉方式由于运动模糊，以及在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作捕捉方法，其特征在于，包括：通过单目采集设备采集目标对象的全身动作视频数据；通过神经网络模型识别所述目标对象的全身动作视频数据，得到主体关节运动信息，所述主体关节包括人体中除手腕关节外的其他关节；接收所述目标对象上的手持设备输出的手腕关节运动信息，所述手持设备设置有惯性传感器；对所述主体关节运动信息和所述手腕关节运动信息进行对齐处理，得到所述目标对象的目标动作信息。2.根据权利要求1所述的动作捕捉方法，其特征在于，所述对所述主体关节运动信息和所述手腕关节运动信息进行对齐处理，得到所述目标对象的目标动作信息，包括：获取所述全身动作视频数据中的每帧视频图像对应的主体关节运动信息；对于所述全身动作视频数据中的每帧视频图像，获取与所述每帧视频图像在时间上最近的手腕关节运动信息，作为所述每帧视频图像对应的手腕关节运动信息；根据所述每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息。3.根据权利要求2所述的动作捕捉方法，其特征在于，所述主体关节运动信息包括多个关节的旋转角度，所述手腕关节运动信息包括手腕关节方向；所述根据所述每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息，包括：获取预先配置的所述多个关节的排序，所述多个关节中包括肘部关节，所述肘部关节的顺序为所述多个关节中的最后一个；按照所述多个关节的排序，根据每个关节的旋转角度依次对所述每个关节进行旋转处理，直至对所述肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向；获取所述手腕关节方向相对所述手臂方向之间的旋转角度，作为所述手腕关节的旋转角度；将所述每帧视频图像对应的所述多个关节的旋转角度和所述手腕关节的旋转角度，作为所述一帧目标动作信息。4.根据权利要求1所述的动作捕捉方法，其特征在于，所述手持设备包括左手手持设备和右手手持设备；所述对所述主体关节运动信息和所述手腕关节运动信息进行对齐处理，得到所...

【专利技术属性】
技术研发人员：徐屹，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：