动作捕捉方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种动作捕捉方法、装置、电子设备及存储介质，属于动作捕捉技术领域。方法包括：分别获取至少两个视频流中同一时刻的图像帧，得到至少两个图像帧；对至少两个图像帧分别进行关节关键点检测，得到多个关节热力图；对相同的关节对应的关节热力图分别进行融合，得到各图像帧中包括的各关节分别对应的融合热力图，根据各关节对应的融合热力图，确定各关节在对应的图像帧中的第一位置；根据各图像帧中包括的各关节的第一位置，确定各关节在人体三维模型中的第二位置，得到人体三维姿态。上述技术方案，可以根据基于不同视角拍摄的同一场景的同步视频中各图像帧中各关节的位置，较为准确的确定人体的三维姿态。较为准确的确定人体的三维姿态。较为准确的确定人体的三维姿态。

【技术实现步骤摘要】
动作捕捉方法、装置、电子设备及存储介质


[0001]本公开涉及动作捕捉
，特别涉及一种动作捕捉方法、装置、电子设备及存储介质。

技术介绍

[0002]人体动作捕捉是计算机视觉中的重点以及难点问题。准确鲁棒的运动捕捉方法在医疗康复、体育训练、直播娱乐、人机交互、电影制作、机器人控制等方面有着广泛应用，如通过动作捕捉来生成虚拟角色。
[0003]目前，动作捕捉系统可以分为接触式运动捕捉系统和非接触式运动捕捉系统。接触式动作捕捉系统需要在运动目标身上的特定部位安装传感器或贴上特殊的标识点，用以向系统提供该部位在空间中的位置信息。非接触式动作捕捉系统的核心是从单个或多个视频序列中检测、跟踪并获取人体运动数据。
[0004]接触式动作捕捉系统的成本较高，而非接触式动作捕捉系统在进行动作捕捉时，受限于噪声干扰、遮挡和自遮挡以及深度方向的模糊性等问题，导致无法准确获取人体的三维姿态，从而动作捕捉的效果不佳，难以满足实际需求。

技术实现思路

[0005]本公开提供一种动作捕捉方法、装置、电子设备及存储介质，通过基于二维关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作捕捉方法，其特征在于，所述方法包括：分别获取至少两个视频流中同一时刻的图像帧，得到至少两个图像帧，所述至少两个视频流为基于不同视角拍摄的同一场景的同步视频；对所述至少两个图像帧分别进行关节关键点检测，得到多个关节热力图，一个图像帧中包括的一个关节对应一个关节热力图，所述关节热力图的像素值用于表示各像素被检测为关节的概率；对相同的关节对应的关节热力图分别进行融合，得到各图像帧中包括的各关节分别对应的融合热力图，根据各关节对应的融合热力图，确定各关节在对应的图像帧中的第一位置；根据各图像帧中包括的各关节的第一位置，确定各关节在人体三维模型中的第二位置，得到人体三维姿态。2.根据权利要求1所述的动作捕捉方法，其特征在于，所述对所述至少两个图像帧分别进行关节关键点检测，得到多个关节热力图，包括：对于所述至少两个图像帧中的任一图像帧，对所述图像帧进行人体检测或人体跟踪中的至少一种，得到所述图像帧对应的至少一个人体图像；对于所述图像帧对应的任一人体图像，对所述人体图像进行关节关键点检测，得到至少两个关节热力图。3.根据权利要求2所述的动作捕捉方法，其特征在于，所述对所述人体图像进行关节关键点检测，得到至少两个关节热力图，包括：将所述人体图像输入二维关键点检测网络；基于所述二维关键点检测网络对所述人体图像进行关节关键点检测；获取所述二维关键点检测网络输出的分别对应于不同关节的关节热力图。4.根据权利要求3所述的动作捕捉方法，其特征在于，所述获取所述二维关键点检测网络输出的分别对应于不同关节的关节热力图之后，所述方法还包括：对于任一关节热力图，将所述关节热力图由第一尺寸调整为第二尺寸，所述第一尺寸为所述二维关键点检测网络的输出尺寸，所述第二尺寸为所述关节热力图对应的人体图像的尺寸；按照所述人体图像在对应的图像帧中的位置，在第二尺寸的关节热力图周围补充默认像素点，得到与所述图像帧相同尺寸的关节热力图。5.根据权利要求1所述的动作捕捉方法，其特征在于，所述对相同的关节对应的关节热力图分别进行融合，得到各图像帧中包括的各关节分别对应的融合热力图，包括：对于所述至少两个图像帧中的每个图像帧，将所述图像帧作为融合目标，获取除所述图像帧以外的至少一个其他图像帧作为融合源，得到至少一个融合源；将所述至少一个融合源中包括的各关节对应的关节热力图分别与所述融合目标中包括的相同的关节进行融合，得到所述...

【专利技术属性】
技术研发人员：赵培尧，曹炎培，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：