System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人体动作捕捉模型的确定方法、装置、设备及存储介质制造方法及图纸_技高网

人体动作捕捉模型的确定方法、装置、设备及存储介质制造方法及图纸

技术编号:41348265 阅读:4 留言:0更新日期:2024-05-20 10:02
本申请提供一种人体动作捕捉模型的确定方法、装置、设备及存储介质通过获取模型的训练数据以及网络构建层,使网络构建层对训练数据进行训练,以得到人体动作捕捉模型,实现精确捕捉人体动作。即通过基于光场重建技术捕获的人体动作数据库构建动作先验,训练深度神经网络模型实现从体感外设采集的RGBD图像中捕捉人体动作。整个系统运行速度快,精确度高,可以达到实时运行的要求,解决了现有技术中存在的问题,具有积极的效果。

【技术实现步骤摘要】

本申请实施例涉及计算机中的信息处理技术,尤其涉及一种人体动作捕捉模型的确定方法、装置、设备及存储介质,具体涉及一种基于rgbd相机和人体动作先验的实时人体动作捕捉,可用于数字人的肢体动作驱动。


技术介绍

1、早期的机械式运动捕捉到现在的光学和惯性动作捕捉,人体动作捕捉技术经历了漫长的发展历程。其中,关键技术的不断突破和进步推动了该领域的不断发展。近年来,随着计算机视觉技术和深度学习技术的进步,人体动作捕捉技术取得了重大的突破,进入了快速发展时期。

2、在已有的动作捕捉的系统中,公开号为cn114495274a的专利通过训练残差网络来估计人体三维姿态,然而现有技术中仍然存在很多不足,例如误差估计大,未使用人体动作进行采样先验等。


技术实现思路

1、本申请提供一种人体动作捕捉模型的确定方法、装置、设备及存储介质,考虑了误差参数,提升了动作捕捉的稳定性、降低输出不合理人体姿态的概率,提升了人体姿态估计的准确性。

2、本申请提供了一种人体动作捕捉模型的确定方法,包括:

3、获取深度学习模型的训练数据,所述训练数据包括第一参数序列和第二参数序列;

4、获取所述深度学习模型的第一网络构建层和第二网络构建层;

5、通过所述第一网络构建层对所述第一参数序列进行训练,以及通过所述第二网络构建层对所述第二参数序列进行训练,以得到人体动作捕捉模型。

6、在一种可能的实现方式中,所述第二参数序列包括所述第一参数序列和历史参数序列,且分别对所述第一参数序列和所述历史参数序列进行标记,得到标签参数序列。

7、在一种可能的实现方式中,所述第一网络构建层包括循环神经网络gru和映射器模块,其中,通过所述第一网络构建层对所述第一参数序列进行训练,包括:

8、通过所述循环神经网络gru从所述第一参数序列中提取第一目标参数;

9、根据所述第一目标参数和所述标签参数序列,得到所述第一网络构建层的第一损失函数。

10、在一种可能的实现方式中,通过所述第一网络构建层对所述第一参数序列进行训练,还包括:

11、通过所述映射器模块从所述第一参数序列中提取第二目标参数;

12、根据所述第二目标参数和所述标签参数序列,得到所述第一网络构建层的第二损失函数。

13、在一种可能的实现方式中,所述第二网络构建层包括判别器模块,通过所述第二网络构建层对所述第二参数序列进行训练,包括:

14、通过所述判别器模块对所述第一目标参数的序列进行分类,以得到分类结果;

15、根据所述分类结果计算所述第一网络构建层的第三损失函数。

16、在一种可能的实现方式中,根据所述第一网络构建层的所述第一损失函数,所述第二损失函数和所述第三损失函数,计算所述第一网络构建层的目标损失函数。

17、在一种可能的实现方式中,还包括:

18、通过所述判别器模块对所述第二参数序列和所述第一目标参数的序列进行分类,以得到分类结果;

19、根据所述分类结果计算所述判别器模块的损失函数。

20、本申请还提供了一种人体动作捕捉模型的确定装置,包括:

21、第一获取模块,用于获取深度学习模型的训练数据,所述训练数据包括第一参数序列和第二参数序列;

22、第二获取模块,用于获取所述深度学习模型的第一网络构建层和第二网络构建层;

23、确定模块,用于通过所述第一网络构建层对所述第一参数序列进行训练,以及通过所述第二网络构建层对所述第二参数序列进行训练,以得到人体动作捕捉模型。

24、本申请还提供了一种电子设备,包括:

25、至少一个处理器;以及

26、与所述至少一个处理器通信连接的存储器;其中,

27、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述任一项所述的方法。

28、本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述任一项所述的方法。

29、本申请提供一种人体动作捕捉模型的确定方法、装置、设备及存储介质通过获取模型的训练数据以及网络构建层,使网络构建层对训练数据进行训练,以得到人体动作捕捉模型,实现精确捕捉人体动作。即通过基于光场重建技术捕获的人体动作数据库构建动作先验,训练深度神经网络模型实现从体感外设采集的rgbd图像中捕捉人体动作。整个系统运行速度快,精确度高,可以达到实时运行的要求,解决了现有技术中存在的问题,具有积极的效果。

本文档来自技高网...

【技术保护点】

1.一种人体动作捕捉模型的确定方法,其特征在于,包括:

2.根据权利要求1所述的人体动作捕捉模型的确定方法,其特征在于,所述第二参数序列包括所述第一参数序列和历史参数序列,且分别对所述第一参数序列和所述历史参数序列进行标记,得到标签参数序列。

3.根据权利要求2所述的人体动作捕捉模型的确定方法,其特征在于,所述第一网络构建层包括循环神经网络GRU和映射器模块,其中,通过所述第一网络构建层对所述第一参数序列进行训练,包括:

4.根据权利要求3所述的人体动作捕捉模型的确定方法,其特征在于,通过所述第一网络构建层对所述第一参数序列进行训练,还包括:

5.根据权利要求4所述的人体动作捕捉模型的确定方法,其特征在于,所述第二网络构建层包括判别器模块,通过所述第二网络构建层对所述第二参数序列进行训练,包括:

6.根据权利要求5所述的人体动作捕捉模型的确定方法,其特征在于,根据所述第一网络构建层的所述第一损失函数,所述第二损失函数和所述第三损失函数,计算所述第一网络构建层的目标损失函数。

7.根据权利要求5所述的人体动作捕捉模型的确定方法,其特征在于,还包括:

8.一种人体动作捕捉模型的确定装置,其特征在于,包括:

9.一种电子设备,包括:

10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种人体动作捕捉模型的确定方法,其特征在于,包括:

2.根据权利要求1所述的人体动作捕捉模型的确定方法,其特征在于,所述第二参数序列包括所述第一参数序列和历史参数序列,且分别对所述第一参数序列和所述历史参数序列进行标记,得到标签参数序列。

3.根据权利要求2所述的人体动作捕捉模型的确定方法,其特征在于,所述第一网络构建层包括循环神经网络gru和映射器模块,其中,通过所述第一网络构建层对所述第一参数序列进行训练,包括:

4.根据权利要求3所述的人体动作捕捉模型的确定方法,其特征在于,通过所述第一网络构建层对所述第一参数序列进行训练,还包括:

5.根据权利要求4所述的人体动作捕捉模型的确...

【专利技术属性】
技术研发人员:胡伟泰杨青
申请(专利权)人:度小满科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1