System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 姿态确定方法、装置、电子设备及存储介质制造方法及图纸_技高网

姿态确定方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40334369 阅读:8 留言:0更新日期:2024-02-09 14:24
本发明专利技术涉及一种姿态确定方法、装置、电子设备及存储介质,姿态确定方法包括:获取单目相机对待确定三维姿态的目标对象采集的二维图像;将二维图像的图像信息输入图像深度估计模型,以使图像深度估计模型输出与二维图像对应的全局图像深度信息;基于全局图像深度信息确定目标对象的三维姿态关键点的深度;基于三维姿态关键点的深度确定目标对象的三维姿态。本申请实施例目标对象的三维姿态关键点的深度是来源于二维图像的全局图像深度信息,在局部估计的基础上增加全局一致性约束,减轻深度不确定性的影响,得到更为准确和可靠的三维姿态关键点的深度,弥补单目相机深度缺失的问题,进而,可以提高最终确定的三维姿态的准确性和可靠性。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种姿态确定方法、装置、电子设备及存储介质


技术介绍

1、在进行单目相机的3d人体动作估计时,面临着深度信息缺失和深度歧义的复杂问题。这是因为单目相机只能从一个视角获取图像信息,而无法直接获得场景中物体的深度信息。

2、在这种情况下,当尝试从图像中估计人体的三维动作时,由于单目相机只能获取二维图像,图像中的深度信息实际上是缺失的。这意味着无法直接从图像中获得人体各部分相对于相机的精确距离,从而导致在估计人体的三维姿势时缺乏重要的深度信息。缺失的深度信息可能会导致估计的姿势结果不准确或不完整。


技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种姿态确定方法、装置、电子设备及存储介质。

2、第一方面,本申请提供了一种姿态确定方法,包括:

3、获取单目相机对待确定三维姿态的目标对象采集的二维图像;

4、将所述二维图像的图像信息输入图像深度估计模型,以使所述图像深度估计模型输出与所述二维图像对应的全局图像深度信息;

5、基于所述全局图像深度信息确定所述目标对象的三维姿态关键点的深度;

6、基于所述三维姿态关键点的深度确定所述目标对象的三维姿态。

7、可选地,基于所述全局图像深度信息确定所述目标对象的三维姿态关键点的深度,包括:

8、在所述二维图像中检测目标对象,得到对象图像;

9、对所述对象图像进行三维身体姿态估计,得到三维空间中目标对象的三维身体姿态;

10、基于所述全局图像深度信息及所述三维身体姿态确定所述三维姿态关键点的深度。

11、可选地,基于所述全局图像深度信息及所述三维身体姿态确定所述三维姿态关键点的深度,包括:

12、基于所述三维身体姿态确定所述目标对象的三维姿态关键点的关键点位置;

13、根据所述全局图像深度信息及所述三维姿态关键点的关键点位置确定所述三维姿态关键点的深度。

14、可选地,根据所述全局图像深度信息及所述三维姿态关键点的关键点位置确定所述三维姿态关键点的深度,包括:

15、在所述二维图像中确定二维关键点的关键点位置;

16、在所述全局图像深度信息中确定与所述二维关键点的关键点位置对应的深度信息;

17、将所述二维关键点的关键点位置对应的深度信息确定为所述三维姿态关键点的深度。

18、可选地,基于所述三维姿态关键点的深度确定所述目标对象的三维姿态,包括:

19、在所述二维图像中检测目标对象,得到对象图像;

20、对所述对象图像进行三维身体姿态估计,得到三维空间中目标对象的三维身体姿态;

21、基于所述三维姿态关键点的深度及所述三维身体姿态确定所述目标对象的三维姿态。

22、可选地,基于所述三维姿态关键点的深度及所述三维身体姿态确定所述目标对象的三维姿态,包括:

23、基于所述三维身体姿态确定所述目标对象的身体骨骼的三维旋转角度;

24、基于所述三维姿态关键点的深度和所述三维旋转角度确定所述目标对象的三维姿态。

25、可选地,基于所述三维姿态关键点的深度和所述三维旋转角度确定所述目标对象的三维姿态,包括:

26、基于所述三维姿态关键点的深度和所述三维旋转角度生成目标文件;

27、将所述目标文件输入用于生成三维姿态的应用程序中,得到所述目标对象的三维姿态。

28、第二方面,本申请提供了一种姿态确定装置,包括:

29、获取模块,用于获取单目相机对待确定三维姿态的目标对象采集的二维图像;

30、输入模块,用于将所述二维图像的图像信息输入图像深度估计模型,以使所述图像深度估计模型输出与所述二维图像对应的全局图像深度信息;

31、第一确定模块,用于基于所述全局图像深度信息确定所述目标对象的三维姿态关键点的深度;

32、第二确定模块,用于基于所述三维姿态关键点的深度确定所述目标对象的三维姿态。

33、可选地,所述第一确定模块包括:

34、第一检测单元,用于在所述二维图像中检测目标对象,得到对象图像;

35、第一姿态估计单元,用于对所述对象图像进行三维身体姿态估计,得到三维空间中目标对象的三维身体姿态;

36、第一确定单元,用于基于所述全局图像深度信息及所述三维身体姿态确定所述三维姿态关键点的深度。

37、可选地,所述第一确定单元包括:

38、第一确定子单元,用于基于所述三维身体姿态确定所述目标对象的三维姿态关键点的关键点位置;

39、第二确定子单元,用于根据所述全局图像深度信息及所述三维姿态关键点的关键点位置确定所述三维姿态关键点的深度。

40、可选地,所述第二确定子单元还用于:

41、在所述二维图像中确定二维关键点的关键点位置;

42、在所述全局图像深度信息中确定与所述二维关键点的关键点位置对应的深度信息;

43、将所述二维关键点的关键点位置对应的深度信息确定为所述三维姿态关键点的深度。

44、可选地,所述第二确定模块包括:

45、第二检测单元,用于在所述二维图像中检测目标对象,得到对象图像;

46、第二姿态估计单元,用于对所述对象图像进行三维身体姿态估计,得到三维空间中目标对象的三维身体姿态;

47、第二确定单元,用于基于所述三维姿态关键点的深度及所述三维身体姿态确定所述目标对象的三维姿态。

48、可选地,所述第二确定单元包括:

49、第三确定子单元,用于基于所述三维身体姿态确定所述目标对象的身体骨骼的三维旋转角度;

50、第四确定子单元,用于基于所述三维姿态关键点的深度和所述三维旋转角度确定所述目标对象的三维姿态。

51、可选地,所述第四确定子单元还用于:

52、基于所述三维姿态关键点的深度和所述三维旋转角度生成目标文件;

53、将所述目标文件输入用于生成三维姿态的应用程序中,得到所述目标对象的三维姿态。

54、第三方面,本申请提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

55、存储器,用于存放计算机程序;

56、处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的姿态确定方法。

57、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有姿态确定方法的程序,所述姿态确定方法的程序被处理器执行时实现第一方面任一所述的姿态确定方法的步骤。

58、本申请实施例提供的上述技术方案与现有技术相比具有如下优点:

59、本申请实施例通过利用图像深本文档来自技高网...

【技术保护点】

1.一种姿态确定方法,其特征在于,包括:

2.根据权利要求1所述的姿态确定方法,其特征在于,基于所述全局图像深度信息确定所述目标对象的三维姿态关键点的深度,包括:

3.根据权利要求2所述的姿态确定方法,其特征在于,基于所述全局图像深度信息及所述三维身体姿态确定所述三维姿态关键点的深度,包括:

4.根据权利要求3所述的姿态确定方法,其特征在于,根据所述全局图像深度信息及所述三维姿态关键点的关键点位置确定所述三维姿态关键点的深度,包括:

5.根据权利要求1所述的姿态确定方法,其特征在于,基于所述三维姿态关键点的深度确定所述目标对象的三维姿态,包括:

6.根据权利要求5所述的姿态确定方法,其特征在于,基于所述三维姿态关键点的深度及所述三维身体姿态确定所述目标对象的三维姿态,包括:

7.根据权利要求6所述的姿态确定方法,其特征在于,基于所述三维姿态关键点的深度和所述三维旋转角度确定所述目标对象的三维姿态,包括:

8.一种姿态确定装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有姿态确定方法的程序,所述姿态确定方法的程序被处理器执行时实现权利要求1-7任一所述的姿态确定方法的步骤。

...

【技术特征摘要】

1.一种姿态确定方法,其特征在于,包括:

2.根据权利要求1所述的姿态确定方法,其特征在于,基于所述全局图像深度信息确定所述目标对象的三维姿态关键点的深度,包括:

3.根据权利要求2所述的姿态确定方法,其特征在于,基于所述全局图像深度信息及所述三维身体姿态确定所述三维姿态关键点的深度,包括:

4.根据权利要求3所述的姿态确定方法,其特征在于,根据所述全局图像深度信息及所述三维姿态关键点的关键点位置确定所述三维姿态关键点的深度,包括:

5.根据权利要求1所述的姿态确定方法,其特征在于,基于所述三维姿态关键点的深度确定所述目标对象的三维姿态,包括:

6.根据权利要求5所述的姿...

【专利技术属性】
技术研发人员:乔志强
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1