【技术实现步骤摘要】
本公开涉及人工智能,尤其涉及计算机视觉、深度学习、大模型、增强现实等,可应用于数字人、电商直播等场景,涉及一种目标姿态确定方法、装置和电子设备及存储介质。
技术介绍
1、手部因其灵活性和高效性,是人体交互中至关重要的组成部分。手势与物体的交互不仅是人与复杂现实场景交互的主要方式,也是人类感知与操作环境的重要途径。手部姿态的重建与跟踪技术可以应用于多个领域,如人机交互、增强现实(augmented reality,ar)、机器人学习等,极大地拓展了人与技术协作的可能性。
技术实现思路
1、本公开提供了一种用于目标姿态确定方法、装置、电子设备及存储介质。
2、根据本公开的第一方面,提供了一种目标姿态确定方法,包括:获取视频帧,并从所述视频帧中获取目标对象的手部图像;根据所述手部图像,获取所述目标对象的手部参数和双手的第一相对位置信息,所述手部参数至少包括手部初始姿态和手部初始形状;根据所述手部参数和第一相对位置信息,对手部姿态进行优化,得到所述目标对象的手部目标姿态。
...
【技术保护点】
1.一种目标姿态确定方法,其中,所述方法包括:
2.根据权利要求1所述的方法,其中,所述从所述视频帧中获取目标对象的手部图像,包括:
3.根据权利要求1所述的方法,其中,所述手部参数的获取过程,包括:
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求1-4中任一项所述的方法,其中,所述第一相对位置信息的获取过程,包括:
6.根据权利要求5所述的方法,其中,所述根据所述双手各自的空间位置信息,获取所述第一相对位置信息,包括:
7.根据权利要求1所述的方法,其中,所述根据所述手部
...【技术特征摘要】
1.一种目标姿态确定方法,其中,所述方法包括:
2.根据权利要求1所述的方法,其中,所述从所述视频帧中获取目标对象的手部图像,包括:
3.根据权利要求1所述的方法,其中,所述手部参数的获取过程,包括:
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求1-4中任一项所述的方法,其中,所述第一相对位置信息的获取过程,包括:
6.根据权利要求5所述的方法,其中,所述根据所述双手各自的空间位置信息,获取所述第一相对位置信息,包括:
7.根据权利要求1所述的方法,其中,所述根据所述手部参数和第一相对位置信息,对手部姿态进行优化,得到所述目标对象的手部目标姿态,包括:
8.根据权利要求7所述的方法,其中,所述根据所述手部参数和第一相对位置信息,对手部姿态进行消抖,并对消抖后的手部姿态进行优化,得到所述目标对象的手部目标姿态,包括:
9.根据权利要求8所述的方法,其中,所述对所述手部参数和第一相对位置信息进行多注意力关注,以对手部姿态进行消抖,得到目标输出,包括:
10.根据权利要求9所述的方法,其中,所述基于所述抖动信息对手部参数进行平滑处理,得到所述手部候选参数,包括:
11.根据权利要求8所述的方法,其中,所述确定手部的目标关键点,包括:
12.根据权利要求8所述的方法,其中,所述基于所述目标关键点和所述第一相对位置信息,结合所述第二相对位置信息,对所述手部候选参数进行全局优化,得到手部目标参数,包括:
13.根据...
【专利技术属性】
技术研发人员:刘豪杰,潘东伟,李丰果,段博强,何声一,周航,李莹莹,
申请(专利权)人:百度中国有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。