一种单目手势识别方法及相关装置制造方法及图纸

技术编号:44135039 阅读:20 留言:0更新日期:2025-01-29 10:13
本申请公开了一种单目手势识别方法及相关装置,涉及手势识别技术领域,单目手势识别方法包括:获取目标手部图像序列;基于预先训练得到的单目3D手部姿态估计模型,获取目标手部图像序列的每个目标手部图像对应的手部3D关键点位置信息,得到目标手部3D关键点位置信息序列,其中,单目3D手部姿态估计模型采用标注有手部3D关键点位置信息的训练手部图像,同时辅以训练手部图像的手部姿态描述文本和/或真实手部3D重建标签训练得到;根据目标手部3D关键点位置信息序列,进行手势识别,得到手势识别结果。本申请公开的单目手势识别方法具有较高的识别精度。

【技术实现步骤摘要】

本申请涉及手势识别,尤其涉及一种单目手势识别方法及相关装置


技术介绍

1、用户可以使用手势来控制或与设备交互,让计算机理解人类的行为,其核心技术为手势分割、手势分析以及手势识别。单目手势识别是指通过单个摄像头捕捉手势信息,并利用数学算法进行手势识别的一种技术。

2、目前,一种主流的单目手势识别方案为基于手部2d关键点的手势识别方案,即,获取手部图像序列,确定手部图像序列的每个手部图像对应的2d关键点位置信息,进而根据手部图像序列的各手部图像分别对应的2d关键点位置信息进行手势识别。

3、基于手部2d关键点的手势识别方案虽然可以实现手势识别,但是其识别精度不高。


技术实现思路

1、有鉴于此,本申请提供了一种单目手势识别方法及相关装置,用于解决现有的基于手部2d关键点的手势识别方案识别精度不高的问题,其技术方案如下:

2、本申请第一方面提供一种单目手势识别方法,包括:

3、获取目标手部图像序列;

4、基于预先训练得到的单目3d手部姿态估计模型,获取所述本文档来自技高网...

【技术保护点】

1.一种单目手势识别方法,其特征在于,包括:

2.根据权利要求1所述的单目手势识别方法,其特征在于,还包括:

3.根据权利要求1所述的单目手势识别方法,其特征在于,所述基于预先训练得到的单目3D手部姿态估计模型,获取所述目标手部图像序列的每个目标手部图像对应的手部3D关键点位置信息,包括:

4.根据权利要求1所述的单目手势识别方法,其特征在于,所述根据所述目标手部3D关键点位置信息序列,进行手势识别,得到基于手部3D关键点位置的手势识别结果,包括:

5.根据权利要求1所述的单目手势识别方法,其特征在于,所述训练手部图像的手部姿态描述文本包括...

【技术特征摘要】

1.一种单目手势识别方法,其特征在于,包括:

2.根据权利要求1所述的单目手势识别方法,其特征在于,还包括:

3.根据权利要求1所述的单目手势识别方法,其特征在于,所述基于预先训练得到的单目3d手部姿态估计模型,获取所述目标手部图像序列的每个目标手部图像对应的手部3d关键点位置信息,包括:

4.根据权利要求1所述的单目手势识别方法,其特征在于,所述根据所述目标手部3d关键点位置信息序列,进行手势识别,得到基于手部3d关键点位置的手势识别结果,包括:

5.根据权利要求1所述的单目手势识别方法,其特征在于,所述训练手部图像的手部姿态描述文本包括:手部各手指指尖的相对位置以及手部的左右手属性。

6.根据权利要求5所述的单目手势识别方法,其特征在于,所述手部各手指指尖的相对位置根据所述训练手部图像标注的手部3d关键点位置信息中的指尖3d关键点位置信息确定,所述手部的左右手属性根据所述训练手部图像确定。

7.根据权利要求1所述的单目手势识别方法,其特征在于,手部3d重建标签为用于组成手部3d模型的多个手部3d顶点。

8.根据权利要求1~7中任一项所述的单目手势识别方法,其特征在于,训练得到单目3d手部姿态估计模型的过程包括:

9.根据权利要求8所述的单目手势识别方法,其特征在于,采用所述标注有手部3d关键点位置的训练手部图像,在文本引导特征和图像引导特征的引导下,以及,在针对所述训练手部图像的手部3d重建标签的3d重建任务的辅助下,对学生模型进行训练的过程,包括:

...

【专利技术属性】
技术研发人员:沈锦瑞林垠陈叶瀚森殷兵殷保才胡金水
申请(专利权)人:科大讯飞股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1