【技术实现步骤摘要】
本申请涉及手势识别,尤其涉及一种单目手势识别方法及相关装置。
技术介绍
1、用户可以使用手势来控制或与设备交互,让计算机理解人类的行为,其核心技术为手势分割、手势分析以及手势识别。单目手势识别是指通过单个摄像头捕捉手势信息,并利用数学算法进行手势识别的一种技术。
2、目前,一种主流的单目手势识别方案为基于手部2d关键点的手势识别方案,即,获取手部图像序列,确定手部图像序列的每个手部图像对应的2d关键点位置信息,进而根据手部图像序列的各手部图像分别对应的2d关键点位置信息进行手势识别。
3、基于手部2d关键点的手势识别方案虽然可以实现手势识别,但是其识别精度不高。
技术实现思路
1、有鉴于此,本申请提供了一种单目手势识别方法及相关装置,用于解决现有的基于手部2d关键点的手势识别方案识别精度不高的问题,其技术方案如下:
2、本申请第一方面提供一种单目手势识别方法,包括:
3、获取目标手部图像序列;
4、基于预先训练得到的单目3d手部姿
...【技术保护点】
1.一种单目手势识别方法,其特征在于,包括:
2.根据权利要求1所述的单目手势识别方法,其特征在于,还包括:
3.根据权利要求1所述的单目手势识别方法,其特征在于,所述基于预先训练得到的单目3D手部姿态估计模型,获取所述目标手部图像序列的每个目标手部图像对应的手部3D关键点位置信息,包括:
4.根据权利要求1所述的单目手势识别方法,其特征在于,所述根据所述目标手部3D关键点位置信息序列,进行手势识别,得到基于手部3D关键点位置的手势识别结果,包括:
5.根据权利要求1所述的单目手势识别方法,其特征在于,所述训练手部图像的
...【技术特征摘要】
1.一种单目手势识别方法,其特征在于,包括:
2.根据权利要求1所述的单目手势识别方法,其特征在于,还包括:
3.根据权利要求1所述的单目手势识别方法,其特征在于,所述基于预先训练得到的单目3d手部姿态估计模型,获取所述目标手部图像序列的每个目标手部图像对应的手部3d关键点位置信息,包括:
4.根据权利要求1所述的单目手势识别方法,其特征在于,所述根据所述目标手部3d关键点位置信息序列,进行手势识别,得到基于手部3d关键点位置的手势识别结果,包括:
5.根据权利要求1所述的单目手势识别方法,其特征在于,所述训练手部图像的手部姿态描述文本包括:手部各手指指尖的相对位置以及手部的左右手属性。
6.根据权利要求5所述的单目手势识别方法,其特征在于,所述手部各手指指尖的相对位置根据所述训练手部图像标注的手部3d关键点位置信息中的指尖3d关键点位置信息确定,所述手部的左右手属性根据所述训练手部图像确定。
7.根据权利要求1所述的单目手势识别方法,其特征在于,手部3d重建标签为用于组成手部3d模型的多个手部3d顶点。
8.根据权利要求1~7中任一项所述的单目手势识别方法,其特征在于,训练得到单目3d手部姿态估计模型的过程包括:
9.根据权利要求8所述的单目手势识别方法,其特征在于,采用所述标注有手部3d关键点位置的训练手部图像,在文本引导特征和图像引导特征的引导下,以及,在针对所述训练手部图像的手部3d重建标签的3d重建任务的辅助下,对学生模型进行训练的过程,包括:
...【专利技术属性】
技术研发人员:沈锦瑞,林垠,陈叶瀚森,殷兵,殷保才,胡金水,
申请(专利权)人:科大讯飞股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。