System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于视觉的滑动手势识别方法、系统及相关设备技术方案_技高网

基于视觉的滑动手势识别方法、系统及相关设备技术方案

技术编号:40063780 阅读:8 留言:0更新日期:2024-01-16 23:06
本申请涉及一种基于视觉的滑动手势识别方法,包括:获取具有时序顺序的多个手掌视频图像;在所述多个手掌视频图像中出现大拇指滑动手势的情况下,识别大拇指的滑动轨迹是否从多个手掌视频图像中的滑动动作起始区域滑动到滑动动作终止区域;如果识别出大拇指的滑动轨迹是从所述多个手掌视频图像中的滑动动作起始区域滑动至滑动动作终止区域,确定大拇指完成一次滑动手势,并且还可以进一步确定大拇指的滑动方向。本申请还涉及一种可穿戴设备、移动终端、系统以及一种计算机可读存储介质。根据本申请实施例,大拇指滑动手势减小了操作幅度,使操作在摄像头视野范围内,进而保证操作灵敏度。

【技术实现步骤摘要】

本申请涉及计算机视觉,特别涉及基于视觉的滑动手势识别方法、系统、及相关设备。


技术介绍

1、随着计算机视觉的发展,基于计算机视觉的应用逐步进入人们视野。在传统人机交互中,常见的交互方式有:基于触碰的物理交互方式(如,按键、触摸屏)、基于语音识别的交互方式、基于外部采集设备的交互方式(如,传感器手套)、基于外接设备的交互方式(如,外接手柄、外接移动电话、外接个人计算机等)以及基于视觉的姿态类交互方式等(如,肢体、手势等能传递信息的姿态)。

2、在智能设备的应用中,交互方式直接影响着用户的感官体验,因此要求交互方式尽可能的简单、快捷。可穿戴设备(如,智能眼镜)作为智能设备的一种,在外观设计上也追求轻便、舒适,对于可穿戴设备来说,如果使用基于触碰的物理交互方式,交互中可供使用的物理操控区域很小,以智能眼镜为例,物理操控区域仅包含眼镜侧面的小触控板、开关机及音量调节按钮,且人在穿戴状态下,手指还要放在眼镜上进行操作,容易产生疲劳,因此,传统的基于物理触碰的交互方式在可穿戴设备上并不适用。基于语音的交互方式虽然在一定程度上提供了便捷性,但是语音的交互方式对使用场景有一定的要求,例如,对环境噪声的要求,且容易在交互过程汇中泄露用户隐私。而如果使用外部采集设备的交互方式或外接设备的交互方式,则影响了可穿戴设备的轻便性,针对可穿戴设备的操作需要在外部采集设备或外接设备上进行。基于视觉的姿态类交互方式,只需借助可穿戴设备的摄像头进行姿态信息的采集,解读姿态的含义,并执行相应的动作即可,相比于其他交互方式,更加简单、快捷。

/>

技术实现思路

1、根据本申请的第一个方面,提供了一种基于视觉的滑动手势识别方法,所述方法包括:

2、获取具有时序顺序的多个手掌视频图像;

3、在所述多个手掌视频图像中出现大拇指滑动手势的情况下,识别大拇指的滑动轨迹是否从所述多个手掌视频图像中的滑动动作起始区域滑动到滑动动作终止区域;

4、如果识别出大拇指的滑动轨迹是从所述多个手掌视频图像中的滑动动作起始区域滑动至滑动动作终止区域,确定大拇指完成一次滑动手势。

5、在一些实施例中,通过如下方式确定所述多个手掌视频图像中是否出现大拇指滑动手势:

6、从所述多个手掌视频图像中提取手势信息;

7、根据所述多个手掌视频图像中的手势信息检测是否出现横向或竖向放置且手掌展平的手势;

8、如果检测到横向或竖向放置且手掌展平的手势,确定所述手势是大拇指滑动手势;

9、如果没有检测到手掌横向放置或手掌竖向放置或手掌展平的手势,确定所述手势不是大拇指滑动手势。

10、在一些实施例中,上述滑动手势识别还包括:根据所述多个手掌视频图像中的手势信息确定大拇指的滑动方向。

11、在一些实施例中,所述手势信息至少包括手掌上21个关键点的位置坐标,所述手掌上21个关键点包括5个手指上的3个手指关节处和1个手指尖处共计20个关键点以及手腕中心处的1个关键点。

12、在一些实施例中,所述根据所述多个手掌视频图像中的手势信息检测是否出现横向或竖向放置的手势,包括:

13、针对所述多个手掌视频图像中的第i个手掌视频图像,从所述第i个手掌视频图像的手势信息中选取一个手指上不相邻的任意两个关键点的位置坐标,并根据选取的两个关键点的位置坐标计算选取的两个关键点之间的向量,计算所述向量与横向x轴正方向或竖向y轴正方向的夹角,i≥1;

14、如果所述夹角大于预先定义的第一夹角配置参数,确定未检测出横向或竖向放置的手势,并重置i=i+1,返回上一步骤;

15、如果所述夹角小于或等于预先定义的第一夹角配置参数,确定检测出横向或竖向放置的手势。

16、在一些实施例中,所述根据所述多个手掌视频图像中的手势信息检测是否出现手掌展平的手势,包括:

17、针对所述多个手掌视频图像中的第i个手掌视频图像,从所述第i个手掌视频图像的手势信息中选取除大拇指外的其余四个手指上的至少部分关键点的位置坐标,并根据选取的关键点的位置坐标确定各关键点之间的位置关系是否全部符合手掌展平时对应的位置关系,i≥1;

18、如果至少两个关键点之间的位置关系不符合手掌展平时对应的位置关系,确定未检测出手掌展平的手势,并重置i=i+1,返回上一步骤;

19、如果各关键点之间的位置关系全部符合手掌展平时对应的位置关系,确定检测出手掌展平时的手势。

20、在一些实施例中,所述滑动动作起始区域为以除大拇指外其余四个手指中的任一个手指的任一手指关节处的关键点作为中心点的圆形区域,所述滑动动作终止区域为与所述滑动动作起始区域同心的圆环区域,且外圆半径和内圆半径均大于滑动动作起始区域的半径。

21、在一些实施例中,所述识别大拇指的滑动轨迹是否从所述多个手掌视频图像中的滑动动作起始区域滑动到滑动动作终止区域,包括:

22、计算滑动动作起始区域的半径r1以及滑动动作终止区域的内圆半径r2和外圆半径r3,其中,r1<r2<r3;

23、针对多个手掌视频图像中的第i个手掌视频图像,以大拇指指尖处的关键点作为动点,根据所述中心点和所述动点的位置坐标计算所述中心点和所述动点之间的距离l,i≥1;

24、如果l>r3,设置滑动状态为释放状态,并重置i=i+1,返回从所述多个手掌视频图像中提取手势信息的步骤;

25、如果l≤r1,设置滑动状态为准备状态,并重置i=i+1,返回从所述多个手掌视频图像中提取手势信息的步骤;

26、如果r1<l<r3,且当前的滑动状态不是准备状态,则重置i=i+1,返回从所述多个手掌视频图像中提取手势信息的步骤;

27、如果r1<l<r2,且当前的滑动状态为准备状态, 则重置i=i+1,返回从所述多个手掌视频图像中提取手势信息的步骤;

28、如果r2≤l≤r3,且当前的滑动状态为准备状态,判定大拇指的滑动轨迹是从所述多个手掌视频图像中的滑动动作起始区域滑动到滑动动作终止区域,设置滑动状态为执行状态。

29、在一些实施例中,所述计算滑动动作终止区域的内圆半径和外圆半径,包括:

30、分别计算所述中心点到上下左右四个相邻关键点的距离;

31、选取最小距离值作为滑动动作终止区域的外圆半径;

32、基于所述外圆半径及第一预设比值参数,计算滑动动作终止区域的内圆半径,其中,为所述内圆半径与所述外圆半径的比值,且。

33、在一些实施例中,所述计算滑动动作起始区域的半径,包括:

34、基于所述外圆半径以及第二预设比值参数,计算滑动动作起始区域的半径,其中,为滑动动作起始区域的半径与所述外圆半径的比值,且。

35、在一些实施例中,所述根据所述多个手掌视频图像中的手势信息确定大拇指的滑动方向,包括:

36、分别计算所述中心点与所述动点之间的向量本文档来自技高网...

【技术保护点】

1.一种基于视觉的滑动手势识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,通过如下方式确定所述多个手掌视频图像中是否出现大拇指滑动手势:

3.根据权利要求2所述的方法,其特征在于,还包括:

4.根据权利要求2-3任一项所述的方法,其特征在于,所述手势信息至少包括手掌上21个关键点的位置坐标,所述手掌上21个关键点包括5个手指上的3个手指关节处和1个手指尖处共计20个关键点以及手腕中心处的1个关键点。

5.根据权利要求4所述的方法,其特征在于,所述根据所述多个手掌视频图像中的手势信息检测是否出现横向或竖向放置的手势,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述多个手掌视频图像中的手势信息检测是否出现手掌展平的手势,包括:

7.根据权利要求4所述的方法,其特征在于,所述滑动动作起始区域为以除大拇指外其余四个手指中的任一个手指的任一个手指关节处的关键点作为中心点的圆形区域,所述滑动动作终止区域为与所述滑动动作起始区域同心的圆环区域,且圆环的外圆半径和内圆半径均大于滑动动作起始区域的半径。

8.根据权利要求7所述的方法,其特征在于,所述识别大拇指的滑动轨迹是否从所述多个手掌视频图像中的滑动动作起始区域滑动到滑动动作终止区域,包括:

9.根据权利要求8所述的方法,其特征在于,所述计算滑动动作终止区域的内圆半径和外圆半径,包括:

10.根据权利要求9所述的方法,其特征在于,所述计算滑动动作起始区域的半径,包括:

11.根据权利要求8-10中任一项所述的方法,其特征在于,所述根据所述多个手掌视频图像中的手势信息确定大拇指的滑动方向,包括:

12.根据权利要求4所述的方法,其特征在于,所述手势信息还包括左右手标志位。

13.根据权利要求12所述的方法,其特征在于,所述方法还包括:

14.根据权利要求13所述的方法,其特征在于,所述根据所述多个手掌视频图像获得预先设置的操作手的手势信息,包括:

15.一种可穿戴设备,其特征在于,包括:

16.一种移动终端,其特征在于,包括:

17.一种计算机可读存储介质,其特征在于,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要1-14中任一项所述的方法。

18.一种基于视觉的滑动手势识别系统,其特征在于,包括可穿戴设备以及与所述可穿戴设备进行无线通信的移动终端;其中,

...

【技术特征摘要】

1.一种基于视觉的滑动手势识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,通过如下方式确定所述多个手掌视频图像中是否出现大拇指滑动手势:

3.根据权利要求2所述的方法,其特征在于,还包括:

4.根据权利要求2-3任一项所述的方法,其特征在于,所述手势信息至少包括手掌上21个关键点的位置坐标,所述手掌上21个关键点包括5个手指上的3个手指关节处和1个手指尖处共计20个关键点以及手腕中心处的1个关键点。

5.根据权利要求4所述的方法,其特征在于,所述根据所述多个手掌视频图像中的手势信息检测是否出现横向或竖向放置的手势,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述多个手掌视频图像中的手势信息检测是否出现手掌展平的手势,包括:

7.根据权利要求4所述的方法,其特征在于,所述滑动动作起始区域为以除大拇指外其余四个手指中的任一个手指的任一个手指关节处的关键点作为中心点的圆形区域,所述滑动动作终止区域为与所述滑动动作起始区域同心的圆环区域,且圆环的外圆半径和内圆半径均大于滑动动作起始区域的半径。

8.根据权利要求7所述的方法,其特征在于,所述识别大拇指的滑动轨迹是否从所述多个手...

【专利技术属性】
技术研发人员:王淼军郝冬宁王伟达陈芳
申请(专利权)人:湖北星纪魅族集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1