手势交互误检过滤方法、装置、交互设备和存储介质制造方法及图纸

技术编号:36609717 阅读:19 留言:0更新日期:2023-02-08 09:56
本发明专利技术实施例公开了一种手势交互误检过滤方法、装置、交互设备和存储介质。本方法中:获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域;提取所述初始手部区域的特征点,并对所述特征点进行匹配,确认所述两幅图像中对应的有效特征点对;基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值;滤除深度值在预设有效深度范围之外的初始手部区域。通过对两个相机采集到的图像中可能的手部区域进行特征匹配和深度值计算,根据佩戴式双目相机在具体使用过程中与双手的距离,对深度值明显超出合理范围的初始手部区域进行过滤,有效减少检测到用户之外的手势触发交互的情况。手势触发交互的情况。手势触发交互的情况。

【技术实现步骤摘要】
手势交互误检过滤方法、装置、交互设备和存储介质


[0001]本专利技术实施例涉及图像处理
,尤其涉及手势交互误检过滤方法、装置、交互设备和存储介质。

技术介绍

[0002]在基于VR(Virtual Reality,虚拟现实)或AR(Augmented Reality,增强现实)的交互设备中,通过佩戴式双目相机采集的图像可以进行准确的手势识别,由此,手势交互也成为一种使用越来越普遍的人机交互方式。在这些交互设备中,实现手势交互的基本流程是:(1)先检测手在相机图像中的位置和区域;(2)取该区域做手势识别或者关键点检测;与此同时进行手部区域的跟踪。
[0003]专利技术人在应用现有的交互设备进行手势交互时发现,由于纯图像的手势检测,可能会产生一些误检,导致出现交互失败或检测到用户之外的手势触发交互的情况。

技术实现思路

[0004]本专利技术提供了一种手势交互误检过滤方法、装置、交互设备和存储介质,以减少现有技术进行手势交互时出现交互失败或检测到用户之外的手势触发交互的情况。
[0005]第一方面,本专利技术实施例提供了一种手势交互误检过滤方法,包括:
[0006]获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域;
[0007]提取所述初始手部区域的特征点,并对所述特征点进行匹配,确认所述两幅图像中对应的有效特征点对;
[0008]基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值;
>[0009]滤除深度值在预设有效深度范围之外的初始手部区域。
[0010]第二方面,本专利技术实施例还提供了一种手势交互误检过滤装置,包括:
[0011]区域确认单元,用于获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域;
[0012]特征点确认单元,用于提取所述初始手部区域的特征点,并对所述特征点进行匹配,确认所述两幅图像中对应的有效特征点对;
[0013]深度值计算单元,用于基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值;
[0014]区域滤除单元,用于滤除深度值在预设有效深度范围之外的初始手部区域。
[0015]第三方面,本专利技术实施例还提供了一种交互设备,包括:
[0016]一个或多个处理器;
[0017]存储器,用于存储一个或多个程序;
[0018]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理
器实现如第一方面所述的手势交互误检过滤方法。
[0019]第四方面,本专利技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的手势交互误检过滤方法。
[0020]上述手势交互误检过滤方法、装置、交互设备和存储介质,获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域;提取所述初始手部区域的特征点,并对所述特征点进行匹配,确认所述两幅图像中对应的有效特征点对;基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值;滤除深度值在预设有效深度范围之外的初始手部区域。通过对两个相机采集到的图像中可能的手部区域进行特征匹配和深度值计算,根据佩戴式双目相机在具体使用过程中与双手的距离,对深度值明显超出合理范围的初始手部区域进行过滤,有效减少检测到用户之外的手势触发交互的情况。
附图说明
[0021]图1为本专利技术实施例提供的一种手势交互误检过滤方法的流程图;
[0022]图2为佩戴式双目相机的结构示意图;
[0023]图3为初始手部区域的示意图;
[0024]图4为本专利技术实施例提供的一种手势交互误检过滤装置的结构示意图;
[0025]图5为本专利技术实施例提供的一种交互设备的结构示意图。
具体实施方式
[0026]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。
[0027]需要注意的是,由于篇幅所限,本申请说明书没有穷举所有可选的实施方式,本领域技术人员在阅读本申请说明书后,应该能够想到,只要技术特征不互相矛盾,那么技术特征的任意组合均可以构成可选的实施方式。
[0028]例如,在实施例的一个实施方式中,记载了一个技术特征:提取SIFT特征点,并根据SIFT特征点的个数对直接进行过滤,或确认有效特征点对;在实施例的另一个实施方式中,记载了另一个技术特征:提取Harris特征点。由于以上两个技术特征不互相矛盾,本领域技术人员在阅读本申请说明书后,应该能够想到,提取Harris特征点,并根据Harris特征点的个数对直接进行过滤,或确认有效特征点对的实施方式也是一种可选的实施方式。
[0029]另外需要注意的是,本方案的实施形态也不是实施例中记载的所有技术特征的集合,其中某些技术特征的描述是为了方案的优化实现,实施例中记载的若干技术特征的组合如果可以实现本方案的设计初衷,其即可作为一种未独立的实施方式,当然也可以作为一种具体的产品形态。
[0030]下面对各实施例进行详细说明。
[0031]图1为本专利技术实施例提供的一种手势交互误检过滤方法的流程图。实施例中提供的手势交互误检过滤方法可以由用于手势交互误检过滤的各种操作设备执行,该操作设备可以通过软件和/或硬件的方式实现,该操作设备可以是两个或多个物理实体构成,也可以
是一个物理实体构成。
[0032]具体的,参考图1,该手势交互误检过滤方法具体包括:
[0033]步骤S110:获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域。
[0034]佩戴式双目相机是基于VR/AR的交互设备的基本硬件配置,在具体的产品形态中,佩戴式双目相机是真实世界与虚拟世界的接口之一,其设置的两个相机采集真实世界的画面,并在虚拟世界进行反馈。当然,在更丰富的交互实现中,还有可以有动作传感、温度检测等对真实世界全面检测。
[0035]图2是佩戴式双目相机1的一种形态,其正前方设置有两个相机(即第一相机11和第二相机12),在该佩戴式双目相机1中,第一相机11和第二相机12的距离、各自的内参等各种参数均已标定好,在基于两个相机采集的图像进行处理时,已标定好的参数可以直接使用。
[0036]对于佩戴式双目相机而言,两个相机拍摄到的图像对应的实际空间区别很小,基本能互相全部覆盖拍摄范围,由此,在一个相机中拍摄某个目标空间对应生成的图像,在另一相机中也对应存在对该目标空间生成的图像,根据以上两个相机的图像和空间的关系,在实现过程中,可以基于第一相机的图像进行手部检测得到对应的初始手部区域,基于第一相机对应的初始手部区域直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势交互误检过滤方法,其特征在于,包括:获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域;提取所述初始手部区域的特征点,并对所述特征点进行匹配,确认所述两幅图像中对应的有效特征点对;基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值;滤除深度值在预设有效深度范围之外的初始手部区域。2.根据权利要求1所述的方法,其特征在于,所述获取佩戴式双目相机的两个相机采集到的两幅图像,确认所述两幅图像中对应于同一目标空间的初始手部区域,包括:获取佩戴式双目相机的两个相机采集到的两幅图像,所述两个相机为第一相机和第二相机;对所述第一相机对应的图像进行手部检测,并确认手部检测得到的存在手部图像的区域为初始手部区域;根据所述第一相机和第二相机对应的相机参数,以及所述有效深度范围,计算所述第一相机对应的初始手部区域在所述第二相机对应的图像中的关联区域,以确认所述第二相机对应的初始手部区域。3.根据权利要求2所述的方法,其特征在于,所述根据所述第一相机和第二相机对应的相机参数,以及所述有效深度范围,计算所述第一相机对应的初始手部区域在所述第二相机对应的图像中的关联区域,包括:根据所述第一相机和第二相机对应的相机参数,以及所述有效深度范围,计算所述第一相机对应的初始手部区域的四个顶点在所述第二相机对应的图像中的关联点;确认所述关联点约束的最大区域为关联区域。4.根据权利要求3所述的方法,其特征在于,所述关联点通过如下公式计算:其中,(u1,v1)表示第一相机中像素点的位置,单位为像素;(u2,v2)表示第一相机中像素点在第二相机中关联点的位置,单位为像素;f
x
表示所述第二相机的焦距,单位为像素;d
x
表示第一相机和第二相机的距离,单位为毫米;z表示有效深度范围的端值,单位为毫米。5.根据权利要求1所述的方法,其特征在于,所述提取所述初始手部区域的特征点,并对所述特征点进行匹配,确认所述两幅图像中对应的有效特征...

【专利技术属性】
技术研发人员:胡慧
申请(专利权)人:广州视源人工智能创新研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1