基于手势识别的命令激活方法和系统技术方案

本发明专利技术描述了虚拟现实(VR)，增强现实(AR)或混合现实(MR)系统(统称为“视觉增强系统”)中的手势激活命令的各方面。作为示例，这些方面可以包括识别深度相机前面的手势并响应于识别的手势执行一个或多个命令。手势激活命令可以包括执行诸如启动应用程序、终止应用程序、打开开始菜单等操作。

Command activation method and system based on gesture recognition

【技术实现步骤摘要】
基于手势识别的命令激活方法和系统
本专利技术涉及视觉增强
，尤其涉及视觉增强系统中的基于手势识别的命令激活方法和系统。
技术介绍
视觉增强系统指的是提供与现实世界对象相关联的补充信息的头戴式设备。例如，视觉增强系统可以包括配置成显示补充信息的近眼显示器。通常，补充信息可以显示在现实世界对象附近。例如，电影院可以显示电影时间表，使得用户在他/她看电影院时可以不需要搜索电影信息。传统上，视觉增强系统还可以包括用于接收来自用户的输入或命令的遥控器。例如，两个运动跟踪输入装置可以包括在视觉增强系统中，以用于接收来自用户的命令。然而，遥控器可能需要额外的电源，以及到头戴式设备的无线信号的传输。
技术实现思路
以下呈现一个或多个方面的简要概述，以便提供对这些方面的基本理解。该概述不是对所有预期方面的广泛综述，而且既不是要标识出所有方面的关键或者决定性元素、也不是要界定任何或者所有方面的范围。其唯一目的是以简单形式给出一个或多个方面的某些概念，作为对稍后给出的更详细说明的序言。本专利技术的一个示例方面提供了用于视觉增强系统中的用户交互的示例方法。示例方法可以包括通过深度相机收集手的深度图。示例方法还可以包括通过关节分析器识别深度图中的手的一个或多个关节，并且基于深度图中所识别的关节，通过手势分析器来确定手的手势。另外，示例方法可以包括：响应于所确定的手势，通过命令响应组件执行相应的操作。本专利技术的另一示例方面提供了用于视觉增强系统中的用户交互的示例系统。示例系统可以包括深度相机，将其配置为收集手的深度图。示例系统还可包括：关节分析器，将其配置为识别深度图中的手的一个或多个关节；以及手势分析器，将其配置为基于深度图中所识别的关节来确定手的手势。另外，示例系统可以包括命令响应组件，将其配置为响应于所确定的手势执行相应的操作。为了实现上述目的和相关目的，一个或多个方面包括下面充分描述的并在权利要求中具体指出的多个特征。以下描述和附图详细阐述了一个或多个方面的某些说明性特征。然而，这些特征仅仅指示各种方面的原理可以采用的各种方式中的一些，并且该描述旨在包括所有这些方面及其等同物。附图说明在下文中将结合附图描述所公开的方面，提供这些附图是为了说明而不是限制所公开的方面，其中相同的标号表示相同的元件，并且其中：图1示出了被配置为识别动态手势的示例视觉增强系统；图2示出了被配置为识别其他动态手势的示例视觉增强系统；图3是示出可以实现基于手势识别的命令激活的示例视觉增强系统的框图；图4示出了由示例视觉增强系统响应于一个或多个动态手势而显示的示例菜单；和图5是基于手势识别的用于命令激活的示例方法的流程图。具体实施方式现在参考附图描述各个方面。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践这些方面。在本专利技术中，术语“包含”和“包括”及其衍生词意味着包含而不是限制；术语“或”，也是非限定性地，是指：和/或。在本说明书中，用于说明本专利技术的原理的以下各种实施例仅用于说明目的，因此不应被理解为以任何方式限制本专利技术的范围。以下结合附图的描述是为了便于彻底理解由权利要求及其等同物限定的本专利技术的说明性实施例。在以下描述中存在具体细节以便于理解。但是，这些细节仅用于说明目的。因此，本领域技术人员应该理解，在不脱离本专利技术的范围和精神的情况下，可以对本说明书中所示的实施例进行各种变更和修改。另外，为了清楚和简明的目的，没有描述一些已知的功能和结构。此外，在整个附图中，相同的附图标记表示相同的功能和操作。在下文中公开的视觉增强系统可以包括深度相机，将其配置为收集用户的手的深度图。深度图可以包括距离信息，该距离信息包括从手的关节到深度相机的距离。基于深度图，可以将视觉增强系统配置为识别手的关节，并且根据关节的相对位置识别手势。响应于识别的手势，可以将视觉增强系统配置为执行分别与手势相关联的命令。因此，可能不需要遥控器来向视觉增强系统输入命令。图1示出了被配置为识别动态手势的示例视觉增强系统102。如图所示，示例性视觉增强系统102可包括深度相机104和显示器106。深度相机104可以参考被配置为测量相机与一个或多个物体之间的距离的相机。可以将显示器106配置为显示与视觉增强系统102的镜片相关的信息。在一些实施例中，深度相机104可以指的是飞行时间(ToF)相机，将其配置为测量从相机发射到一个或多个物体并从物体反射到相机的光信号的相应往返时间。通过测量光信号的往返时间，可以将深度相机104配置为基于已知的光速确定距离。这样，由深度相机104捕获的对象可以与包括二维图像中的坐标和距离的三维位置相关联。在其他实施例中，深度相机104可以基于结构光或立体视觉系统来实现。通常，当深度相机104捕获深度图时，可以将处理单元(例如，处理单元302)配置为确定手是否包括在深度图中。可以基于神经网络训练来执行这种确定，例如，基于机器学习来检测手。利用类似的技术，可以将处理单元配置为在深度图中检测和识别手的关节。在一些实施例中，还可以将处理单元配置为检测和识别手的指尖。所识别的关节和指尖在图1中由虚线圆圈示出。也就是说，深度图可以包括手的关节和/或指尖的三维位置。基于包括所识别的手的关节的深度图，还可以将处理单元配置为确定手的手势。在至少一些实施例中，可以将处理单元配置为基于从相应指尖到手掌中心的距离来计算手的伸直的手指的数量。例如，如果伸直的手指的数量是五，则可以将处理单元配置为将手势确定为张开的手。如果伸直的手指的数量为零，则处理单元可将手势确定为拳头。如果伸直的手指的数量是1，则可以将手势确定为一根手指。也可以基于计数类似地识别诸如两根伸直的手指之类的其他手势。此外，可以将处理单元配置为生成手的状态并将手的状态存储为手状态历史。每个手状态可以包括确定的手势和关节的相应三维位置。例如，手状态可以包括指示“拳头”的手势和关节的对应三维位置的信息。在另一实施例中，手状态可包括指示“张开的手”的手势和关节的对应三维位置的信息。生成的手状态可以存储为具有与每个手状态相关联的时间戳的手状态历史。在一些实施例中，当处理单元识别当前手状态时，可以将处理单元配置为将当前手状态与存储在手状态历史中的先前识别的手状态进行比较，以便确定动态手势。例如，处理单元可识别指示为拳头的当前手状态并将当前手状态存储在手状态历史中。如果当前手状态指示为拳头并且先前识别的手状态指示张开的手，则可将处理单元配置为将动态手势确定为“闭合手”。在要求保护的本专利技术的一个或多个实施例中，可以将处理单元配置为以深度相机的频率或以用户预先确定的频率(例如，每秒24帧到每秒60帧)确定动态手势。类似地，可以将处理单元配置为如果当前手状态被识别为“张开手”并且先前识别的手状态指示为“拳头”，则将动态手势确定为“张开的手”。对于每个动态手势，可以将处理单元配置为附上附加信息。例如，附加信息可包括关节和指尖的位移。也就是说，可以将当前手状态和先前识别的手状态之间的关节和指尖的位置的变化附加到动态手势。可以存储动态手势和关节以及指尖的位移的组合，并将其称为手势命令。图2示出了被配置为识别其他动态手势的示例视觉增强系统102。类似于图1本文档来自技高网...

【技术保护点】
1.一种视觉增强系统中的用户交互方法，包括：通过深度相机收集手的深度图；通过关节分析器识别所述深度图中手的一个或多个关节；通过手势分析器、基于所述深度图中识别的关节，确定手的手势；和响应于所确定的手势，通过命令响应组件执行相应的操作。

【技术特征摘要】
1.一种视觉增强系统中的用户交互方法，包括：通过深度相机收集手的深度图；通过关节分析器识别所述深度图中手的一个或多个关节；通过手势分析器、基于所述深度图中识别的关节，确定手的手势；和响应于所确定的手势，通过命令响应组件执行相应的操作。2.如权利要求1所述的方法，其中所述深度图包括与手的一个或多个相应部位和所述深度相机之间的距离有关的信息。3.如权利要求1所述的方法，其中所述确定手势的步骤包括：基于所述深度图中识别的一个或多个关节，识别伸直的手指的数量。4.如权利要求3所述的方法，其中所述确定手势步骤还包括基于所识别的伸直的手指的数量来确定当前静态手势。5.如权利要求4所述的方法，其中所述确定手势的步骤还包括：基于所确定的当前静态手势与先前确定的静态手势之间的比较来确定动态手势。6.如权利要求5所述的方法，其中将所述动态手势确定为选自：逐渐闭合手，逐渐张开手，闭合手，张开手，从左向右滑动一根手指，用一根或多根伸直的手指点击，或从右向左滑动一根手指。7.如权利要求6所述的方法，其中所述执行相应操作的步骤包括响应于确定为张开手的动态手势，启动包括一个或多个选项项目的菜单。8.如权利要求6所述的方法，其中所述执行相应操作的步骤包括：响应于所述确定为闭合手的动态手势，终止包括一个或多个选项项目的菜单。9.如权利要求6所述的方法，其中所述执行相应操作的步骤包括：响应于所述确定为从左向右滑动一根手指的动态手势，从左到右移动菜单中的一个或多个选项项目。10.如权利要求6所述的方法，其中所述执行相应操作的步骤包括：响应于所述确定为从右向左滑动一根手指的动态手势，从右向左移动菜单中的一个或多个选项项目。11.如权利要求6所述的方法，其中所述执行相应操作的步骤包括：响应于所述确定为点击选项项目的动态手势，启动对应于选项项目的应用程序。12.一种用于视觉增强系统中的用户交互的系统，包括：...

【专利技术属性】
技术研发人员：张兆辉，陈明修，
申请(专利权)人：芋头科技杭州有限公司，
类型：发明
国别省市：浙江,33