使用标记物的基于姿态的人机接口制造技术

本公开涉及用于人机接口的、模仿鼠标的姿态识别的系统和方法，其中可以通过直观的手势来模仿光标的位移、位移方向以及鼠标的双击动作。该方法使用标记物作为姿态接口且因此不依赖于手部分段技术，手部分段技术具有与光照条件、一个人到另一人的肤色变化以及背景的复杂性有关的缺陷。

Gesture based human machine interface using markers

The present disclosure relates to a system and method for imitating mouse gesture recognition for human computer interfaces, wherein gestures, displacement directions, and double-click actions of the cursor can be simulated by visual gestures. This method uses the marker as a gesture interface and therefore does not depend on the part of the hand segment technology, hand part technology with illumination, a person to change another person's skin defect and the complexity of the background.

【技术实现步骤摘要】
【国外来华专利技术】使用标记物的基于姿态的人机接口
本公开总地涉及用于人机接口的姿态识别领域。更特别地，本公开涉及使用标记物的使用直观姿态的人机接口。
技术介绍
背景描述包括了可能对理解本专利技术有用的信息。并非承认在此提供的任何信息是现有技术或与当前所要求保护的专利技术相关，或者并非承认任何具体地或者隐含地引用的出版物是现有技术。姿态长期以来用于人类之间的沟通。姿态可源自于任何身体运动或状态，但是通常源自于面部或手部。人类长期以来使用面部表情来解释情感。使用手部的最简单的姿态是使用图形指出方向或人或物体。更先进的变化是符号语言，据知人类在学习使用口头语言之前已经使用过符号语言。后来，使用手部姿态的符号语言已经演进，为语言/听力障碍者使用。通常，使用符号/姿态的沟通包括一组符号/姿态和其中每个符号/姿态所传达的一组对应的含义/思想/动作。因此，使用符号/姿态沟通所涉及到的人们必须记住并识别这些姿态/符号。学习这些的过程可能很难，但是通过使用直观姿态变得容易。例如，用于传达方向/人/物体的指着沿一方向的图形或人或物体的姿态是直观的，并且能够容易地被两方使用和理解。随着计算技术的进步，姿态已经获得相当大的重要性，因为认识到现在我们所能自行支配的计算能力和其它能力可被利用来捕获和解释用于有意义的目的的姿态，例如用于语言障碍者的沟通或者用于与机器的人类接口，尤其是对于缺乏计算机教育的人。当前姿态识别领域的焦点包括来自具体地在资源受约束的嵌入式系统中的面部和手部姿态识别情感识别。姿态最常用于输入命令到机器中。姿态识别被看作是一种便于计算机理解人体语言从而与基于朴素文本的用户接口或者甚至图形用户接口相比构建机器与人类之间的更丰富的桥梁的方式，基于朴素文本的用户接口或者甚至图形用户接口仍将大部分输入限于键盘和鼠标。因此，姿态识别能力应使人类能够与机器沟通及自然地交互。将姿态识别为输入使得身体有残疾的人更易于使用计算机且能够使得在游戏或3D虚拟世界环境内的交互更自然。该识别技术还能够帮助使得例如在村庄或农村地区的人们(他们通常不适应例如键盘/鼠标的其它I/O设备以及其它类似的设备)对计算机的使用简易化。姿态识别能力通常包括诸如照相机的图像捕获设备以及处理器能够用来处理所捕获的图像、识别和/或解释具体的姿态的软件。例如，挥手可以解释成表示“结束程序”。基于2D照相机的手势识别技术可以划分成两个模块，即手势定位以及手势识别，其中在手势定位中，在整个图像中确定手部的各个部分，并且一旦用户的手部已经进行分段，其姿势利用诸如隐马尔科夫模型、哈尔变换、豪斯多夫匹配方法、模糊逻辑、神经网络、模板匹配等各种技术中的一种来识别。全部这些都是非常复杂的技术且要求相当大的处理速度。手部分段本身可以通过两种技术即肤色技术和手部移动技术中的任一种来完成。在基于肤色的技术中，不得不从图像中确定肤色区域，比如通过直接将阈值保持为RGB图像中的红色、绿色和蓝色。其还可以可替代地通过将RGB颜色空间转换成YCbCr或HSV颜色或者保持阈值来完成。在良好光照情况下，这些基于肤色的技术给出了正确的肤色区域，但是利用差的光照条件，在图像中不能确定不同的皮肤区域。此外，肤色从一个人到另一个人发生变化。由于从一个人到另一个人的肤色的变化以及不同的光照条件的变化的局限性，因此难以确定手部的分段。其它用于手部分段的技术基于手部移动。基于移动的手部分段的局限性在于，仅一只手应移动，背景部分不应移动。如果背景部分(例如，头部)正在移动，则其速度应当比用于向机器传达姿态的手部的速度慢。因此，需要一种姿态识别方法，比如模仿用于实现人机接口的鼠标，该姿态识别不依赖于手部分段且在不同的光照条件下工作，改善了识别精度，对肤色是中立的，而且适用于复杂背景。专利技术目的本公开的一个目的是克服与现有的使用手部分段技术进行姿态识别的方法相关联的问题。本公开的另一目的是提供用于实现人机接口的姿态识别方法。本公开的另一目的是提供利用离散鼠标移动来进行鼠标模仿的姿态识别方法。本公开的另一目的是提供一种用于姿态识别的方法，使用标记物作为人机接口，以使得计算机和网站易于任意用户借助网页项智能以及为避免标记物从照相机场景中消失而对用户的音频/视觉反馈的使用/访问。专利技术概述本公开的方面涉及用于实现人机接口的、用于姿态识别的系统和方法，比如通过模仿用于人机接口的鼠标，其中光标的位移、位移方向以及鼠标的双击动作能够利用标记物通过手势来模仿。应当理解的是，虽然已经参考鼠标模仿解释说明了本公开的大部分，任何其它I/O硬件如操纵杆等能够通过所提出的姿态识别技术来实现，全部都完全包含在本公开的范围内。在本公开的方面中，系统和方法提供了标记物的使用，该标记物被配置在用户的手部上/与用户的手部一起配置且用作通过使显示光标/指针移动到期望的位置而模仿比如鼠标功能的姿态接口，该期望位置可以基于来自图像捕获单元所捕获的标记物移动的多个连续图像帧的数据和当前的显示/网页内容来计算出。由于所提出的标记物被配置成模仿一个I/O设备或I/O设备的组合，所以期望的/可应用的模仿的I/O设备的任意功能可以通过所提出的姿态识别技术实现。例如，鼠标模仿可以包括诸如滚动、屏幕上指针的移动、光标位置的变化、打开/关闭/重定尺寸窗/屏幕/对象的功能以及本领域已知的其它功能。本公开的另一方面提供一种通过手部姿态来显示指针/光标移动的方法，其中光标/指针移动被限制在接口单元的监视器/屏幕上所显示的各选项内，使得用户更易于做出选择。例如，在显示监视器向用户呈现网页上的三个选项的情况下，其中一个必须选择，所提出的基于标记物的姿态识别技术可以包含仅在三个选项之间的标记物的受限制移动，而不是在显示器上任何其它地方，或者即使显示屏上的指针/光标/物体移出三个选项，可以完成计算以将当前位置近似于最近的可应用选项。类似地，在当前网页上选择了一个选项时，下一网页可以显示出，具有比如五个选项，并且因此指针/光标移动可仅限制在这五个选项之间。在本公开的另一方案中，一个或多个可配置手段可以向用户警告/告知手部/标记物移出图像捕获单元的范围之外，使得用户能够在诸如照相机的图像捕获单元所能识别的范围内收回他的手。因此，本公开有助于人机接口，通过使用易于理解以及实现/并入的直观手势，没有任何I/O硬件，如鼠标。而且，所提出的姿态识别技术没有与其它技术相关联的缺点，其它技术依赖于手部分段且需要借助适当光照的适当的环境、一个人到一个人的肤色均匀以及无噪声背景。所提出的技术还提高了姿态识别的效率/精度。通过下面对优选实施方案的详细说明以及附图，本专利技术主题的各种目的、特征、方面和优点将变得更明显，在附图中相似的标记表示相似的部件。附图说明包含了附图来提供对本公开的进一步理解，并且附图并入该说明书中且构成该说明书的一部分。附图图示说明了本公开的示范性的实施方案，并且与说明书一起用来解释本公开的原理。图1示出了依照本公开的实施方案的表示用于模仿鼠标的姿态识别系统的构造的示范性的示意图。图2示出了依照本公开的实施方案的与用于模仿鼠标的姿态识别系统一起使用的示范性的标记物。图3示出了依照本公开的实施方案的用于模仿鼠标的姿态识别系统的功能模块的示意图。图4示出了依照本公开的实施方案的用于姿态接口的、使用标本文档来自技高网...

【技术保护点】
姿态识别方法，包括如下步骤：将标记物配置在用户上/将标记物与用户一起配置；通过图像捕获单元来捕获所述标记物移动的N个帧；对于所述N个帧中的一个或多个确定所述标记物的质心；对于所述N个帧中的所述一个或多个确定所述质心的位移；以及基于所述确定的所述质心的位移来将指针的移动并入机器显示器上。

【技术特征摘要】
【国外来华专利技术】2014.05.24 IN 2579/CHE/20141.姿态识别方法，包括如下步骤：将标记物配置在用户上/将标记物与用户一起配置；通过图像捕获单元来捕获所述标记物移动的N个帧；对于所述N个帧中的一个或多个确定所述标记物的质心；对于所述N个帧中的所述一个或多个确定所述质心的位移；以及基于所述确定的所述质心的位移来将指针的移动并入机器显示器上。2.如权利要求1所述的方法，还包括如下步骤：计算当前帧距前一帧的位移，以及如果所述计算出的位移大于定义的第一阈值，则并入所述指针的所述移动。3.如权利要求1所述的方法，还包括如下步骤：计算第一帧与第N帧之间的总位移，以及当所述计算出的总位移低于定义的第二阈值时，将动作解释为双击动作。4.如权利要求1所述的方法，其中所述标记物与所述用户的手耦合，并且其中并入标记物的任何定义的形状/尺寸/类型。5.如权利要求1所述的方法，其中所述标记物被配置为戒指从而放置在用户的手指上。6.如权利要求1所述的方法，其中确定所述标记物的所述质心包括如下步骤：使用所述图像捕获单元来捕获所述标记物的图像；将所述图像转换成二进制图像；从所述二进制图像中标识所述标记物的...

【专利技术属性】
技术研发人员：V·亚吉，S·比，P·杜塔，M·Y·伽雎，G·巴布，
申请(专利权)人：远程信息技术发展中心，
类型：发明
国别省市：印度,IN