基于手势识别的人机交互方法与系统技术方案

公开了基于手势识别的人机交互方法与系统。所公开的基于手势识别的人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

Human-computer interaction method and system based on gesture recognition

【技术实现步骤摘要】
基于手势识别的人机交互方法与系统
本专利技术涉及人机交互领域。具体地，本专利技术涉及利用基于手势识别的控件进行人机交互的方法与系统。
技术介绍
人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。
技术实现思路
在基于手势识别的人机交互过程中，需要设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”或“取消”的操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在交互空间的轨迹无法实现上笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。根据本专利技术的第一方面，提供了基于手势识别的第一人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。根据本专利技术的第一方面的基于手势识别的第一人机交互方式，提供了根据本专利技术第一方面的基于手势识别的第二人机交互方法，其中包括：响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的基于手势识别的第三人机交互方法，其中包括：响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第四人机交互方法，其中包括：初始化所述控件，所述控件进入未激活状态。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第五人机交互方法，其中所述第一端是导轨区域靠近入口区域的部分。根据本专利技术的第一方面的基于手势识别的第二人机交互方式，提供了根据本专利技术第一方面的基于手势识别的第六人机交互方法，其中所述第二端是导轨区域远离入口区域的部分。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第七人机交互方法，其中包括：在用户界面上依据手势信息显示光标，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第八人机交互方法，其中包括：依据光标在导轨区域的中线上的投影位置，在导轨区域中绘制滑块。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第九人机交互方法，其中包括：响应于控件进入激活态，在用户界面上隐藏光标，以及改变控件的外观，以向用户提示控件进入激活态。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第十人机交互方法，其中包括：响应于控件进入未激活态，在用户界面上依据手势信息支持的位置显示光标。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第十一人机交互方法，其中包括：响应于滑块移出导轨区域，隐藏所述滑块。根据本专利技术的第一方面的前述人机交互方式，提供了根据本专利技术第一方面的第十二人机交互方法，其中包括：在控件的激活态下，响应于手势信息指示的“抓握”动作，使光标固定于滑块，以及依据手势信息绘制滑块。根据本专利技术的第一方面的基于手势识别的第一人机交互方式，提供了根据本专利技术第一方面的第十三人机交互方法，其中所述导轨区域的第一端有多个。根据本专利技术的第一方面的基于手势识别的第二人机交互方式，提供了根据本专利技术第一方面的第十四人机交互方法，其中所述导轨区域的第二端有多个。根据本专利技术的第二方面，提供了根据本专利技术第二方面的基于手势识别的第一人机交互装置，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述装置包括：激活模块，用于响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；事件生成模块，响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。根据本专利技术的第二方面的基于手势识别的第一人机交互装置，提供了根据本专利技术第二方面的第二人机交互装置，其中包括：第二事件生成模块，用于响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。根据本专利技术的第二方面的前述人机交互装置，提供了根据本专利技术第二方面的第三人机交互装置，其中包括：去激活模块，响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。根据本专利技术的第二方面的前述人机交互装置，提供了根据本专利技术第二方面的第四人机交互装置，其中包括：初始化模块，用于初始化所述控件，所述控件进入未激活状态。根据本专利技术的第二方面的前述人机交互装置，提供了根据本专利技术第二方面的第五人机交互装置，其中所述第二端是导轨区域靠近入口区域的部分。根据本专利技术的第二方面的第二人机交互装置，提供了根据本专利技术第二方面的第六人机交互装置，其中所述第一端是导轨区域远离入口区域的部分。根据本专利技术的第二方面的前述人机交互装置，提供了根据本专利技术第二方面的第七人机交互装置，其中还包括：在用户界面上依据手势信息显示的装置，以及所述手势信息指示本文档来自技高网...

【技术保护点】
一种基于手势识别的人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

【技术特征摘要】
1.一种基于手势识别的人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。2.根据权利要求1所述的方法，还包括：响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。3.根据权利要求1-2之一所述的方法，还包括：响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。4.根据权利要求1-3之一所述的方法，其中在用户界面上依据手势信息显示光标，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。5.根据权利要求1-4之一所述的方法，还包括：响应于控件进入激活态，在用户界面上隐藏光标并改变控件的外观，播放指定的声音，显示指定的文字，和/或提供力学反馈，以向用户提示控件进入激活态。6.根据权利要求1-5之一...

【专利技术属性】
技术研发人员：党建勋，刘津甦，
申请(专利权)人：天津锋时互动科技有限公司深圳分公司，
类型：发明
国别省市：广东,44