一种用来控制电子设备的人机交互方法、系统和装置制造方法及图纸

本发明专利技术提供一种用来控制电子设备的人机交互方法、系统和装置，该方法提供只需转动头部就可像鼠标那样指向并点击（point‑and‑click）去操控电子产品，主要特点在于通过在耳机（例如：蓝牙耳机）上加装角速度传感器以检测和感知头部跟随眼睛注视方向而上下左右的运动（方向和位移）及动作（如点头、摇头等），从而实现一种更自然（如：眼看哪里光标就指向哪里）、更便捷的人机交互方式，在电子设备屏幕输出的可视化软键盘用户界面的支持下，更可实现信息的输入。结合原来耳机的麦克风输入声音，可实现更复杂的头部运动加上声音控制组合；利用原来耳机的声音输出功能，也可同时实现用户输出（如输出语音提示或语音菜单）和用户输入于一体。

A man-machine interaction method, system and device for controlling electronic equipment

【技术实现步骤摘要】
一种用来控制电子设备的人机交互方法、系统和装置
本专利技术是有关于一种人机交互的方法、系统和装置，特别是指一种通过头部指向和点击（point-and-click）来实现人机沟通，用来控制电子产品及输入信息的方法、系统和装置。
技术介绍
人机交互(human-machineinteraction，HMI)系统由用户输入设备和用户输出设备组成，用户输出设备由最早的打印机、指示灯，一直发展到现在常用的显示屏，甚至3D影像投射、虚拟现实VR眼镜(VirtualReality)和增强现实AR(AugmentedReality)。用户输入技术作为人机交互重要的一环，直接影响着用户的使用体验和使用效率，用户输入设备也从最早的按键、键盘到鼠标、语音输入、手写笔，一直发展到现在大行其道的电容式触屏，用手触控，一切可及，无需再用手写笔，甚至利用脑电波输入的读心术。这些输入方法一个比一个自然，方便。每一次人机交互技术的进步都给IT工业带来革命，电脑时代的Windows®和Macintosh®创造的图形界面让我们通过鼠标的指向并点击（PointsAndClicking）就可完成一切操作；到了触控（TouchScreen）手机时代，相信许多人都不会忘记第一次在广告中看到通过手指的开合来缩放屏幕上显示的照片时所体验到的新奇感。目前触屏已很好用，但随着电子设备越来越小，屏幕也越来越小，手指却小不了，手指不好按触屏，现在用手机触摸屏虚拟QWERTY键盘输入字母，经常因手指大输错旁边的字母或数字，而且对于有些不方便腾出双手操作的用户，如：如司机、残疾人，拿工具的工人、消防员、警察等，触摸屏并不是一个好选择，电容式触摸屏对于戴手套的人也不是一个好选择，手势输入也需要手，也不是一个好选择，有无比触摸屏更方便、更自然的输入方式，而且能够解放双手来做其他事情。现在流行人脸识别，但只局限用于访问授权（accessauthorization），例如解锁手机，既然基于计算机视觉的人脸识别技术那么成熟，识别脸部表情、动作和运动方向也很容易，为何不用作人机交互的用户输入。本来设想利用人脸识别来检测脸部表情、动作和运动方向作为用户输入，后来发现基于光学照相的人脸识别技术在光线弱时识别率低、耗电大，虽然苹果公司在iPhoneX机型后用了红外摄像头来解决光线弱导致的识别率低的问题，但还是功耗大，不太适合做人机交互。基于光学识别头部运动的技术还有利用光电管、光敏器件或TOF(TimeofFlight)来跟踪头部或眼球的运动，但是这些方法要发射红外光或激光并通过眼球反射，对眼睛不好。鉴于上述现存的各项因素，如何更好地利用新的人机交互方法来达到控制电子产品、解决操作上的方便性，的确为值得探讨的课题。
技术实现思路
本专利技术的目的，即提供一种人机互动的方法，该方法是通过头部point-and-click（指向并点击）来实现人机沟通，用来控制电子产品及输入信息。最简单的人机交互系统由用户输入和输出设备组成，例如大家最常见的用户输出设备是屏幕、用户输入设备是按键，要完成所有的输入操作，只需简单的5向导航键（Navigatingkey）就可，5向导航键包括上下左右4个方向键加ENTER确认键，如果再加上一个后退键（Back）就更好，操作可以更快捷。鼠标就是模拟5向导航键的，鼠标PointsandClicking（指向并点击）就可完成所有输入操作，本专利技术就是模拟鼠标的行为以实现鼠标的PointsandClicking功能，用头当作鼠标进行指向（points），相当于移动5向导航键的4个方向键使光标指向目标，移动头部，光标就跟着头部移动的方向移动。点点头进行点击clicking，相当于按了确认ENTER键；摇摇头进行回退，相当于后退键（backspace或ESC）。这样，不再需要坐在桌上摆弄鼠标，或站起来舞动激光笔，不用占用太多的活动空间，也不需要留出操作鼠标移动的二维表面平面空间，可以在自由3D空间活动，借以达到操控的方便性效果。有关本专利技术的其它功效及实施示例的详细内容，配合附图说明如下。附图说明为了更清楚地说明本专利技术实施示例或现有的技术方案，下面将对实施示例或技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施示例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术的一种使用示例。图2是本专利技术的系统组成和架构。图3是本专利技术的设置界面示例，从界面中可看到定义了头部运动或动作所对应的控制行为。图4a和图4b是本专利技术中“头指向并点击”（pointandclick）操控用户界面示例，分别是操控全图形菜单、简单菜单。图5是本专利技术用“头指向并点击”（Headpointandclick）输入信息示例。图6是本专利技术中角速度传感器在耳机上的安装位置，使用的坐标系和头部运动在3D空间中的转动方向。图7a是本专利技术中头部从右向左移动所测量到的三个轴的角速度曲线。图7b是本专利技术中头部从左向右移动所测量到的三个轴的角速度曲线。图7c是本专利技术中头部从下向上移动所测量到的三个轴的角速度曲线。图7d是本专利技术中头部从上向下移动所测量到的三个轴的角速度曲线。图7e是本专利技术中的点头动作（头部从上向下快速移动）所测量到的三个轴的角速度曲线。图7f是本专利技术中的摇头动作（头部左右快速移动）所测量到的三个轴的角速度曲线。图7g是本专利技术中图示了如何用梯形面积法求角速度的积分以得到转动角度。图8是本专利技术中显示了从识别头部动作到完成人机交互的整个软件处理流程。具体实施方式以下以各附图来说明本专利技术的实施例子，用附图更能全面地描述本专利技术。然而，本专利技术不应被解释为限于这里阐述的实施示例，而是，提供这些实施示例以使得本专利技术的公开将是透彻和完整的，并将向本领域技术人员充分传达本专利技术的范围。请参阅图1至图7配合以下说明进一步理解本专利技术使用说明方式及实现基本原理：如图1，选用无线蓝牙耳机103作为跟随头部运动的载体，在耳机103上加装转动传感器104以检测和感知头部跟随眼睛注视的方向上下左右运动方向及位移、动作（如点头、摇头等）、跟踪头部运动轨迹,并将检测到这些运动事件编码成相应控制指令后通过无线或有线102（例如蓝牙）传送到要控制的电子设备101中，这些电子设备101收到控制指令后，解释并执行相应的预设动作303-304，使用者只需摇头晃脑就可移动光标，且光标移动的距离跟头部运动的位移成正比；点点头就可点击（Clicking），摇头就可回退（backspace或ESC），结合原来耳机的麦克风209输入声音功能，吹着口哨头向上移就可放大图片，吹着口哨头向下移就可缩小图片…从而实现一种比现在触摸屏更自然（如：眼看哪里,光标就指向哪里）、更便捷的人机交互方式，在主机端101可视化软键盘用户界面502的支持下，更可实本文档来自技高网...

【技术保护点】
1.在一种用来控制电子设备的人机交互方法，其特征在于：/n选用具有检测和识别头部上下左右运动及点头、摇头动作等功能的载体，跟随头部运动，并与电子设备通过无线或有线方式配对建立主从关系；进行控制指令编码，将所述跟踪头部运动轨迹所检测到这些运动的方向及位移、动作事件编码成相应控制指令；通过无线或有线方式传送所述控制指令到所述电子设备；配合相应用户界面 (User Interface) 将所述电子设备所收到控制指令，经解释并执行相应的预设动作，从而实现头部运动输入事件和用户输出显示相互对应，共同完成人机交互。/n

【技术特征摘要】
1.在一种用来控制电子设备的人机交互方法，其特征在于：
选用具有检测和识别头部上下左右运动及点头、摇头动作等功能的载体，跟随头部运动，并与电子设备通过无线或有线方式配对建立主从关系；进行控制指令编码，将所述跟踪头部运动轨迹所检测到这些运动的方向及位移、动作事件编码成相应控制指令；通过无线或有线方式传送所述控制指令到所述电子设备；配合相应用户界面(UserInterface)将所述电子设备所收到控制指令，经解释并执行相应的预设动作，从而实现头部运动输入事件和用户输出显示相互对应，共同完成人机交互。


2.如权利要求1所述用来控制电子设备的人机交互方法，其特征在于，该载体采用无线耳机或有线耳机，并于该耳机加装角速度转动传感器以检测和识别头部跟随眼睛注视的方向上下左右运动及点头、摇头动作，利用该角速度转动传感器内的高通滤波，滤除低频静态噪声音，并经过去抖动处理，得到运动角速度数据。


3.如权利要求2所述用来控制电子设备的人机交互方法，其特征在于，所述角速度转动传感器的安装位置，使该角速度转动传感器的y轴与头部Yaw转动平行，z轴与头部Pitch转动平行，x轴与头部Roll转动平行，这样的安装位置以便在人站着或坐着在原地不动只动头部时，头上下运动或点头时是围绕z轴转动,头左右运动或摇头时，是围绕y轴转动，头部运动可根据这个运动特征来识别。


4.如权利要求3所述用来控制电子设备的人机交互方法，其特征在于，所述根据运动特征来识别头部向左运动的方法是y轴的角速度为正(表示按正向旋转，逆时针)且x和z轴的角速度基本不变，只要在一定的持续时间内测量y轴的角速度超过一定阈值且极性为正，并且x和z轴的角速度变化不大，就认为发生了头部向左转动这个动作；
同理，如果y轴的角速度为负且x和z轴的角速度基本不变，就认为发生了头部向右转动这个动作；
同理，识别头部向上运动的方法是z轴的角速度为负(表示按负向旋转，顺时针)且x和y轴的角速度基本不变，只要在一定的持续时间内测量z轴的角速度超过一定阈值且极性为负，并且x和y轴角速度变化不大，就认为头部发生了向上移动这个动作；
同理，z轴的角速度为正(表示按正向旋转，逆时针)且x和y轴的角速度基本不变，只要在一定的持续时间内测量轴的角速度超过一定阈值且极性为正，并且x和y轴角速度变化不大，就认为发生了头部向下移动这个动作;
点头动作的运动特征是z轴的角速度为正负交替剧烈变化且x和y轴的角速度不变，只要在一定的持续时间内测量z轴的加速度超过一定阈值且极性为正与负交替，并且x和y轴的角速度变化不大，我们就认为发生了点头这个动作，从而识别出这个点头动作;
摇头动作的运动特征是y轴的角速度为正负交替剧烈变化且x和z轴的角速度不变，只要在一定的持续时间内测量y轴的加速度超过一定阈值且极性为正与负交替，并且x和z轴的角速度变化不大，我们就认为发生了摇头这个动作，从而辨认出这个摇头动作。


5.如权利要求1所述用来控制电子设备的人机交互方法，其特征在于，该控制指令编码系透过一个微处理器，该微处理器内置头部运动与行为控制相应的预设动作事件参数表，并相应地将角速度传感器检测到头部转动事件并通知微处理器中断处理收到的角速度数据，微处理器根据运动特征判断头部发生了哪种方向的运动或预设动作事件，并将这些事件编码为标准输入设备（例如鼠标，键盘）的键值,将根据角速度计算出的运动位移编码为轴代码，然后按照人机输入接口协议（如HIDprotocol）打包编码数据。


6.如权利要求1所述用来控制电子设备的人机交互方法，其特征在于，所述被控制的电子设备用户接口(UserInterface)具有设备驱动程序，用于将收到的动作事件编码进行解码后转化为标准的输入事件。


7.如权利要求1所述用来控制电子设备的人机交互方法，其特征在于，所述通过无线或有线方式传送该控制指令，该无线方式可以采用蓝芽、Zigbee或WiFi等。


8.如权利要求2所述用来控制电子设备的人机交互方法，其特征在于，进一步结合该载体(耳机)上已有的麦克风和音频编码译码器(Codec)，以及连接该微处理器的内存，将麦克风拾音得到模拟音频信号，送到该编译码器进行A/D转换器变为数字信号，并经过微处理器在一定时间段内判断收到的声音强度大于某个阈值就认为发生了声音输入事件，这样，结合声音输入和头部运动输入组合出更多的控制功能，例如：吹着口哨头向上移就可放大图片，吹着口哨头向下移就可缩小图片。


9.一种用来控制电子设备的人机交互...

【专利技术属性】
技术研发人员：黎捷，黎阳辉，
申请(专利权)人：黎捷，
类型：发明
国别省市：广东;44