视线跟踪人机交互方法及装置制造方法及图纸

本发明专利技术涉及一种视线跟踪人机交互方法，其中包括：采集视线跟踪信息，并根据所述视线跟踪信息获取视线焦点位置；采集面部图像信息，并根据所述面部图像信息识别出面部动作；根据所述视线焦点位置输出与所述面部动作对应的控制指令。本发明专利技术还涉及一种视线跟踪人机交互装置，包括：视线跟踪处理单元，用于进行视线跟踪操作；面部动作识别单元，用于采集面部图像信息并根据所述面部图像信息识别出面部动作；以及控制指令输出单元，与视线跟踪处理单元及面部动作识别单元分别连接，用于根据所述视线焦点位置输出与所述面部动作对应的控制指令。本发明专利技术的实施例提供了一种非接触且交互协议简单的视线跟踪人机交互方法及装置。

【技术实现步骤摘要】

本专利技术涉及人机交互方法及装置，尤其涉及视线跟踪人机交互方法及装 置，属于人机交互领域。
技术介绍
键盘、鼠标、游戏杆等设备提供了机器与操作者之间的通讯接口，实现 了人机交互。近年来，随着视线跟踪技术的发展，基于视线跟踪的鼠标模拟 以及键盘模拟已在人机交互领域得以研究与应用，诸如辅助残疾人士完成人 机通讯，辅助航空驾驶员操作计算机等。在个人电脑上，视线跟踪的结果可 以控制鼠标指针的运动，从而可以替代鼠标实现人机交互的功能。在一些工 业控制、航空应用场景或紧急状况中，用户的手可能都被用于操作除计算机 外的其它控制机构，这时只有视线可以被用来操作计算机。现有技术使用鼠标设备辅助实现跟踪的人机交互过程。当需要进行目标 选取时，用户的视线落在需要选择的目标上后，再按下鼠标键完成选择。在 移动一个目标时，用户的视线落在需要选择的目标上后，按下鼠标键选中该目标，然后用户移动^L线至一个新的位置，松开鼠标按钮后目标即停留在新 的位置。在实现本专利技术过程中，专利技术人发现该技术中至少存在如下问题(1) 采用鼠标设备作为辅助输入，在交互过程中使用手的运动来控制鼠 标按下与松开的动作。这样对于航空驾驶等特殊场合无法利用手进行操作的 情况下就无法应用， 一些手部无法动作的残疾人也不能使用该系统。(2) 在把该系统用于公共设施时，由于需要接触鼠标设备，从而增加了 人群中传染疾病的可能性。目前还存在一种根据视线停留时间或眨眼选择控制选项的方法。操作 者在某处注视点停留达一定时间后，当前交互工作模式转入精细调整模式。 在该模式下，程序先记下当前光标点位置，然后屏幕上出现一个弹出菜单， 包含"单击、双击、左键、右键"等选项，然后视线控制光标移动到菜单 中的某一项上，并停留一定时间或眨眼来选"l奪该项，^v而实现"单击、双击"等动作。在实现本专利技术过程中，专利技术人发现该方法中至少存在如下问题 注视停留时间很难选择较合适的值，若选择较小的数值，则容易造成 误操作，因为当视线稍做停顿，就会出现弹出菜单，而操作者并不希望做 任何动作，这种情况在一些特定操作中(如阅读文章、观看视频等)尤其 明显。如果选择较大的数值，则会延长操作指令的执行时间，大大降低交 互的效率。另外，弹出菜单在很多场合也会影响操作者对屏幕内容的观察。 总之，这样的交互协议会导致交互过程不够人性化，效率也较低，容易产 生误操作。
技术实现思路
本专利技术实施例的目的在于提供一种非接触且交互协议简单的视线跟踪人 机交互方法及装置。为实现上述目的，本专利技术视线跟踪人机交互方法的实施例中，包括采 集视线跟踪信息，并根据所述视线跟踪信息获取视线焦点位置；采集面部图 像信息，并根据所述面部图像信息识别出面部动作；根据所述视线焦点位置 输出与所述面部动作对应的控制指令。为实现上述目的，本专利技术实现跟踪人机交互装置的实施例中，包括视 线跟踪处理单元，用于进行视线跟踪操作，所述视线跟踪操作包括采集视线 跟踪信息并根据所述视线跟踪信息获取视线焦点位置；面部动作识别单元， 用于采集面部图像信息并根据所述面部图像信息识别出面部动作；以及控制 指令输出单元，与所述视线跟踪处理单元及所述面部动作识别单元分别连接，用于根据所述视线焦点位置输出与所述面部动作对应的控制指令。本专利技术实现跟踪人机交互方法的实施例通过采集视线跟踪信息获取视线 焦点位置，采集面部图像信息识别出面部动作，最后根据所述视线焦点位置输出与所述面部动作对应的控制指令；在整个过程中，由于操作者的手无需 接触键盘或鼠标或操作杆等外设，这样使得航空驾驶等特殊场合无法利用手 进行操作的情况下得以顺利地应用，另还能够方便一些手部无法动作的残疾 人；采用面部动作及视线焦点位置同时作为控制指令输出的依据条件，使得 交互协议简单、控制指令的输出更为准确。本专利技术实现跟踪人机交互装置的实施例通过在原有视线跟踪处理单元的 基础上增设面部动作识别单元，由控制指令输出单元根据所述视线焦点位置 输出与所述面部动作对应的控制指令，实现了非接触的控制方式，提高了用 户使用的舒适度，避免了公共设备使用过程中由于操作者的手接触键盘或鼠 标或操作杆等外设而造成的疾病的传播。附图说明图1为本专利技术视线跟踪人机交互方法的实施例一的流程图2为面部动作A示意图3为面部动作B示意图4为面部动作C示意图5为面部动作D示意图6为本专利技术视线跟踪人机交互方法的实施例二的流程图； 图7为本专利技术视线跟踪人机交互方法的实施例三的流程图； 图8为本专利技术视线跟踪人机交互方法的实施例四的流程图； 图9为本专利技术视线跟踪人机交互方法的实施例五的流程图； 图10为本专利技术视线跟踪人机交互方法的实施例六的流程图； 图11为本专利技术视线跟踪人机交互方法的实施例七的流程图;图12为本专利技术视线跟踪人机交互装置的实施例一的结构图 图13为本专利技术视线跟踪人机交互装置的实施例二的结构图 图14为本专利技术视线跟踪人机交互装置的实施例三的结构图 图15为本专利技术视线跟踪人机交互装置的实施例四的结构图 图16为本专利技术视线跟踪人机交互装置的实施例五的结构图 图17为本专利技术视线跟踪人机交互装置的实施例六的结构图 图18为本专利技术视线跟踪人机交互装置的实施例七的结构图； 图19为本专利技术视线跟踪人机交互装置的实施例八的结构图。具体实施例方式下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。图1为本专利技术视线跟踪人机交互方法的实施例一的流程图，包4舌步骤l、采集视线跟踪信息。步骤2、根据所述视线跟踪信息获取视线焦点位置。步骤3、采集面部图像信息。采集面部图像信息的方式可以为选择具有一 定分辨率的图像设备拍摄操作者的脸部图像。步骤4、根据所述面部图像信息识别出面部动作。如根据面部图像信息中 的某几个信息点，如眼睛、嘴巴、眉毛等五官的动作信息及其组合，识别出 面部动4乍。步骤5、根据所述视线焦点位置输出与所述面部动作对应的控制指令。视 线焦点位置对应着需要控制的目标项，如页面、文件、文件夹等。例如，视 线焦点位置对应于页面，面部动作对应的控制指令为滚动，则显示屏上就会 显示出类似于鼠标滚轴键滚动页面的操作。视线跟踪技术的最根本问题是要测量眼睛的注视方向，测量方法有许多 种，包括瞳孔-角膜反射向量法、眼电图法(E0G)、虹膜-巩膜边缘法、角 膜反射法、接触镜法等方法。这些方法中，最适合在人机交互场景应用的是瞳孔-角膜反射向量法，也是当前视线跟踪产品中运用较多的一种方法。该方法的基本原理如下当用一红外辅助光源照射人的脸部，在眼睛角膜表面 形成反射像，此反射像被称为普尔钦(Purkinje)斑点。人眼在盯视计算机屏 幕上的不同位置，眼球会发生相应的转动。假定实验者的头在不动的情况下， 由于红外发光二极管的位置是固定的，而眼球是一个近似的球体所以当眼球 转动时，可以认为普尔钦斑点的绝对位置是不变的；而虹膜与瞳孔的位置要 发生相应的变化，这样红外辅助光源在角膜上形成的普尔钦斑点和瞳孔与虹 膜的相对位置关系也将发生变化，这种相对位置关系的确定可以通过图像处 理来实现。然后由它们之间的相对位置关系，得出视线输入的方向。根据视 线输出的方向获取视线焦点位置。在Ekman的面部运动编码系统(Facail Action Coding System,简称FACS ) 中详细本文档来自技高网...

【技术保护点】
一种视线跟踪人机交互方法，其特征在于，包括：采集视线跟踪信息，并根据所述视线跟踪信息获取视线焦点位置；采集面部图像信息，并根据所述面部图像信息识别出面部动作；根据所述视线焦点位置输出与所述面部动作对应的控制指令。

【技术特征摘要】

【专利技术属性】
技术研发人员：左坤隆，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：94[中国|深圳]