基于视线跟踪的交互控制方法、装置及智能终端制造方法及图纸

技术编号:15690367 阅读:202 留言:0更新日期:2017-06-24 02:42
本发明专利技术公开了一种基于视线跟踪的交互控制方法、装置及智能终端,其中,基于视线跟踪的交互控制方法包括如下步骤:检测用户的视觉焦点信息,依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;获取用户的眼部图像,依据眼部图像确定交互指令类型;根据所述交互指令类型触发针对所述选定的任务窗口的交互控制事件。通过本发明专利技术的处理,能够提高基于视线跟踪的交互控制的效率,提升了用户体验。

Interactive control method, device and intelligent terminal based on line of sight tracking

The invention discloses a gaze tracking interactive control method, device and intelligent terminal, which based on eye gaze tracking interactive control method comprises the following steps: Based on visual focus information detection of users, according to the visual information and the focus of selected matching tasks window current user interface; user's eye image acquisition. On the basis of determining interactive instruction type eye image; according to the interactive interactive instruction type trigger for the selected task window control events. By the method of the invention, the efficiency of the interactive control based on gaze tracking can be improved, and the user experience can be improved.

【技术实现步骤摘要】
基于视线跟踪的交互控制方法、装置及智能终端
本专利技术涉及智能控制
,具体而言,本专利技术涉及一种基于视线跟踪的交互控制方法、装置及智能终端。
技术介绍
随着互联网技术的发展和智能终端日益普及,各类智能控制技术也应运而生,它们丰富着用户的生活,用户消耗在智能终端设备及其交互控制上的时间也越来越多。人机交互是研究用户、智能设备以及它们间互影响的技术,其研究目的在于利用所有可能的信息通道进行人机交流,提高交互的自然性和高效性。用户对智能终端的交互控制,从利用鼠标键盘、触敏显示屏逐渐发展到基于语音识别和手势识别等,越来越智能、便捷。基于视线跟踪的交互控制技术由于其直接性、自然性和双向性的特点,近年来备受重视,方兴未艾。在人与智能终端的交互控制中,视觉通常作为人接收信息的感觉通道。例如,当用户使用鼠标来选择屏幕上感兴趣的目标时,视线随着视觉焦点聚焦到该目标上,然后检查光标与该目标的空间距离,再反馈到大脑并经大脑指挥手去移动鼠标器,直至视觉判断光标已位于目标之上,做出按键动作。如果计算机能“自动”将光标置于用户所感兴趣的目标之上,就会省去上述交互过程中的大部分步骤,从而把手解放出来,大大降低认知负荷。然而,目前常见的基于视线跟踪的交互控制技术大都需要用户戴上外部设备,限制了其应用场景,且用户体验不佳;或者在对多个任务窗口进行识别时,选定误差较大,导致识别率低下等问题。
技术实现思路
本专利技术的目的在于针对以上存在的至少一方面不足,提供一种基于视线跟踪的交互控制方法、装置及智能终端,能够提高交互控制的效率,提升用户体验。为了实现上述目的,本专利技术采取如下若干方面的技术方案:第一方面,本专利技术实施例中提供了一种基于视线跟踪的交互控制方法,包括如下步骤:检测用户的视觉焦点信息,依据视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;获取用户的眼部图像,依据眼部图像确定交互指令类型;根据交互指令类型触发针对选定的任务窗口的交互控制事件。结合第一方面,本专利技术在第一方面的第一种实现方式中,视觉焦点信息包括视觉焦点的位置信息;依据视觉焦点信息选定当前用户界面中与其相匹配的任务窗口的过程具体包括:将视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的任务窗口。结合第一方面的第一种实现方式,本专利技术在第一方面的第二种实现方式中,视觉焦点信息还包括用于表征用户眼部与视觉焦点之间距离的距离信息;当距离信息表征的距离大于第一距离阈值且小于第二距离阈值时,将视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的任务窗口;否则不进行匹配。结合第一方面的第一种实现方式,本专利技术在第一方面的第三种实现方式中,匹配过程包括,根据视觉焦点的位置信息和任务窗口的位置信息确定视觉焦点的位置坐标是否包含于当前用户界面中的任务窗口的位置区域,当包含于任务窗口的位置区域时,确定任务窗口与视觉焦点信息相匹配。结合第一方面的第三种实现方式,本专利技术在第一方面的第四种实现方式中,当视觉焦点的位置坐标包含于当前用户界面中的任务窗口的位置区域的时长达到预设值时,确定任务窗口与视觉焦点信息相匹配;否则,确定任务窗口与视觉焦点信息不相匹配。结合第一方面的第三种实现方式,本专利技术在第一方面的第五种实现方式中,当视觉焦点的位置坐标包含于多个任务窗口的重合的位置区域时,确定最上层的任务窗口与视觉焦点信息相匹配。结合第一方面的第三种实现方式,本专利技术在第一方面的第六种实现方式中,选定任务窗口后,在任务窗口的位置区域显示预定的提示图案,提示图案用于引导用户确认其所选定的任务窗口。结合第一方面的第三种实现方式,本专利技术在第一方面的第七种实现方式中,当选定的任务窗口与其他任务窗口至少部分重合时,将选定的任务窗口置于最上层。结合第一方面,本专利技术在第一方面的第八种实现方式中,检测用户视觉焦点信息的过程具体包括:通过红外光源向用户眼部区域发射红外光;采集红外图像,红外图像包括用户眼部区域反射红外光形成的光斑;提取红外图像中光斑的位置特征数据并进行视线估计以获取用户视觉焦点的位置信息。结合第一方面,本专利技术在第一方面的第九种实现方式中,检测用户视觉焦点信息的过程具体包括:基于光学相干层析成像获取用于表征用户眼部形变的晶状体特征数据;将晶状体形变特征数据与预设的视觉焦点描述数据进行匹配,确定用户视觉焦点信息。结合第一方面,本专利技术在第一方面的第十种实现方式中,获取用户的眼部图像,依据眼部图像确定交互指令类型的过程具体包括:从摄像单元获取的预览图像中获取一帧或多帧图像;确定多帧图像中的眼部区域;基于眼部区域提取眼部特征数据,将其与预设的交互指令类型描述数据进行匹配,确定相对应的交互指令类型。结合第一方面,本专利技术在第一方面的第十一种实现方式中,交互控制事件导致当前用户界面中选定的任务窗口所属应用程序相关的或者系统设置的至少一项数据发生改变。结合第一方面的第十一种实现方式,本专利技术在第一方面的第十二种实现方式中,交互控制事件导致选定的任务窗口被替换或改变。结合第一方面的第十二种实现方式,本专利技术在第一方面的第十三种实现方式中,根据交互指令类型触发针对选定的任务窗口的交互控制事件的过程具体包括:响应于第一交互指令类型,基于持续检测得到的视觉焦点信息使选定的任务窗口跟随视觉焦点的移动相应移动。结合第一方面的第十二或十三种实现方式,本专利技术在第一方面的第十四种实现方式中,其特征在于,根据交互指令类型触发针对选定的任务窗口的交互控制事件的过程具体包括以下至少一种:响应于第二交互指令类型,根据相应的预定比例放大选定的任务窗口;响应于第三交互指令类型,根据相应的预定比例缩小选定的任务窗口;响应于四交互指令类型,根据预定的优先级信息将选定的任务窗口的上一个任务窗口置于最上层,并选定上一个任务窗口;响应于第五交互指令类型,根据预定的优先级信息将选定的任务窗口的下一个任务窗口置于最上层,并选定下一个任务窗口。第二方面,本专利技术的实施例中提供了一种基于视线跟踪的交互控制装置,包括:检测选定单元,被配置为检测用户的视觉焦点信息,依据视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;指令获取单元,被配置为获取用户的眼部图像,依据眼部图像确定交互指令类型;交互控制单元,被配置为根据交互指令类型触发针对选定的任务窗口的交互控制事件。结合第二方面,本专利技术在第二方面的第一种实现方式中,视觉焦点信息包括视觉焦点的位置信息;检测选定单元依据视觉焦点信息选定当前用户界面中与其相匹配的任务窗口的过程具体包括:将视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的任务窗口。结合第二方面的第一种实现方式,本专利技术在第二方面的第二种实现方式中视觉焦点信息还包括用于表征用户眼部与视觉焦点之间距离的距离信息;检测选定单元还被配置为:当距离信息表征的距离大于第一距离阈值且小于第二距离阈值时,将视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的任务窗口;否则不进行匹配。结合第二方面的第一种实现方式,本专利技术在第二方面的第三种实现方式中检测选定单元的匹配过程包括,根据视觉焦点的位置信息和任务窗口的位置信息本文档来自技高网...
基于视线跟踪的交互控制方法、装置及智能终端

【技术保护点】
一种基于视线跟踪的交互控制方法,其特征在于,包括如下步骤:检测用户的视觉焦点信息,依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;获取用户的眼部图像,依据眼部图像确定交互指令类型;根据所述交互指令类型触发针对所述选定的任务窗口的交互控制事件。

【技术特征摘要】
1.一种基于视线跟踪的交互控制方法,其特征在于,包括如下步骤:检测用户的视觉焦点信息,依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;获取用户的眼部图像,依据眼部图像确定交互指令类型;根据所述交互指令类型触发针对所述选定的任务窗口的交互控制事件。2.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述视觉焦点信息包括所述视觉焦点的位置信息;所述依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口的过程具体包括:将所述视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的所述任务窗口。3.根据权利要求2所述的基于视线跟踪的交互控制方法,其特征在于,视觉焦点信息还包括用于表征用户眼部与所述视觉焦点之间距离的距离信息;当所述距离信息表征的距离大于第一距离阈值且小于第二距离阈值时,将所述视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的所述任务窗口;否则不进行所述匹配。4.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述检测用户视觉焦点信息的过程具体包括:通过红外光源向用户眼部区域发射红外光;采集红外图像,所述红外图像包括用户眼部区域反射红外光形成的光斑;提取所述红外图像中光斑的位置特征数据并进行视线估计以获取用户视觉焦点的位置信息。5.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述检测用户视觉焦点信息的过程具体包括:基于光学相干层析成像获取用于表征用户眼部形变的晶状体特征数据;将所述晶状体形变特征数据与预设的视觉焦点描述数据进行匹配,确定用户视觉焦点信息。6.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述获取用户的眼部图像,依据眼部图像确定交互指令类型的过程具体...

【专利技术属性】
技术研发人员:黄薇
申请(专利权)人:北京奇虎科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1