The invention discloses a gaze tracking interactive control method, device and intelligent terminal, which based on eye gaze tracking interactive control method comprises the following steps: Based on visual focus information detection of users, according to the visual information and the focus of selected matching tasks window current user interface; user's eye image acquisition. On the basis of determining interactive instruction type eye image; according to the interactive interactive instruction type trigger for the selected task window control events. By the method of the invention, the efficiency of the interactive control based on gaze tracking can be improved, and the user experience can be improved.
【技术实现步骤摘要】
基于视线跟踪的交互控制方法、装置及智能终端
本专利技术涉及智能控制
,具体而言,本专利技术涉及一种基于视线跟踪的交互控制方法、装置及智能终端。
技术介绍
随着互联网技术的发展和智能终端日益普及,各类智能控制技术也应运而生,它们丰富着用户的生活,用户消耗在智能终端设备及其交互控制上的时间也越来越多。人机交互是研究用户、智能设备以及它们间互影响的技术,其研究目的在于利用所有可能的信息通道进行人机交流,提高交互的自然性和高效性。用户对智能终端的交互控制,从利用鼠标键盘、触敏显示屏逐渐发展到基于语音识别和手势识别等,越来越智能、便捷。基于视线跟踪的交互控制技术由于其直接性、自然性和双向性的特点,近年来备受重视,方兴未艾。在人与智能终端的交互控制中,视觉通常作为人接收信息的感觉通道。例如,当用户使用鼠标来选择屏幕上感兴趣的目标时,视线随着视觉焦点聚焦到该目标上,然后检查光标与该目标的空间距离,再反馈到大脑并经大脑指挥手去移动鼠标器,直至视觉判断光标已位于目标之上,做出按键动作。如果计算机能“自动”将光标置于用户所感兴趣的目标之上,就会省去上述交互过程中的大部分步骤,从而把手解放出来,大大降低认知负荷。然而,目前常见的基于视线跟踪的交互控制技术大都需要用户戴上外部设备,限制了其应用场景,且用户体验不佳;或者在对多个任务窗口进行识别时,选定误差较大,导致识别率低下等问题。
技术实现思路
本专利技术的目的在于针对以上存在的至少一方面不足,提供一种基于视线跟踪的交互控制方法、装置及智能终端,能够提高交互控制的效率,提升用户体验。为了实现上述目的,本专利技术采取如下若干方面 ...
【技术保护点】
一种基于视线跟踪的交互控制方法,其特征在于,包括如下步骤:检测用户的视觉焦点信息,依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;获取用户的眼部图像,依据眼部图像确定交互指令类型;根据所述交互指令类型触发针对所述选定的任务窗口的交互控制事件。
【技术特征摘要】
1.一种基于视线跟踪的交互控制方法,其特征在于,包括如下步骤:检测用户的视觉焦点信息,依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口;获取用户的眼部图像,依据眼部图像确定交互指令类型;根据所述交互指令类型触发针对所述选定的任务窗口的交互控制事件。2.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述视觉焦点信息包括所述视觉焦点的位置信息;所述依据所述视觉焦点信息选定当前用户界面中与其相匹配的任务窗口的过程具体包括:将所述视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的所述任务窗口。3.根据权利要求2所述的基于视线跟踪的交互控制方法,其特征在于,视觉焦点信息还包括用于表征用户眼部与所述视觉焦点之间距离的距离信息;当所述距离信息表征的距离大于第一距离阈值且小于第二距离阈值时,将所述视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配,选定与视觉焦点信息相匹配的所述任务窗口;否则不进行所述匹配。4.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述检测用户视觉焦点信息的过程具体包括:通过红外光源向用户眼部区域发射红外光;采集红外图像,所述红外图像包括用户眼部区域反射红外光形成的光斑;提取所述红外图像中光斑的位置特征数据并进行视线估计以获取用户视觉焦点的位置信息。5.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述检测用户视觉焦点信息的过程具体包括:基于光学相干层析成像获取用于表征用户眼部形变的晶状体特征数据;将所述晶状体形变特征数据与预设的视觉焦点描述数据进行匹配,确定用户视觉焦点信息。6.根据权利要求1所述的基于视线跟踪的交互控制方法,其特征在于,所述获取用户的眼部图像,依据眼部图像确定交互指令类型的过程具体...
【专利技术属性】
技术研发人员:黄薇,
申请(专利权)人:北京奇虎科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。