一种近眼显示设备的眼动追踪交互的方法及系统技术方案

本发明专利技术属于近眼显示设备应用技术领域，公开了一种近眼显示设备的眼动追踪交互的方法及系统，利用近眼显示设备上的眼动追踪模组进行视线追踪，对获取的眼动信息进行计算处理后映射到近眼显示设备光学成像屏幕按钮坐标位置；成像屏幕按钮点击，交互成功后执行所述交互功能程序。本发明专利技术操作交互体验感更好：对比于现有眼动交互的眨眼选择，本发明专利技术大大降低了用户在通过眼球进行的交互控制过程中的注意力，同时降低了主观意识上的认知负荷，不会对单眼眨眼的肌肉控制不协调而带来的不适；对比于手势识别交互控制，本发明专利技术的优势在于隐蔽性高而不失操作便捷，适用于对隐私有要求的应用场景。

【技术实现步骤摘要】
一种近眼显示设备的眼动追踪交互的方法及系统
本专利技术属于近眼显示设备应用技术和显示器交互
，尤其涉及一种近眼显示设备的眼动追踪交互的方法及系统。
技术介绍
目前，业内常用的现有技术是这样的：在近眼显示设备应用过程中，眼动追踪是其使用过程中重要的交互方式之一。当然眼动追踪交互方式具有移动选择快、隐私性强、消耗体力少、方便快捷等无可取代的优势。当通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、往左右看等)等一系列的眼睛行为与近眼显示设备或者显示器中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出等，包括但不限于上述交互行为)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的一定主观精力，并且影响视线。综上所述，现有技术存在的问题是：现有技术中，近眼显示设备的操作交互体验感性差。不能只高频率点击行为的操作；当通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、双面往中心看等)等一系列的眼睛行为与近眼显示设备中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。对比纯眼动交互(注视目标一定时长、双目眨眼、单目眨眼、)体验不好以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的主观精力。解决上述技术问题的意义：本专利技术使近眼显示设备的操作交互体验感更好：对比于传统眼动交互的眨眼选择，本专利技术大大降低了用户主观意识的上的认知负荷，在选择的过程中不会眼前一黑，操作时不会因为单眼眨眼的肌肉控制不协调而带来的不适。交互效率更高：本专利技术解决了现有眼动交互过程中确认点击效率低的问题，根据本专利技术所述交互方案，点击确认行为是由外部硬件设备完成，延续了人们使用鼠标的操作习惯，提升了人机交互效率。有私密性：对比于手势识别交互方式，本专利技术的优势在于隐蔽性高而不失操作便捷，适用于对隐私由要求的应用场景。方案系统结构简单：近眼显示设备+硬件外设，通过无线(蓝牙)进行通信连接，硬件外设接收到人的点击行为后将点击指令传输给近眼显示设备，这时人对所注视区域的交互界面进行点击。整体交互方法功耗更低、交互体验更好：对比手势识别的交互方案，本方案功耗低，使得近眼显示设备整体的产品体验更好本专利技术意义非凡，弥补了纯眼动交互的缺陷。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种近眼显示设备的眼动追踪交互的方法及系统。本专利技术是这样实现的，一种近眼显示设备的眼动追踪交互的方法包括：近眼显示设备的光学成像屏幕按钮坐标位置接收点击行为蓝牙信号；利用近眼显示设备进行眼动追踪，对获取的眼动信息进行计算处理后映射到光学成像屏幕按钮坐标位置；再进行光学成像屏幕按钮点击，执行交互程序。进一步，所述近眼显示设备的眼动追踪交互的方法具体包括：步骤一：近眼显示设备的计算机系统通过眼动追踪模块获取人眼球在近眼显示设备的光学成像屏幕上视线交点的映射坐标；近眼显示设备上集成的眼动追踪模块获取人眼球图像，识别人眼图像并计算眼球运动向量，获取眼动运动坐标；其中眼球运动向量获取中，采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统计算的电子信号，并通过算法计算获得人注视点在近眼显示设备的光学成像屏幕上的映射关系；根据映射关系，在近眼显示设备的光学成像显示器上呈现人眼注视点的视觉反馈；步骤二：获取硬件外部设备的操作指令：近眼显示设备内设无线电磁波通信模块，近眼显示设备通过无线电磁波通信模块接收来自硬件外部设备的点击确认无线信号指令，指令以无线电磁波信号的形式由硬件外部设备传输给近眼显示设备；步骤三：完成对近眼显示设备光学成像屏幕上的操作界面上的按钮点击，执行交互程序。进一步，所述硬件外部设备获取点击行为信号后，通过集成的处理器进行信号处理，将处理后的信号以蓝牙匹配方式发送到近眼显示设备的蓝牙模块。电磁波信号包括蓝牙信号、wifi信号、红外信号；映射坐标的形状任意替换。近眼显示设备的光学成像显示器上会呈现人眼注视点的视觉反馈(形如在电脑屏幕上的鼠标)；硬件外部设备具有点击功能，眼动的光标移动和硬件外部设备的点击形成类似鼠标的交互功能。本专利技术的另一目的在于提供一种实施所述近眼显示设备的眼动追踪交互的方法的近眼显示设备的眼动追踪交互系统，所述近眼显示设备的眼动追踪交互系统包括：近眼显示设备和硬件外部设备；近眼显示设备，通过眼动追踪设备用于进行交互界面的选择；硬件外部设备，与近眼显示设备蓝牙连接，用于确认点击行为。进一步，所述硬件外部设备用于穿戴在用户手上，与用户的手腕、手掌、手指、手体工程学的任何形状相同。进一步，近眼显示设备为智能眼镜，智能眼镜包括：获取点击行为信号的硬件外设按键；接收点击行为信号，进行信号处理的处理器；将处理后的信号以蓝牙匹配方式发送到蓝牙模块的蓝牙发射模块。蓝牙最优，但是不局限于蓝牙传输，包括其他无线电传输形式。进一步，所述近眼显示设备包括：进行眼球追踪的眼动追踪模块；对近眼显示设备操作界面或者应用程序界面的信息进行呈现的光学成像屏幕；对获取的眼动追踪信息进行计算处理的计算处理模块；用于接收硬件外部设备发送的蓝牙信号的蓝牙模块；集成在蓝牙模块上，用于的接收和发送蓝牙信号的信号接收器。硬件外部设备获取点击行为信号后，通过集成的处理器进行信号处理，将处理后的信号以蓝牙匹配方式发送到近眼显示设备的蓝牙模块。进一步，所述光学成像屏幕用于集成在头显设备上；硬件外部设备为具有显示成像功能的智能电视机、投影仪、LED显示大屏、平板。本专利技术的另一目的在于提供一种实现所述近眼显示设备的眼动追踪交互的方法的计算机程序。本专利技术的另一目的在于提供一种实现所述近眼显示设备的眼动追踪交互的方法的信息数据处理终端。本专利技术的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的近眼显示设备的眼动追踪交互的方法。综上所述，本专利技术的优点及积极效果为：本专利技术近眼显示设备的操作交互体验感更好：对比于现有眼动交互的眨眼选择，本专利技术大大降低了用户在通过眼球进行的交互控制过程中的注意力，同时降低了主观意识上的认知负荷，不会对单眼眨眼的肌肉控制不协调而带来的不适，在选择的过程中不会眼前一黑，操作时不会因为单眼眨眼的肌肉控制不协调而带来的不适。交互效率更高：本专利技术解决了现有眼动交互过程中确认点击效率低的问题，根据本专利技术所述交互方案，点击确认行为是由外部硬件设备完成，延续了人们使用鼠标的操作习惯，提升了人机交互效率。私密性：对比于手势识别交互，本专利技术的优势在于隐蔽性高而不是操作便捷，适用于对隐私有要求的应用场景。方案系统结构简单：近眼显示设备+硬件外设，通过无线(蓝牙)进行通信连接，硬件外设接收到人的点击行为后将点击指令传输给近眼显示设备，这时人对所注视区域的交互界面进行点击。现有技术中从交互技术角度上有：近本文档来自技高网...

【技术保护点】
1.一种近眼显示设备的眼动追踪交互的方法，其特征在于，所述近眼显示设备的眼动追踪交互的方法包括：利用近眼显示设备已有眼动追踪模块进行眼球追踪，对获取的眼动信息进行计算处理后映射到头戴显示器光学成像屏幕按钮坐标位置；近眼显示设备的光学成像屏幕按钮坐标位置接收外设硬件通过蓝牙传输的点击指令；再进行光学成像屏幕按钮点击操作，执行交互程序。

【技术特征摘要】
1.一种近眼显示设备的眼动追踪交互的方法，其特征在于，所述近眼显示设备的眼动追踪交互的方法包括：利用近眼显示设备已有眼动追踪模块进行眼球追踪，对获取的眼动信息进行计算处理后映射到头戴显示器光学成像屏幕按钮坐标位置；近眼显示设备的光学成像屏幕按钮坐标位置接收外设硬件通过蓝牙传输的点击指令；再进行光学成像屏幕按钮点击操作，执行交互程序。2.如权利要求1所述的近眼显示设备的眼动追踪交互的方法，其特征在于，近眼显示设备的眼动追踪交互的方法具体包括：步骤一：近眼显示设备的计算机系统通过眼动追踪模块获取人眼球在近眼显示设备的光学成像屏幕上视线交点的映射坐标；近眼显示设备上集成的眼动追踪模块获取人眼球图像，识别人眼图像并计算眼球运动向量，获取眼动运动坐标；其中眼球运动向量获取中，采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统计算的电子信号，并通过算法计算获得人注视点在近眼显示设备的光学成像屏幕上的映射关系；根据映射关系，在近眼显示设备的光学成像显示器上呈现人眼注视点的视觉反馈；步骤二：获取硬件外部设备的操作指令：近眼显示设备内设无线电磁波通信模块，近眼显示设备通过无线电磁波通信模块接收来自硬件外部设备的点击确认无线信号指令，指令以无线电磁波信号的形式由硬件外部设备传输给近眼显示设备；步骤三：完成对近眼显示设备光学成像屏幕上的操作界面上的按钮点击，执行交互程序。3.如权利要求2所述的近眼显示设备的眼动追踪交互的方法，其特征在于，硬件外部设备获取点击行为信号后，通过集成的处理器进行信号处理，将处理后的信号以蓝牙匹配方式发送到近眼显示设备的蓝牙模块；电磁波信号包括蓝牙信号、wifi信号、红外信号；映射坐标的形状任意替换。4.一种实施权利...

【专利技术属性】
技术研发人员：陈涛，蔡超，尹峥，
申请(专利权)人：武汉市天蝎科技有限公司，
类型：发明
国别省市：湖北,42