一种基于眼动追踪技术的眼动交互方法、系统及设备技术方案

本发明专利技术属于眼动追踪技术领域，公开了一种基于眼动追踪技术的眼动交互方法、系统及设备，采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，进而吸附或突出显示目标物体。本方法还采用机器学习算法对用户眼睛运动行为数据进行训练，对数据进行过滤、处理和分析，训练出眼动行为规律，获得用户主观意识眼动交互意图模型。通过上述方法以增加眼动交互过程中的稳定性、准确性，提高眼动交互的用户体验度。

【技术实现步骤摘要】
一种基于眼动追踪技术的眼动交互方法、系统及设备
本专利技术属于眼动追踪
，尤其涉及一种基于眼动追踪技术的眼动交互方法、系统及设备。该系统利用人机界面(HMI)，可穿戴计算，人体生理学，图像处理和深度学习等领域的技术
技术介绍
所述近眼显示设备(HMD)或车载显示器还包括电子显示器和光学组件。HMD可以是例如混合现实(MixedReality)—MR眼镜、增强现实(AugmentedReality)—AR眼镜，例如Microsoft，Vuzix和DigiLens制造的显示器；虚拟现实(VirtualReality)—VR眼镜，例如Sony，Samsung，Oculus，CarlZeiss制造的显示器；扩展现实(ExtendedReality)—XR眼镜或其某种组合；车载显示器可以包括但不限于平行显示器(HUD)或具有增强现实系统的平行显示器(AR-HUD)，驾驶员信息控制台(DIC)，基于投影的显示器，信息娱乐单元或主机单元(HU)的显示器。和类似的设备。眼动追踪可用于查看此类显示并指定位置信息。但是，在正常的人类活动中，眼睛也被广泛使用。目前，近眼显示设备采用的交互方式中，通过眼动追踪的交互方式以其隐蔽性高、交互方便快捷、同时兼具虹膜识别身份验证等优点，相较于其他的交互方式更具发展潜力，但是如今市面上的近眼显示设备中的眼动追踪交互仍然存在一些亟待解决的问题。目前的眼动追踪交互是基于眼动追踪装置捕获眼睛注视点坐标，将坐标位置映射在交互界面上，以光标形式呈现，用户通过眼睛视点移动控制光标选择目标，并通过眨眼动作或者其他辅助点击设备进行点击或进入下一步。所述光标特指映射眼睛注视点的光标/标记，又称为眼动光标或注视光标(注视点光标)，为了方便技术方法的描述，下文可直接简称为光标。然而在实际交互体验中，由于大多数人的眼睛存在生理性眼颤，导致眼动追踪装置所计算的注视点信号可能会出现节律不规则的抖动，并且显示出偏移，这就无法可靠地通过眼动注视点选中较小且紧密定位的目标；某些时候希望视野中的画面没有任何遮挡，或者在随便看看的过程中，不希望每次视线的转移都触发某些计算机指令，因此始终跟随用户眼睛视点的光标可能会让一些用户产生不好的体验；随之可能会导致的，用户会习惯性地注视屏幕上的“注视点光标”而产生轻微的移动，然后“注视点光标”根据注视点位移产生，这会造成用户对“注视点光标”的追视，无止境地移动“注视光标”。另一方面，现有的眼动交互方式操作效率不高，采用单眼眨眼或双眼眨眼动作进行点击操作会容易造成眼睛的疲倦，并且眨眼的点击的过程中由于眼球图像信号的丢失导致注视光标的偏移和错位，即可以理解为在眼动交互过程中通过眨眼行为进行点击确认的同时注视光标偏移原先对准的位置，这样使得用户无法流畅的与功能按钮交互。通过上述分析，现有技术存在的问题及缺陷为：(1)如今基于近眼显示设备的交互方式较落后、体验感不佳，例如按键式移动控制器具有携带不便、易丢失、易损坏等缺点；手势识别与语音识别的交互方式不便在公众场合进行，且具有暴露个人隐私的风险；而传统的眼动交互方式依靠用户的眨眼动作进行交互以及不精确的选择方式带来了非常不好的用户体验；(2)大约有50％～70％的人会出现双眼节律不规则的冲动性眼球震颤，产生的原因可能是由于眼肌牵伸反射所致。这样的生理性眼颤会导致眼动坐标的抖动，在眼动交互中不利于准确选中目标，影响用户体验；(3)现有的MR眼镜的交互方法是基于光学显示器呈现的虚拟全息对象进行交互，几乎不考虑对于真实物理世界中的事物进行交互。例如可通过图像识别技术/深度相机对真实物理世界中的物体进行识别，并建立可交互虚拟/全息UI；(4)现有技术中，鼠标轨迹球有吸附的技术和方法，但是同方法不适用于眼动吸附，眼动交互的同时除了交互需求，还有认知需求、查看需求，那么再没有合理的机制辨别这些眼睛需求时，胡乱吸附眼动光标会给用户造成困扰。用户在使用MR眼镜进行眼动交互时，眼动光标始终跟随用户注视点或者任何时刻触碰交互目标都会产生交互反馈，这是一种“米达斯接触”问题，用户会产生不佳的交互体验，因为其可能希望能随便看看什么而不必非“意味着”什么，更不希望每次转移视线都可能启动一条计算机命令；(5)用户在驾驶车辆时，需要双手握持在方向盘上，眼睛注视前方以保证驾驶安全，任何需要用户双手离开方向盘或眼睛离开前方视野都是不安全的行为，因此通过眼动追踪控制车载显示器交互对安全驾驶显得尤为重要；(6)当存在两个或多个相邻的微小的交互按钮时，眼动光标的几何中心在其间颤动时，会导致选择反复，光标指点(选择目标的过程)的准确度降低。(7)现有的眼动交互方式操作效率不高，采用单眼眨眼或双眼眨眼动作进行点击操作会容易造成眼睛的疲倦，并且眨眼的点击的过程中由于眼球图像信号的丢失导致注视光标的偏移和错位，即可以理解为在眼动交互过程中通过眨眼行为进行点击确认的同时注视光标偏移原先对准的位置，这样使得用户无法流畅的与功能按钮交互。解决以上问题及缺陷的难度为：(1)眼睛不停地运动，获取有关日常生活几乎各个方面的信息。特别地，在观看显示器或视网膜投影设备的过程中必须使用眼睛。为了辨别意图，必须将用于查看和探索显示器的眼动测量与故意的眼动信号区分开。(2)大多数眼睛的自愿运动可分为1)平稳追视，2)扫视，其中扫视可以是自愿的也可以是非自愿的。大脑的不同区域参与每种运动的控制。另外，每种类型的眼睛运动都具有不变的局限性。例如，平稳追视必须涉及跟踪不超过大约30°/秒的角速度的对象或边缘。平稳追视超过此角速度的目标对象会导致多次短暂的扫视运动，以围绕视野“追逐”该对象。扫视可以以高达900°/秒的角速度产生；但一旦启动，即使目标已经移动或消失，也无法进行调整以更正目标位置。与平稳追视眼球运动相反，扫视在视野范围内无察觉。在眼睛信号的检测期间，从算法上区分(即过滤器)平稳追视，眼跳和其他形式的眼睛运动特别重要。(2)为了解决眼颤造成的交互问题，本专利技术通过吸附光标的方法来解决眼颤问题，但是需要在什么机制条件下对眼动光标进行吸附呢？要知道用户的眼睛可能只是某个目标按钮随便看看，并不一定存在交互点击需求。在眼睛行为方面“随便看看”与“交互点击”的差别是十分微弱的，因此本专利技术主要提出了两种实施例“基于设置感应区域的被动吸附视点光标的眼动交互方法”和“基于AI眼动交互意图预测模型的主动光标吸附交互方法”。(3)基于AI眼动交互意图预测模型的主动光标吸附交互方法中,如何识别“扫视状态”？选用什么样的眼动数据可以有效的训练出眼动交互意图预测模型？如何识别出潜在的交互目标(UI按钮)？(4)眼动交互意图模型如何适应每个人的眼动习惯？例如，有经验的人(例如经常使用者)比没有经验的人(新手用户)的眼动轨迹更加精简、注视点数量更少、注视平均时间更少、眼跳落点位置距离交互目标更短。再比如不同的用户之间，视觉搜索的习惯和认知带宽不同，例如人看书时的认知习惯，有的人看书慢，有的人一目十行，有的人习惯反复看已读的文字(回视)，有的人看书容易看漏本文档来自技高网...

【技术保护点】
1.一种基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；/n所述设置感应区域被动吸附注视光标对目标进行选择的方法通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，或/和同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，若存在则动吸附于该目标上，及通过检测用户的眼球状态和感应区的接触情况，光标被动吸附在交互目标上；/n所述眼动交互意图预测主动吸附注视光标对目标进行选择的方法采用人工智能的机器学习算法对用户眼睛运动行为数据进行训练，对数据进行过滤、处理和分析，训练出眼动行为规律，获得用户主观意识眼动交互意图模型，基于所述眼动交互意图模型对用户正在进行的眼动行为进行预测下一步的眼动着陆点，并系统主动选中着陆点附近吸附目标。/n

【技术特征摘要】
1.一种基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法采用设置感应区域被动吸附注视光标或眼动交互意图预测主动吸附注视光标对目标进行选择；
所述设置感应区域被动吸附注视光标对目标进行选择的方法通过为不同的目标设置相应感应区域即有效点击区域，当光标接触或覆盖某一目标的感应区域时，或/和同时检测是否存在眼颤、扫视距离是否超过阈值等眼动行为，若存在则动吸附于该目标上，及通过检测用户的眼球状态和感应区的接触情况，光标被动吸附在交互目标上；
所述眼动交互意图预测主动吸附注视光标对目标进行选择的方法采用人工智能的机器学习算法对用户眼睛运动行为数据进行训练，对数据进行过滤、处理和分析，训练出眼动行为规律，获得用户主观意识眼动交互意图模型，基于所述眼动交互意图模型对用户正在进行的眼动行为进行预测下一步的眼动着陆点，并系统主动选中着陆点附近吸附目标。


2.如权利要求1所述基于眼动追踪技术的眼动交互方法，其特征在于，所述设置感应区域被动吸附注视光标对目标进行选择的方法包括：
步骤一、显示系统呈现虚拟交互目标；
步骤二、设备的眼动追踪模组捕获用户注视点位置坐标，注视点以光标的形式映射在显示设备屏幕或/和三维空间中；
步骤三、设备客户端实时检测注视点光标位置与虚拟交互目标的感应区之间的是否碰撞；
步骤四、在与感应区发生碰撞时，设备客户端检测用户发生注视时间超过一定阈值、扫视距离在预设阈值范围内、在感应区域附近反复眼颤、形成注视点云、特殊的视线运动轨迹眼睛行为数据，或/和用户情绪；
步骤五、根据第四步的检测结果，将交互光标被动吸附于虚拟目标并选中，和/或呈现突显效果；
步骤六、当眼动光标如上述方法选中目标按钮后，MR眼镜的反馈装置向用户发出反馈信息，并通过其他交互模组或者直接检测眼睛的动作进行点击操作。


3.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤二中，所述眼动追踪模组捕获用户眼睛注视点坐标和视线运动轨迹及相关眼球行为数据的眼动追踪硬件技术方法包括：
(1)利用多个不可见红外光源、微型摄像头、反光热镜、光波导镜片及其他硬件通过接收眼睛反射光线，计算瞳孔中心与角膜中心的连线进行眼动追踪；
(2)利用不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片捕获眼睛图像或者计算视网膜的影像或者视网膜反射光的强度进行眼动追踪；
(3)通过发射结构光对眼睛建模，计算眼睛模型的视觉中心进行眼动追踪；
(4)利用不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片接收眼睛角膜的反射光线，计算角膜中心反射的强度最大的光来进行眼动追踪。


4.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤二中，所述眼动数据为由眼动追踪模组采集的用户眼睛的运动数据转化成的实时变化的数字信号；所述眼动数据包括眼睛注视点的x，y，z坐标、视觉深度、眼跳频率、眼跳距离、运动加速度、眼颤、注视时长、眨眼、瞳孔直径变化等，并且可以将眼动数据分析成热力图、视觉轨迹图等分析图表，所述滤波算法包括限幅滤波法即程序预判滤波法、中位值滤波法、算术平均滤波法、递推平均滤波法即滑动平均滤波法、中位值平均滤波法即防脉冲干扰平均滤波法、限幅平均滤波法、一阶滞后滤波法、加权递推平均滤波法、消抖滤波法、限幅消抖滤波法、IR数字滤波器。


5.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤二中，所述注视点以光标的形式映射显示设备屏幕或物理/虚拟三维空间中包括：
将用户眼睛视线坐标映射于MR眼镜的混合现实空间中或/和光学显示器坐标系中，以光标的形式呈现；
将稳定的实时动态变化的眼动数据输入至一种动态光标的几何中心上，并实时映射于设备的光学成像屏幕上，得到运动轨迹稳定、平滑的动态眼动光标；
所述动态光标为在光学成像屏幕上呈现的肉眼可见的图形；或不可见的隐形光标；或者为在交互时可见，不交互时不可见的图形；
所述眼动光标可具有圆形、矩形、圆角矩形、三角形、圆角三角形、以及其他多边形/圆角多边形形状；所述眼动光标的大小根据用户的使用习惯或者交互界面的设计和布局确定。


6.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述虚拟交互目标包括MR眼镜的光学成像屏幕上呈现的可点击的交互目标象，及所有可进行点击交互的按钮、UI、图片、文字菜单；或通过图像识别模组识别实际的物体。


7.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述设备客户端实时检测注视点光标位置与虚拟目标的感应区之间的是否碰撞的方法具体是：客户端软件或内部系统软件在运行时加载检测眼动光标与交互目标及其感应区之间接触情况的可执行代码程序组件；另一种实施例中网页浏览器可能需要安装某种插件用于光标与交互目标的接触检测，所述代码程序组件可由客户端/系统开发时即配置完成，或者由是一种API可调用程序接口实现。


8.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述眼动光标与各个交互目标的感应区之间的接触情况的实时检测方法包括：通过软件程序实现眼动光标与任意交互目标感应区的接触反馈，反馈信息包括光标与目标感应区接触的起止时间、光标与各个目标感应区重叠部分的面积、光标到交互目标的几何中心距离等，通过上述反馈信息检测接触情况。


9.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤三中，所述交互目标设置感应区的设置方法具体为：自动设置感应区域插件首先在编程界面中检测交互指令的代码和/或定义UI图层的代码，确定UI界面的交互目标，再经开发工程师确认后，根据UI图层的几何中心坐标、大小、形状、层级自动添加眼动感应区域；客户端软件或内部系统软件在启动/运行时加载为所有可点击的交互目标设置感应区的可执行代码程序组件，网页浏览器可能需要安装某种插件用于交互目标的感应区设置；
所述感应区是指交互目标的有效点击区域，由所述脚本/插件按目标大小和形状的一定比例或者根据目标的分布按泰森多边形算法进行设置，感应区一般设置不可见，也包括可见的设置；所述一定比例根据交互目标的大小取不小于1的任何合适的比例。


10.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤四中，所述接触/碰撞情况包括：在与感应区发生碰撞时，设备客户端检测用户发生注视时间超过一定阈值、反复眼颤、形成注视点云、扫视距离、特殊的视线运动轨迹等眼睛行为数据中；所述眼睛行为数据是指眼动追踪模组采集的用户眼睛运动过程中信息，将眼睛的运动信息转化为数字信号，并且是实时变化的，其眼动追踪模组被配置为检测的眼睛行为数据包括但不限于：眼睛注视点的x，y，z坐标、视觉深度、眼跳频率、眼跳距离、运动加速度、眼颤、注视时长、眨眼、瞳孔直径变化，并且将眼动数据分析成热力图、视觉轨迹图分析图表。


11.如权利要求10所述基于眼动追踪技术的眼动交互方法，其特征在于，所述注视点云具体为：注视点云为多个检测到的注视位置形成的云状注视范围，注视点云作为单个光标或作为动态光标出现；随着检测到的多个注视位置的变化而变化的形状；注视点数量的是任意数量和任意采样率来收集检测到的注视位置的序列，任意持续时间。


12.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤五中，所述眼动光标被动吸附于交互目标并选中是指在程序处理层面选中该交互目标作为下一步的计算目标；当步骤四判断用户对该交互按钮具有交互意图时，则将眼动光标脱离原有注视点映射关系，主动吸附在交互目标上，对交互按钮进行选择，其中交互目标可以是三维模型、平面图像等，眼动光标将吸附到几何中心上；
系统根据此时发生眼颤的注视位置为中心启动突显效果，突显效果具体为出现一个鱼眼球形/六边形的窗口，窗口内所显示内容为当前注视位置放大一定比例之后的影像；突显窗口不会随着注视点位置的移动而改变位置，注视交互的光标可以在突显窗口更精确选择放大后交互目标；
当眼动追踪装置检测眼睛的注视点离开突显窗口，MR眼镜的眼动追踪装置通过检测眼睛离开感应区后的第一眼跳落点位置与突显窗口中心点距离超过一定阈值，则可关闭突显窗口，或停止吸附状态时。


13.如权利要求2所述基于眼动追踪技术的眼动交互方法，其特征在于，步骤六中，所述通过其他交互模组或者直接检测眼睛的动作进行点击操作包括：
1)通过移动控制器进行点击操作；
所述移动控制器包括：多自由度的按键式控制器、指尖控制器、戒指控制器、手环控制器；
2)通过手势识别模组进行点击操作；
所述手势识别模组包括：手势识别摄像头或结构光摄像机；
所述手势识别摄像头或结构光摄像机捕获用户手部的动作图像，通过计算机比对识别特定的手势进行交互；
3)通过语音识别模组进行点击操作；
所述语音识别模组包括：一种有声语音识别模组包括录音装置、声音过滤器、语音识别装置或者一种无声语言识别模组包括肌肉电接收和识别装置。


14.如权利要求2所述的基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法为真实物理世界中的物体建立可点击的交互目标的方法包括：
通过MR眼镜前端的图像识别摄像头获取用户前方的真实环境画面，将视频画面/图像画面信息转化为电信息；
进行图像信息预处理；
进行特征抽取和选择，输入图像卷积神经网络模型训练，得到图像识别模型，图像识别模型识别真实物理世界中的物体后，通过设备的光学成像屏幕为这些物体边缘叠加虚拟全息交互边框；
用户通过眼动追踪控制眼动光标与该物体进行交互。


15.如权利要求1所述的基于眼动追踪技术的眼动交互方法，其特征在于，所述基于眼动追踪技术的眼动交互方法基于AI眼动交互意图预测模型的主动选择交互方法包括以下步骤：
第一步，显示系统呈现...

【专利技术属性】
技术研发人员：陈涛，
申请(专利权)人：陈涛，
类型：发明
国别省市：湖北;42