头显设备的眼动和头动交互方法技术

本发明专利技术公开了一种头显设备的眼动和头动交互方法，包括计算显示模组、眼追踪识别模组和头动追踪模组，方法如下步骤：步骤一，头显设备中计算显示模组显示图形交互界面，便于用户观看和控制；步骤二，眼追踪处理模组采集用户眼睛的图像判断并追踪；步骤三，头动追踪模块采集用户在注视过程中头部的修正动作来移动修正鼠标到用户需要的兴趣关注点位置；步骤四，通过用户点击得到鼠标确认事件；步骤五，将点击状态时的修正数值反馈给眼追踪算法；步骤六，执行交互输出，返回重复步骤二。本发明专利技术通过头动修正眼动精确度，主动适配校正眼动跟踪算法，使之在使用过程中越用越精准。 1

Eye movement and head motion interaction method for the head display device

The invention discloses an eye movement and head moving interaction method for the head display device, which includes the calculation display module, the eye tracking recognition module and the head moving tracking module. The steps are as follows: Step 1, the calculation display module in the head display device displays the graphical interface to facilitate the user to watch and control; step two, eye tracking processing module. Collect the image of the eye of the user to judge and track the image; step three, the head tracking module collects the user's correction action of the head during the fixation process to move the interest point of interest of the user to the user; step four, the user clicks the mouse confirmation event; step five, the corrected numerical feedback when clicking the state Eye tracking algorithm; step six, perform interactive output and return to repeat step two. The invention corrections eye movement accuracy through head movement, and adaptable and correcting eye tracking algorithm to make it more precise in use. One

【技术实现步骤摘要】
头显设备的眼动和头动交互方法
本专利技术属于头戴式设备
，具体涉及一种头显设备的眼动和头动交互方法。
技术介绍
目前现有的眼动设备跟踪精度差抖动，无法瞄准具体的一个点，其原因是人视野识别的是一个范围，眼睛运动以跳转和凝视为主，再加上佩戴和安放过程中眼睛相对设备的位置稍有移动就出现误差，而用户自然生理心理行为下，头部动作能主动配合眼球动作寻找移动和校准视线到兴趣关注点，因此需要使用头动对眼动进行补偿修正。本人之前申请的：《一种头戴装置的光标控制方法》申请号：201310295425.5，有使用头动和眼动并行对鼠标控制的方法，适用于大型计算交互系统，但存在计算量过大，头动主导和眼动主导切换难顺畅，对小视角到大视角的切换，以及头戴显示器到外部显示器的切换，让不同使用者难习惯不适应，其程序步骤复杂和难以调节，因此专利技术：一种头显设备的眼动和头动交互方法，更为简洁明确，计算量小更适合移动头戴端使用。
技术实现思路
本专利技术的目的是提供一种头显设备的眼动和头动交互方法。实现本专利技术目的的技术方案是：一种头显设备的眼动和头动交互方法，包括计算显示模组、眼追踪识别模组和头动追踪模组，所述计算显示模组包括计算机模块、头显模块、图形交互界面、特征点、修正区域、鼠标确认事件、眼追踪算法和执行输出模块，所述眼追踪识别模组包括红外LED和红外摄像头，所述头动追踪模组包括多轴运动传感器，用户自然生理心理行为下，头部动作能主动配合眼球动作寻找移动和校准视线到兴趣关注点，因此通过眼动跟踪得到视野的区域，再通过头动跟踪修正在该区域内的鼠标到兴趣区域，得到点击确认后主动适配校正眼动跟踪算法，使之在使用过程中越用越精准，方法包括如下步骤：步骤一、头显设备中计算显示模组显示图形交互界面，便于用户观看和控制；步骤二，眼追踪处理模组采集用户眼睛的图像判断并追踪，通过眼追踪算法得出用户眼睛注视的屏幕相应区域并在头显设备的图形界面内显示鼠标；步骤三，头动追踪模块采集用户在注视过程中头部的修正动作来移动修正鼠标到用户需要的兴趣关注点位置；步骤四，通过用户点击得到鼠标确认事件；步骤五，将点击状态时的修正数值反馈给眼追踪算法；步骤六，执行交互输出，返回重复步骤二。运行方法为：A、计算机模组驱动头显模组显示图形交互界面，用于用户观看和控制，B、眼追踪识别模组驱动红外LED发出的红外光照射人眼，红外摄像头得到正常人眼红外图像；C、眼追踪识别模组判断，是否是首次使用：C-Y、判断如果是首次使用，交互界面将给出带有特征点的校正界面，让用户凝视相应的特征点，得到眼动算法用户初始值，进入C-N步骤；C-N、如果非首次使用，通过眼追踪算法判断并追踪得出用户眼睛注视的屏幕相应区域并在图形界面内显示鼠标，然后进入眼追踪速度判断；D、眼追踪速度判断，是否是大于眼动闸值：D-Y、如果眼球瞳孔的移动大于眼动闸值时将优先调用眼追踪算法并忽略头动得出鼠标新位置；D-N、如果眼球瞳孔的移动小于眼动闸值时将启用滤波收敛算法稳定鼠标，进入头动速度判断程序；E、头动速度判断，是否是大于头动闸值：E-Y、如果头部转动角速度大于头动闸值时，忽略头动数据，进入C-N步骤；E-N、如果头部转动角速度小于头动闸值时，进入头动鼠标修正程序；F、头动鼠标修正程序：在视野区域内通过头动识别模组的多轴运动传感器采样头部转动角数据，正相关映射转换为屏幕的鼠标位移增量，来移动修正鼠标到用户需要的兴趣位置；G、当用户发出鼠标确认事件并有效点击图标事件后，得出此过程的修正数值并反馈给眼追踪算法，执行鼠标点击后重复步骤B-2。所述鼠标确认事件还包括但不仅限于：兴趣区悬停点击、牙齿的敲击信号、面部肌肉电信号、口腔声音信号、按键和外部无线设备信号来触发形成鼠标确认事件。所述眼追踪识别模组包括但不限于使用表面特征法、多类分类器法或红外光源法。所述眼追踪算法包括但不限于hough算法、Kalman算法、Mean算法或Shift算法。所述头动追踪模组中转动角数据正相关映射算法中线性倍率为一个定值倍率或动态倍率。所述头动追踪模组还可以独立为一个手持控制设备。所述图形交互界面中可以设立当鼠标接近按键图块时，按键图块对鼠标产生磁性吸引和图像特效。所述红外摄像头可以获取虹膜图像，通过识别用户身份，调取用户初始档案。所述头戴设备包括眼镜、护目镜或头盔中的至少一个。本专利技术具有积极的效果：本专利技术通过眼动跟踪得到视野的区域，再通过头动跟踪修正在该区域内的鼠标到兴趣区域，得到点击确认后主动适配校正眼动跟踪算法，使之在使用过程中越用越精准。附图说明为了使本专利技术的内容更容易被清楚的理解，下面根据具体实施例并结合附图，对本专利技术作进一步详细的说明，其中：图1为本专利技术的流程示意图；图2为本专利技术的运行流程示意图。具体实施方式实施例一如图1和如图2，一种头显设备的眼动和头动交互方法，包括计算显示模组、眼追踪识别模组和头动追踪模组，所述计算显示模组包括计算机模块、头显模块、图形交互界面、特征点、修正区域、鼠标确认事件、眼追踪算法和执行输出模块，所述眼追踪识别模组包括红外LED和红外摄像头，所述头动追踪模组包括多轴运动传感器，用户自然生理心理行为下，头部动作能主动配合眼球动作寻找移动和校准视线到兴趣关注点，因此通过眼动跟踪得到视野的区域，再通过头动跟踪修正在该区域内的鼠标到兴趣区域，得到点击确认后主动适配校正眼动跟踪算法，使之在使用过程中越用越精准，方法包括如下步骤：步骤一、头显设备中计算显示模组显示图形交互界面，便于用户观看和控制；步骤二，眼追踪处理模组采集用户眼睛的图像判断并追踪，通过眼追踪算法得出用户眼睛注视的屏幕相应区域并在头显设备的图形界面内显示鼠标；步骤三，头动追踪模块采集用户在注视过程中头部的修正动作来移动修正鼠标到用户需要的兴趣关注点位置；步骤四，通过用户点击得到鼠标确认事件；步骤五，将点击状态时的修正数值反馈给眼追踪算法；步骤六，执行交互输出，返回重复步骤二。运行方法为：A、计算机模组驱动头显模组显示图形交互界面，用于用户观看和控制，B、眼追踪识别模组驱动红外LED发出的红外光照射人眼，红外摄像头得到正常人眼红外图像；C、眼追踪识别模组判断，是否是首次使用：C-Y、判断如果是首次使用，交互界面将给出带有特征点的校正界面，让用户凝视相应的特征点，得到眼动算法用户初始值，进入C-N步骤；C-N、如果非首次使用，通过眼追踪算法判断并追踪得出用户眼睛注视的屏幕相应区域并在图形界面内显示鼠标，然后进入眼追踪速度判断；D、眼追踪速度判断，是否是大于眼动闸值：D-Y、如果眼球瞳孔的移动大于眼动闸值时将优先调用眼追踪算法并忽略头动得出鼠标新位置；D-N、如果眼球瞳孔的移动小于眼动闸值时将启用滤波收敛算法稳定鼠标，进入头动速度判断程序；E、头动速度判断，是否是大于头动闸值：E-Y、如果头部转动角速度大于头动闸值时，忽略头动数据，进入C-N步骤；E-N、如果头部转动角速度小于头动闸值时，进入头动鼠标修正程序；F、头动鼠标修正程序：在视野区域内通过头动识别模组的多轴运动传感器采样头部转动角数据，正相关映射转换为屏幕的鼠标位移增量，来移动修正鼠标到用户需要的兴趣位置；G、当用户发出鼠标确认事件并有效点击图标事件后，得出此过程的修正数值并反馈给眼追踪算法，执行鼠标本文档来自技高网...

【技术保护点】
1.一头显设备的眼动和头动交互系统，其特征在于，包括：

【技术特征摘要】
1.一头显设备的眼动和头动交互系统，其特征在于，包括：一头戴设备，用于显示一图形交互界面；一眼追踪识别模组，其中所述眼追踪识别模组被连接于所述头戴设备，其中所述眼追踪识别模组用于确定所述图形交互界面的被眼睛注视的相应区域，以在后续在所述图形交互界面的所述相应区域内显示鼠标；以及一头动追踪模组，其中所述头动追踪模组被连接于所述眼追踪识别模组和所述头戴设备，其中所述头动追踪模组用于采集头部的修正动作，以在后续根据头部的修正动作修正鼠标到兴趣关注点位置。2.根据权利要求1所述的交互系统，进一步包括一执行输出模块，其中所述执行输出模块被连接于所述头戴设备，其中所述执行输出模块用于在接收点击的鼠标确认事件后执行交互输出。3.根据权利要求2所述的交互系统，其中所述鼠标确认事件选自：兴趣区悬停点击、牙齿的敲击信号、面部肌肉电信号、口腔声音信号、按键和外部无线设备信号形成的事件组。4.根据权利要求1所述的交互系统，其中所述头戴设备是眼镜、护目镜或者头盔。5.根据权利要求1至4中任一所述的交互系统，其中所述头戴设备包括一计算机显示模组和被可驱动地连接于所述计算机显示模组的一头显模组，其中...

【专利技术属性】
技术研发人员：卫荣杰，
申请(专利权)人：塔普翊海上海智能科技有限公司，
类型：发明
国别省市：上海,31