一种基于动态眼动指标的眼势交互模型方法技术

本发明专利技术公开了一种基于动态眼动指标的眼势交互模型方法，涉及动态眼动指标技术领域，包括以下步骤：预先基于眼动仪获取原始眼动轨迹数据，并提取原始眼动轨迹数据中各注视点的坐标数据、兴趣区域数据和注视持续时间数据作为特征信息。本发明专利技术通过权重计算方法及眼势交互模型通过用户的自然眼动轨迹，预测用户想要完成的操作或任务，并给出预测结果反馈，通过挖掘多用户眼动行为蕴含的行为语义，隐式的识别用户意图并且发出指令，不仅为其提供主动式的服务，属于隐含式交互，可以大大减少用的认知负荷，而且提高了交互的自然性、智能性和准确性，也使得交互系统的可靠性得以提升。也使得交互系统的可靠性得以提升。也使得交互系统的可靠性得以提升。

【技术实现步骤摘要】
一种基于动态眼动指标的眼势交互模型方法


[0001]本专利技术涉及动态眼动指标
，具体来说，涉及一种基于动态眼动指标的眼势交互模型方法。

技术介绍

[0002]传统的眼动研究方法主要对单个眼动指标(如注视时间、眼跳时间、回视时间、眼跳潜伏期、追随运动时间等)进行统计，再对统计结果进行统计学分析，最后对统计学的结果进行分析得出实验结论。眼势被定义为一系列有序的视线行程，每一个行程是两个固定注视点或注视区域的有意的视线移动。眼动轨迹是注视点随时间变化的序列，动态反映人在驾驶、阅读时的眼部活动情况，眼动轨迹含有非常丰富的信息。识别眼势即识别眼动轨迹，依赖于眼势识别算法或眼动跟踪算法。
[0003]这些年来，眼动跟踪算法不断改进，可以提供更精确的注视特征估计。最先进的凝视估计方法依赖于基于混合特征和模型的方法，并需要专用硬件，如红外灯和立体相机，用来跟踪测试者的头部和眼睛。此外，眼动跟踪设备通常具有一定的误差，这增加了跟踪眼睛选择小目标时的难度。
[0004]目前现有的相关技术，是通过定义某些特定的眼动行为或结合特定的眼动轨迹作为与某些操作对应的眼势，并没有考虑用户的自然眼动规律与操作的对应关系，属于命令式交互，对用户而言，需承担更多的认知负荷。
[0005]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]针对相关技术中的问题，本专利技术提出一种基于动态眼动指标的眼势交互模型方法，通过权重计算方法及眼势交互模型通过用户的自然眼动轨迹，预测用户想要完成的操作或任务，并给出预测结果反馈，以解决眼动跟踪设备有误差导致的对小目标进行选择时难度增加的问题，并且通过挖掘多用户眼动行为蕴含的行为语义，隐式的识别用户意图并且发出指令，使得人机交互更加智能化和人性化的技术问题。
[0007]本专利技术的技术方案是这样实现的：
[0008]一种基于动态眼动指标的眼势交互模型方法，包括以下步骤：
[0009]预先基于眼动仪获取原始眼动轨迹数据，并提取原始眼动轨迹数据中各注视点的坐标数据、兴趣区域数据和注视持续时间数据作为特征信息，
[0010]将提取的特征信息进行预处理得到的m个注视点的数据后根据权重计算方法计算出各兴趣区域的权重值；
[0011]并将各权重值作为新特征值输入眼势识别算法中，用户的操作做为输出，通过神经网络模型输出后，得到了特征值与用户操作的对应关系值，获取识别结果，对用户想要进行的操作进行预测。
[0012]进一步的，所述原始眼动轨迹数据，包括刷新操作数据、查看进度操作数据、最小
化操作数据、关闭操作数据、查看目录操作数据、搜索操作数据、缩放操作数据、保存操作数据、复制操作数据和换页操作数据。
[0013]进一步的，所述特征信息，包括：
[0014]坐标数据为注视点在屏幕中的二维坐标，记为X和Y；
[0015]兴趣区域数据为注视点在屏幕中所在区域的位置，表示为AOI
k
；
[0016]注视持续时间数据为当前注视点持续的时间，记为fixduration。
[0017]进一步的，所述特征信息进行预处理，包括以下步骤：
[0018]剔除不在X和Y范围内的注视点的坐标数据、该点对应的兴趣区域数据和注视持续时间数据；
[0019]将剔除后剩余的注视点进行重新规划，包括以下步骤：
[0020]计算剩余n个注视点之间的经过的路程长度length，并指定重新规划所需的点的数量m；
[0021]计算m个点间的等距离distance(distance＝length/(1
‑
m))，并对剩余的n个注视点按线性插值法以距离distance插入新的点；
[0022]获得重新规划后的m个点。
[0023]进一步的，所述神经网络模型，包括：
[0024]五层全连接神经网络，其中包括一个输入层、三个隐藏层、一个输出层；
[0025]隐藏层中使用了relu激活函数；
[0026]输出层中使用了softmax激活函数和交叉熵损失函数。
[0027]本专利技术的有益效果是：
[0028]本专利技术基于动态眼动指标的眼势交互模型方法，通过预先基于眼动仪获取原始眼动轨迹数据，并提取原始眼动轨迹数据中各注视点的坐标数据、兴趣区域数据和注视持续时间数据作为特征信息，将提取的特征信息进行预处理得到的m个注视点的数据后根据权重计算方法计算出各兴趣区域的权重值；并将各权重值作为新特征值输入眼势识别算法中，用户的操作做为输出，通过神经网络模型输出后，得到了特征值与用户操作的对应关系值，获取识别结果，对用户想要进行的操作进行预测，通过权重计算方法及眼势交互模型通过用户的自然眼动轨迹，预测用户想要完成的操作或任务，并给出预测结果反馈，以解决眼动跟踪设备有误差导致的对小目标进行选择时难度增加的问题，并且通过挖掘多用户眼动行为蕴含的行为语义，隐式的识别用户意图并且发出指令，使得人机交互更加智能化和人性化，不仅为其提供主动式的服务，属于隐含式交互，可以大大减少用的认知负荷，而且提高了交互的自然性、智能性和准确性，也使得交互系统的可靠性得以提升。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1是根据本专利技术实施例的一种基于动态眼动指标的眼势交互模型方法的流程示意图。
具体实施方式
[0031]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]根据本专利技术的实施例，提供了一种基于动态眼动指标的眼势交互模型方法。
[0033]如图1所示，根据本专利技术实施例的基于动态眼动指标的眼势交互模型方法，包括以下步骤：
[0034]步骤一，使用眼动仪以及软件记录用户对10类操作的自然眼动轨迹数据，以获取眼动仪记录的N条原始眼动轨迹数据，其中，10类操作包括刷新、查看进度、最小化、关闭、查看目录、搜索、缩放、保存、复制和换页，针对每一个类所产生的眼动数据不得少于10条，即：N≥100；
[0035]步骤二，提取原始眼动轨迹数据中各注视点的坐标数据、兴趣区域数据以及注视持续时间数据作为特征。特征的具体信息如下：
[0036]1)坐标数据即注视点在屏幕中的二维坐标，记为X、Y，其中X的取值为[0,1920]，Y的取值为[0,1080]。
[0037]2)兴趣区域数据即注视点在屏幕中所在区域的位置，记为AOI
k
；
[0038]其中，因屏幕被划分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态眼动指标的眼势交互模型方法，其特征在于，包括以下步骤：预先基于眼动仪获取原始眼动轨迹数据，并提取原始眼动轨迹数据中各注视点的坐标数据、兴趣区域数据和注视持续时间数据作为特征信息，将提取的特征信息进行预处理得到的m个注视点的数据后根据权重计算方法计算出各兴趣区域的权重值；并将各权重值作为新特征值输入眼势识别算法中，用户的操作做为输出，通过神经网络模型输出后，得到了特征值与用户操作的对应关系值，获取识别结果，对用户想要进行的操作进行预测。2.根据权利要求1所述的基于动态眼动指标的眼势交互模型方法，其特征在于，所述原始眼动轨迹数据，包括刷新操作数据、查看进度操作数据、最小化操作数据、关闭操作数据、查看目录操作数据、搜索操作数据、缩放操作数据、保存操作数据、复制操作数据和换页操作数据。3.根据权利要求2所述的基于动态眼动指标的眼势交互模型方法，其特征在于，所述特征信息，包括：坐标数据为注视点在屏幕中的二维坐标，记为X和Y；兴趣区域数据为注视点在屏幕中所在区域的位置，表示为...

【专利技术属性】
技术研发人员：殷继彬，卢朝茜，秦浩楠，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：