一种眼动信号控制的交互方法技术

本发明专利技术公开了一种眼动信号控制的交互方法，该方法包括以下步骤：(1)对获取的功能图标进行预处理；(2)对眼动信号进行数字编码；(3)存储功能图标的眼动信号数组；(4)采集、输出、计算和识别所述眼动信号；(5)被试者确认眼动指令；所述图标预处理包括对所述功能图标进行数字编码，每个功能图标对应一个唯一的数字编号i，所述数字编号i的位数w为[1，4]区间上的整数，当w≥2时，数字编号的相邻数字间不重复，按照所述功能图标的使用频率m对所述功能图标进行数字编码。本发明专利技术直接采集人对不同图标图片的眼动信号，依据眼动信号的不同实现了图标对数字界面的眼机交互，提高了数字界面的交互效率。

An interactive method for eye movement signal control

The invention discloses an interactive method for controlling eye movement signals, which comprises the following steps: (1) preprocessing the acquired functional icons; (2) numerically coding the eye movement signals; (3) storing an array of eye movement signals of the functional icons; (4) collecting, outputting, calculating and recognizing the eye movement signals; (5) confirming the eyes of the subjects. The pre-processing of the icon includes digitally encoding the functional icon, each of which corresponds to a unique digit number i, the digit number I is an integer in the [1,4] interval, and when w is greater than or equal to 2, the adjacent digits of the digital number are not duplicated and are paired according to the frequency m of the functional icon. The function icon is encoded digitally. The invention directly collects eye movement signals of different icon pictures, realizes eye-machine interaction between icons and digital interface according to different eye movement signals, and improves the interaction efficiency of digital interface.

【技术实现步骤摘要】
一种眼动信号控制的交互方法
本专利技术涉及一种交互方法，具体涉及一种眼动信号控制的交互方法。
技术介绍
随着计算机技术及人工智能的迅猛发展，符合人类自然认知习惯的交互手段成为人机交互技术发展的主流，产生了诸如动作追踪、语音识别、感觉反馈、眼动控制、脑机接口等多通道交互方式，信号输入装置也由鼠标、键盘转变为肢体动作、语音、眼动和脑电波。根据Berger的研究，在五大感知系统中眼睛所获取的信息约占80％，人类不需要专门的学习和训练，就能自由灵活的控制眼球转动以注视不同的对象，眼动追踪技术具有自然性和直观性的优点，成为诸多学科领域的共同关注焦点。眼机交互是用眼睛来控制计算机或装备的技术，采用眼动仪获取用户的视线信息，通过捕捉用户的注视点，识别出用户注视点的实时位置以及轨迹，以眨眼、凝视、眼球移动、平滑跟踪运动、瞳孔变化等指标作为输入指令，实现“所视即所得”。眼控系统中交互技术分为两种：基于视线的交互(GazebasedInterface)和视线辅助的交互(GazeaddedInterface)，前者仅用眼睛和计算机或设备做交互，无其他输入设备，后者是将眼动辅以鼠控、语音交互和体感交互等多通道技术，有其他输入设备。传统的眼机交互的直接输入者是人眼，眼睛本身是一个感知器官，人类不习惯用眼动来控制目标，导致了一个瓶颈问题：系统难以辨识用户的注视行为是在检查信息，还是想触发操作，即“米达斯接触”效应。一旦出现“米达斯接触”，系统将出现输入冲突，引起误判，甚至会导致严重失误。采用通用的眼睛注视行为作为触发手段，很容易出现“米达斯接触”效应，导致系统崩溃。
技术实现思路
专利技术目的：为了克服现有技术的不足，本专利技术提供一种眼动信号控制的交互方法，该方法可以解决数字界面交互的低效和“米达斯接触”效应的问题。技术方案：本专利技术所述的眼动信号控制的交互方法，该方法包括以下步骤：(1)对获取的功能图标进行预处理；(2)对眼动信号进行数字编码；(3)存储功能图标的眼动信号数组；(4)采集、输出、计算和识别所述眼动信号；(5)被试者确认眼动指令；所述图标预处理包括对所述功能图标进行数字编码，每个功能图标对应一个唯一的数字编号i，所述数字编号i的位数w为[1，4]区间上的整数，当w≥2时，数字编号的相邻数字间不重复，按照所述功能图标的使用频率m对所述功能图标进行数字编码。优选的，所述功能图标的数字编码具体为：所述功能图标的使用频率为完成Z个主要操作任务所需某个功能图标的总单击次数X与完成Z个所述主要操作任务所需所有功能图标的总单击次数Y的比值，即m＝X/Y，m∈[0，1]，根据m的值从大到小对功能图标进行数字编码；当w＝1时，数字编号i＝4，m的值排在前4位的功能图标的数字编码依次标定为：1、2、3、4；当w＝2时，数字编号i＝12，m的值排在第5-16位的功能图标的数字编码依次标定为：12、13、14、21、23、24、31、32、34、41、42、43；当w＝3时，数字编号i＝36，m的值排在第17-52位的功能图标的数字编码依次标定为：121、123、124…431、432、434；当w＝4时，数字编号i＝108种，m的值排在第53-108位的功能图标的数字编码依次标定为：1212、1213、1214…4341、4342、4343。优选的，步骤(2)中，所述对眼动信号进行数字编码包括：(21)建立眼睛二维图像的直角坐标系；(22)根据瞳孔中心点的实时坐标，对所述眼动信号进行数字编码；(23)眼球在不同象限下的有效连续运动会产生不同的数字编码序列，按照眼睛在不同象限有效运动的先后顺序，根据眼睛动作信号的数字编码，依次标定眼睛连续动作信号的数字编码。优选的，步骤(22)中，所述对眼动信号进行数字编码的方法为：瞳孔中心点的实时横坐标x0和实时纵坐标y0，当眼睛运动到第一象限，满足x0＞0，y0＞0且x02+y02≥nmm2条件时，标定所述眼动信号数字编码为“1”；其中，n为最小有效面积范围；当眼睛运动到第二象限，满足x0＜0，y0＞0且x02+y02≥nmm2条件时，标定所述眼动信号数字编码为“2”；当眼睛运动到第三象限，满足x0＜0，y0＜0且x02+y02≥nmm2条件时，标定所述眼动信号数字编码为“3”；当眼睛运动到第四象限，满足x0＞0，y0＜0且x02+y02≥nmm2条件时，标定所述眼动信号数字编码为“4”；当所述瞳孔中心线和坐标轴线重合时，即x0＝0或y0＝0，认为眼球未做有效运动，不予标定。优选的，所述步骤(3)中存储功能图标的眼动信号数组包括：(31)将所述功能图标数字编码与所述眼动信号数字编码进行一一对应的匹配；(32)将匹配后的所有所述眼动信号的数字编码，以数组形式存储于微处理器中。有益效果：本专利技术通过对功能图标和眼睛动作进行数字编码，用户根据功能图标右上角的数字编码，在四个象限进行有序眼睛运动，实现眼睛对功能图标的触发，更加直接和简洁，有效规避了用户的注视行为，有较高的准确率，可节省操作时间，直接避免了“米达斯接触”效应的发生，减少了误触发率，显著提高了数字界面的交互效率。附图说明图1为本专利技术的方法流程图；图2为本专利技术的功能图标的数字编码示意图；图3为本专利技术的图标的一种预处理示意图；图4为本专利技术的眼睛图像区域划分示意图；图5为本专利技术的方法原理示意图；图6为本专利技术的功能图标的确认对话框窗口图。具体实施方式如图1，本专利技术涉及一种眼动信号控制的交互方法，本方法不需要任何语言和动作，直接通过图标的眼动信号实现对数字界面的控制，因此，适用于残疾人、老年人和飞行员等特定人群，在某些不便用手协调的场合，如宇航员在飞船或太空舱操作计算机、汽车驾驶、手术过程等，也可使用基于眼动信息的人机接口来执行动作或进行交流。首先进行图标的预处理，包括：(1)获取功能图标从任一开源软件的系统文件中获取PNG格式功能图标，即用户界面中的功能标识符号，约定某开源软件的功能图标总个数不超过108个，108个以上的功能图标眼动信号的控制方法，也可根据原理对本专利技术的技术方案做相应改变，从而实现眼动信号的控制作用。(2)功能图标的数字编码每个功能图标对应一个唯一的数字编号，定义该数字编号为i，且i为正整数，数字编号i的位数w为[1，4]区间上的整数，数字编号i可表示为a、ab、abc或abcd，a、b、c、d为[1，4]区间上的整数，其中，w≥2时，数字编号i的相邻数字间不重复，数字编号i共计可标定为108种情况。上述涉及的某款开源软件有Z个主要操作任务，此处的主要操作任务为完成某款开源软件的某个主要功能触发时，所需要单个或多个功能图标的触发组合，Z的数量根据某款开源软件的主要功能来确定，其中每个任务操作流程主要是对不同功能图标单击的组合。如图2，按照功能图标的使用频率m，对功能图标进行数字编码。所述的功能图标的使用频率m为完成Z个操作任务所需某个功能图标的总单击次数X与完成Z个操作任务所需所有功能图标的总单击次数Y的比值，即m＝X/Y，m∈[0，1]，根据m的值从大到小对功能图标进行数字编码：w＝1时，数字编号i有1×4＝4种，m的值排在前4位的功能图标的数字编码依次标定为：1、2、3、4。w＝2时，数字编号i有4×3＝12种，m的值排在第5-16位本文档来自技高网...

【技术保护点】
1.一种眼动信号控制的交互方法，其特征在于，该方法包括以下步骤：(1)对获取的功能图标进行预处理；(2)对眼动信号进行数字编码；(3)存储功能图标的眼动信号数组；(4)采集、输出、计算和识别所述眼动信号；(5)被试者确认眼动指令；所述图标预处理包括对所述功能图标进行数字编码，每个功能图标对应一个唯一的数字编号i，所述数字编号i的位数w为[1，4]区间上的整数，当w≥2时，数字编号的相邻数字间不重复，按照所述功能图标的使用频率m对所述功能图标进行数字编码。

【技术特征摘要】
1.一种眼动信号控制的交互方法，其特征在于，该方法包括以下步骤：(1)对获取的功能图标进行预处理；(2)对眼动信号进行数字编码；(3)存储功能图标的眼动信号数组；(4)采集、输出、计算和识别所述眼动信号；(5)被试者确认眼动指令；所述图标预处理包括对所述功能图标进行数字编码，每个功能图标对应一个唯一的数字编号i，所述数字编号i的位数w为[1，4]区间上的整数，当w≥2时，数字编号的相邻数字间不重复，按照所述功能图标的使用频率m对所述功能图标进行数字编码。2.根据权利要求1所述的眼动信号控制的交互方法，其特征在于，所述功能图标的数字编码包括：所述功能图标的使用频率为完成Z个主要操作任务所需某个功能图标的总单击次数X与完成Z个所述主要操作任务所需所有功能图标的总单击次数Y的比值，即m＝X/Y，m∈[0，1]，根据m的值从大到小对功能图标进行数字编码；当w＝1时，数字编号i＝4，m的值排在前4位的功能图标的数字编码依次标定为：1、2、3、4；当w＝2时，数字编号i＝12，m的值排在第5-16位的功能图标的数字编码依次标定为：12、13、14、21、23、24、31、32、34、41、42、43；当w＝3时，数字编号i＝36，m的值排在第17-52位的功能图标的数字编码依次标定为：121、123、124…431、432、434；当w＝4时，数字编号i＝108种，m的值排在第53-108位的功能图标的数字编码依次标定为：1212、1213、1214…4341、4342、4343。3.根据权利要求1所述的眼动信号控...

【专利技术属性】
技术研发人员：牛亚峰，薛澄岐，王海燕，周蕾，吴闻宇，周小舟，黄鹏，吴泽，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32