【技术实现步骤摘要】
眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置
[0001]本专利技术属于眼动输入控制
，尤其涉及一种眼动追踪滑行输入方法、系统、智能终端及眼动追踪装 置。
技术介绍
[0002]目前，增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式环境。用户可以通过各种 电子设备与3D虚拟沉浸式环境进行交互来体验，例如，MR眼镜或其他近眼显示设备(包括VR眼镜、AR眼 镜、XR眼镜等)被统称为头戴式显示器(HMD)。
[0003]如今，主要通过物理键盘来对电脑进行文字输入，通过手指触摸屏来对智能手机进行文字输入，那么在 被预为下一代智能终端的AR/VR智能眼镜会采用什么样的文字输入方式呢？例如通过AR眼镜和手持式硬件输 入设备(例如手机、智能手表)相互配合进行文字输入。但是如果遇到HMD的显示器正在显示虚拟沉浸式体 验和/或一个或多个虚拟对象，用户可能难以仅通过手持电子设备或控制器上提供某些类型的输入，因为在佩戴 HMD时手持电子设备可能不容易被用户看到，对于用户来说，可能难以在不能够实际看到手持电子设备上显示 的键盘和在手指的位置显示键盘的情况下使用手持电子设备上的键盘进行文本输入。类似地，当在虚拟环境中 查看由HMD显示的虚拟键盘时，用户可能难以仅使用手持电子设备的触摸板上的触摸滑动来输入文本，因为 在佩戴HMD时手持电子设备可能对用户而言并不容易看到。
[0004]相较于眼动追踪是可以解决上述文本输入问题的重要方式之一，相比于手势追踪、语音识别、6Dof控制 器等常见的交互方式之...
【技术保护点】
【技术特征摘要】
1.一种眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法包括：智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为和信号；检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/词组/单词；检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；对于眼动滑行输入过程中的重键，额外提供一个重复输入键，在所述重复输入键中将实时刷新显示上一个输入过的字母，使滑动输入流畅。2.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述对注视点滑动轨迹进行预处理包括：首先，对用户滑动轨迹进行大小归一化处理，得到统一坐标系的点序列；其次，用均值滤波器的方法对所述的点序列进行轨迹平滑处理，得到去除抖动引起的噪点后的点序列。3.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述用户准备开始眼动滑行输入的行为和信号包括但不限于：按压控制器上的预设按键后，则将当前注视点位置作为某个词组滑行轨迹的起点；按压下控制器上的预设按键后保持按住状态，则将控制器按键的按下信号作为眼动滑行轨迹的起点；或/和手势识别，通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹起点的信号；所述手势识别技术包括但不限于利用加速度/角速度传感器制作而成的数据手套、指环；利用结构光/激光扫描/相机的图像识别等技术的无接触手势识别技术；超声波手势识别；或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的起点相对应，进而控制眼动滑动轨迹的开始；或/和眼睛行为，注视点在某个键位上注视时长超过预设阈值作为眼动滑动轨迹的起点；注视点从键盘的其他区域跳转至键盘输入区域的首个键位上时，所述首个接触注视点的键位被记作为轨迹的起点；注视点停留在在字母键位上，同时进行单/双眼眨眼作为设置起点。4.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述根据轨迹中的眼睛行为作为键位输入选择的机制包括：所述轨迹中的眼睛行为包括：在键位上注视点驻留、在键位上产生拐点轨迹、校正扫视以及眼颤；所述在键位上注视点驻留包括：在键位上短暂停留的注视点，根据注视点在键位字母上的驻留的顺序将轨迹序列转换成各个键位组成的键位序列；所述注视点为注视的持续时
间超过一定时长的点；所述在键位上产生拐点轨迹包括：在任意的两次连续的眼跳运动中形成两段扫视轨迹，所述两段连续的轨迹的夹角角度达到一定预设角度范围内时，则被标记为发生了拐点轨迹；当拐点轨迹发生时，则与发生拐点轨迹处坐标相同的键位字母被作为输入；所述校正扫视包括：当用户通过眼睛注视点对准交互目标时，10％短距离的即为校正扫视；所述眼颤包括：瞳孔和角膜缘出现位移，当眼球运动到达目标目标时产生眼颤；所述眼颤表现为阻尼振荡。5.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述用户准备结束眼动滑行输入的行为和信号包括但不限于：当滑行轨迹到达轨迹终点键位上时，再按压控制器上的预设按键作为终点指令；或/和用户按下控制器上的预设按键后保持按压状态时，则松开控制器按键，则作为识别轨迹终点的信号；或/和手势识别，终端设备通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹终点的信号；或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的终点信号相对应，进而控制眼动滑动轨迹的结束；或/和眼睛行为，在轨迹终点键位上注视一定时长作为获取轨迹终点的指令信号；注视点离开键盘输入区域前的最后一个键位作为终点。6.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述进行正确候选词的选择包括：通过语音交互、手势交互、眼动交互、控制器选择交互、头动交互中的任意一项交互方式与眼动注视点相配合选择候选词；所述候选词根据预测概率进行排序。7.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括滑行轨迹识别，通过将当前滑行轨迹与已经训练好的AI轨迹模型比对，进而识别出字词，具体包括：步骤201:系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；步骤202:眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；步骤203:检测用户准备“开始”和“结束”眼动滑行输入的行为和信号；步骤204:检测和记录注视点在软键盘上的输入动作和完整滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征；步骤205:将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配；步骤206:候选词区域实时显示前几个AI眼动轨迹模型匹配后的文字/词组/单词；步骤207:用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；步骤208:将用户选中结果用于优化AI眼动轨迹模型。8.如权利要求7所述眼动追踪滑行输入方法，其特征在于，所述步骤204包括：计算终端可以生成例如键盘的坐标信息和轨迹的坐标信息；键盘的坐标信息可以指示
键盘的形状和大小，指示围绕键盘和每个单独的键的边界的坐标值；轨迹的坐标信息可以指示形成在键盘中的轨迹的形状和大小，例如可以是形成轨迹的点的坐标值；计算终端可以生成捕捉了键盘和在键盘上形成的轨迹的图像；在这种情况下，捕捉的图像可以指示键盘的形状和大小以及轨迹的形状和大小；根据步骤203用户轨迹滑动结束后，虚拟键盘上获取到一个单词/字词/词组的完整的注视点轨迹；并对注视点滑动轨迹进行预处理，对注视点滑动轨迹进行归一化处理，得到键盘和注视点轨迹统一坐标系的点序列，对所述的点序列进行轨迹平滑处理；进而提取轨迹特征，具体为，轨迹特征被用于匹配字词的AI模型，通过所述轨迹特征搜索相似轨迹特征的模型，进而获得与模型对应的字符/词组；注视点滑动轨迹的特征包括：滑动轨迹的形状、轨迹相对于键盘的相对位置、注视轨迹的总长度、轨迹拐点、键位上注视点驻留序列、轨迹起点/终点、扫视距离、扫视速度、注视时长；轨迹起点/终点可以通过步骤203获得并且计算终端生成和处理各种类型的信息以指示轨迹的形状和轨迹相对于键盘的相对位置。9.如权利要求7所述眼动追踪滑行输入方法，其特征在于，步骤205包括：运算终端可以通过使用经过训练的模型来识别用户输入至键盘的滑动输入轨迹对应的至少一个字符，其中该经过训练的模型己经与标准字符对应的轨迹进行了训练，通过将当前的用户的注视点轨迹与标准的轨迹模型库进行匹配，可以间接的将当前注视轨迹识别出目标字词；经过训练的模型可以是用于确定与经过键盘上多个键的轨迹对应的至少一个字符的数据确定模型；数据确定模型可以是基于例如神经网络的模型；包括深度神经网络DNN、递归神经网络RNN或双向递归深度神经网络BRDNN的模型可以用作数据确定模型；预设的经过训练的模型通过使用对应于各种轨迹的单词信息来预先训练；生成与词典中包括的各种单词对应的轨迹，并且通过使用所生成轨迹的轨迹信息和与所生成的轨迹对应的单词信息来训练预设的经过训练的模型，预先生成对应于词典中某个单词的各种轨迹；通过眼球追踪装置获取用户视线在二维显示器或HMD的显示屏幕上呈现的软键盘上的注视点滑行轨迹，并且将关于检测到的轨迹的信息应用到经过训练的字词模型。10.如权利要求7所述眼动追踪滑行输入方法，其特征在于，所述步骤206包括：按系统预设的单词排列规则显示和输入单词信息包括仅将从字典数据库中获取的单词和/或单词组合，根据系统预设的单词显示排列规则排列于键盘按键区域。11.如权利要求7所述眼动追踪滑行输入方法，其特征在于，所述步骤208包括：通过步骤206中，提供多个候选词选项，多个候选词均为通过AI眼动轨迹模型匹配计算获得，当前注视点轨迹在与标准轨迹匹配时存在一定的相似概率，候选词根据相似度推测概率的大小在候选词区域递减排列，并供用户交互选择；经过训练的模型存储在计算终端中，或经过训练的模型可以存储在云端服务器中，计算终端向服务器提供关于检测到的轨迹的信息，并且服务器将从设备接收的关于检测到的轨迹的信息应用到经过训练的模型，服务器再次训练轨迹模型，优化识别精准度。12.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法包括键入机制和轨迹识别，提取滑行轨迹中眼睛行为，并作为键位输入机制获得字词，最后再通过AI轨迹模型识别校正存在误差的，进而提高识别准确度，具体包括：步骤301：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤302：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；步骤303：检测用户准备“开始”眼动滑行输入的行为和信号；步骤304：检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制；步骤305：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；步骤306：候选词区域实时显示前几个最有可能的文字/词组/单词；步骤307：检测用户准备“结束”眼动滑行输入的行为和信号；步骤308：获得当前完整轨迹的形状和轨迹特征；步骤309：将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；步骤310：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算识别字词的准确性；步骤311：候选词区域显示轨迹识别的计算结果的文字/词组/单词；步骤312：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；步骤313：将用户选中结果用于优化AI眼动轨迹模型。13.如权利要求1所述眼动追踪滑行输入方法，其特征在于，键入机制，滑动轨迹识别，词组联想预测，根据拼写规则预测词组，进而提高识别准确度。步骤401：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；步骤402：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；步骤403：检测用户准备“开始”眼动滑行输入的行为和信号；步骤404：检测和记录注视点在软键盘上的输入动作和滑动轨迹，并提取注视点滑动轨迹进行预处理，根据轨迹中的眼睛行为作为键位输入选择的机制，同时获得轨迹特征；步骤405：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；步骤406：候选词区域实时显示前几个最有可能的文字/词组/单词；步骤407：检测用户准备“结束”眼动滑行输入的行为和信号；步骤408：生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；步骤409：将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；步骤410：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算识别字词的准确性；步骤411：根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定优化注视点滑行轨迹的准确性；步骤412：候选词区域显示轨迹识别的计算结果的文字/词组/单词；步骤413：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨
迹的输入；步骤414：将用户选中结果用于优化AI眼动轨迹模型。14.如权利要求13所述眼动追踪滑行输入方法，其特征在于，步骤411：根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定优化注视点滑行轨迹的准确性；系统根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则判断用户当前输入的字符是否能够组成的正确的单词、词组、成语来判断当前眼动滑行轨迹的正确性。并根据纠错结果预测用户当前带输入的可能的单词；根据音节组成的不同，常用音节一般分为以下四大类：(1)两拼音节：声母+韵母，包括爸ba、手shou：(2)三拼音节：声母+介母+韵母，包括光guang,泉quan；(3)整体认读音节：实质上是声母+韵母，包括只Zhi，四si；(4)自成音节：没有声母，只有以a、0、e开关的韵母，包括：阿a，爱ai，安an，哦0，欧ou，鹅e；具体地，其中，声母包括：b，p，m，f，d，t，n，l，g，k，h，j，q，x，z，c，s，zh，ch，sh，r，y，w；韵母包括：a，ai，ao，an，ang，o，ou，ong，e，ei，en，er，eng，I，iu，in，ing，iong，u，ui，un，ue，v；介母+韵母：uai，uei，uan，uen，uang，iao，iou；整体认读音节：zhi，chi，shi，ri，zi，ci，si，yi，wu，yu，ye，yue，yin，yun，yuan，ying；根据上述的拼写规则，根据当前注视点滑动键入的字符和之前输入的字符，在结合键入字符的序列，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；比如：当前输入字符为"n”，之前未输入字符，则后续可选按键提示字符为“i”，“o”，“u”，“e”，“a”，“v”；再如：当前输入字符为“a”，之前输入字符为"h"，则后续可选按键提示字符为："i"，"o”，"n”。15.如权利要求1所述眼动追踪滑行输入方法，其特征在于，键位提示，根据拼写规则预测/联想词组结果，下一个可能的字母位置被突显提示，有助于增加视觉搜索效率，降低错误轨迹，提高轨迹识别精确度，所述眼动追踪滑行输入方法还包括：步骤5101：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；步骤5102：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；步骤5103：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；步骤5104：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，步骤5106：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若“是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字
母，刷新键盘提示键位位置布局；若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入；或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；步骤5107：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；步骤5109：候选词区域实时显示前几个最有可能的文字/词组/单词；步骤5110：检测用户准备“结束”眼动滑行输入的行为和信号，若“未结束”，则循环执行步骤5105；步骤5111：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入。16.如权利要求15所述眼动追踪滑行输入方法，其特征在于，步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，尤其通过在连续几个“提示键位”上的“注视点停留时长”、“轨迹拐点角度”等特征识别出视觉搜索的轨迹，并过滤视觉搜索轨迹。17.如权利要求15所述眼动追踪滑行输入方法，其特征在于，所述步骤5106；检测注视点光标的滑动轨迹是否经过“提示键位”，并且在“提示键位”是否检测出用户的键入行为，键入行为包括轨迹拐点、视点驻留；如果确认在“提示键位”位置发生了键入行为，则继续根据推算下一个字母；确定当前状态是否仍然处于滑行输入的过程中；或/和暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入，具体为：在眼动滑行轨迹的途中，“提示键位”正在点亮并等待用户的滑动轨迹输入，但是用户此时需要在滑行轨迹中途看一下候选词区域和字符预览区域，以此来确认眼动输入的正确性；眼动输入不同于手指触摸滑行输入，将输入任务和认知任务分配给手和眼睛两个器官完成，然而眼动输入需要同时兼顾输入任务和认知任务因而造成冲突，为减少视觉搜索或其他视觉行为对眼动滑行轨迹的识别精准度的影响，将一个词组记为一条完整轨迹，不支持中途断开滑行轨迹；通过所述的“提示键位”方法，在断开滑行轨迹后(注视点跳转至候选词区域和字符预览区域)，在返回输入区域后需要用户有意识的将注视点移动至任意一个“提示键位”上注视一定时长，则可以连接上之前的滑行输入轨迹；所述步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；通过视觉特效提示所有下一步可能选择键位：在屏幕的键盘区通过视觉特效凸显后续可选的字符，包括点亮所述屏幕的键盘区内的后续可选的字符，和/或采用特定颜色显示所述触摸屏的键盘区内的后续可选的字符；或/和禁用所有不可能选择的键位；和/或突显所述屏幕的键盘区内的后续可选的字符。
18.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括：步骤5201：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；步骤5202：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/...
【专利技术属性】
技术研发人员：陈涛，何吉波，朱若晴，郭闻浩，陈翔宇，
申请(专利权)人：陈涛，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。