一种免校准眼动追踪系统及应用技术方案

本发明专利技术公开了一种免校准眼动追踪系统及应用，包括头戴设备以及与头戴设备通信连接的处理器，其中，头戴设备包括至少一个用于采集眼睛图像的眼睛相机和用于采集视野图像的世界相机以及用于增强现实显示投影数据的投影显示组件；所述处理器包含基于神经网络构建的眼动追踪模型，该眼动追踪模型用于根据眼睛相机采集的眼睛图像的特征向量识别并预测目光注视点；所述处理器还包括显示处理单元，该显示处理单元用于在世界相机采集的视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件。该免校准眼动追踪系统适用于仓储拣选，应用时无需校准，不同工人都可以直接使用免校准眼动追踪系统执行任务。

【技术实现步骤摘要】
一种免校准眼动追踪系统及应用
本专利技术涉及结合眼部追踪的虚拟现实设备领域，具体涉及一种免校准眼动追踪系统，还涉及一种利用免校准眼动追踪系统进行仓储拣选的方法。
技术介绍
自动化智能仓储是现代物流技术的核心环节和最新发展阶段，随着增强现实技术成熟，将增强现实技术运用到仓储拣货中将简化拣货程序，不但可以解放人们的双手，在物流拣选中提高工作人员的拣选效率。还可以通过智能计算降低人工查找的出错几率。传统的仓储拣选需要手持PDA进行扫描，但是增强现实眼镜可以直接通过固定在设备上的摄像头进行扫描，释放拣选人员的双手。而这需要眼动检测以及交互的支持。眼动交互是人类最自然的交互方式之一，准确的注视估计一直是重要的研究课题。尤其是在仓储拣选环境下，由于工人的双手经常被占用，传统的手势交互无法满足需求，眼动交互变得尤为重要。通过对眼动注视时间、位置、轨迹等指标的检测，可以帮助工人更自然的进行条码扫描、更精准的定位商品和行动路线。而眼动交互的实施需要有眼动检测设备来完成。当前眼动检测中的注视估计方法分为两类：基于几何的方法和基于外观的方法。基于几何的方法是使用某些眼睛特征来构建几何眼睛模型，来估计注视方向。最典型的方法是瞳孔中心角膜反射法(PCCR)，其基本思想是使用光源照亮眼睛产生明显的反射，并通过识别光源在角膜上的反射和图像中的瞳孔中心来计算注视方向。另一种常用的方法是通过眼睛形状来推断注视方向，如瞳孔中心和虹膜边缘。基于外观的方法通常需要相机捕获用户的眼睛图像，然后从大量眼睛图像中学习凝视方向的映射函数。到目前为止，研究者们已经探索了各种映射函数，如神经网络，局部线性插值，自适应线性回归，高斯过程回归和降维等。目前注视估计主要面临以下问题：在基于几何的方法中，为了确定几何模型的参数，需要复杂的标定校准过程，并且标定之后用户与相机的相对位置不能有太大变化，否则需要重新标定；而仓储环境下，工人需要在货架之间行走运动，并执行拣选任务，不能保持静止状态，因此无法保证工人与相机相对位置的长时间稳定。在基于外观的方法中，需要大量的训练样本来训练从眼睛图像到注视方向的映射函数，才能从训练样本中学习到精确的映射函数。但是，样本采集和标记的成本高昂，同样不适合利润率较低的物流行业。此外，目前已有的校准眼动装置需要每个用户在佩戴的时候花费一定时间进行校准，不同用户在不同时间使用不同眼动设备都需要进行眼动校准。
技术实现思路
鉴于上述，本专利技术提供了一种免校准眼动追踪系统和应用，该免校准眼动追踪系统适用于仓库内拣选环境，应用时无需校准，不同工人都能拿起来直接使用免校准眼动追踪系统执行任务。本专利技术的技术方案为：一种免校准眼动追踪系统，包括头戴设备以及与头戴设备通信连接的处理器，其中，头戴设备包括至少一个用于采集眼睛图像的眼睛相机和用于采集视野图像的世界相机以及用于增强现实显示投影数据的投影显示组件；所述处理器包含基于神经网络构建的眼动追踪模型，该眼动追踪模型用于根据眼睛相机采集的眼睛图像识别并预测目光注视点；所述处理器还包括显示处理单元，该显示处理单元用于在世界相机采集的视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件。一种利用上述免校准眼动追踪系统进行仓储拣选的方法，包括以下步骤：拣选用户佩戴所述头戴设备，头戴设备采集至少一个眼睛的眼睛图像和视野图像，并将采集的眼睛图像和视野图像返送至处理器；所述处理器实时提取眼睛图像的特征向量，并利用眼动追踪模型根据输入的特征向量预测目标注视点后，然后从视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件，其中，投影数据为拣货相关数据；投影显示组件对投影数据进行增强显示，重要拣货相关数据会突出显示，所述突出形式包括颜色差异和字体差异。与现有技术相比，本专利技术具有的有益效果至少包括：本专利技术提供的免校准眼动追踪系统，通过头戴设备带有的采集相机采集眼睛图像和视野图像，同时通过处理器中的眼动追踪模型根据眼睛图像预测目光注视点，由于眼动追踪模型是根据大量样本数据训练得到的眼睛图像包含的眼球追踪数据与目光注视点的映射关系，因此只要采集相机参数不变，该训练好的固有映射关系就不变，利用眼动追踪模型进行目光注视点预测无需因使用者不同而进行校准，与此同时，还通过显示处理单元依据目光注视点匹配投影数据，应用投影显示组件显示投影数据以适用仓储拣选应用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是本专利技术实施例提供的免校准眼动追踪系统的结构示意图；图2是本专利技术实施例提供的眼动追踪模型的结构示意图；图3是本专利技术实施例提供的眼动追踪模型的训练过程图；图4是本专利技术实施例提供的免校准眼动追踪系统进行仓储拣选的方法的流程图；图5是本专利技术实施例提供的仓库内执行拣选任务工人的视线扫视时，目光注视点所在区域的显示示意图；图6是本专利技术实施例提供的仓库内检查存货数量的仅视线注视时，停留位置的显示示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。为了解决在现有仓储环境下，工人多任务繁重，但是缺少便捷、低成本、校准过程简单的AR眼动追踪设备的问题，帮助仓内工人以更高效的方式执行拣选任务，本实施例提供了一种免校准眼动追踪系统，适用于仓内拣选、补货等任务，不同工人拿起来就可以立即使用。图1为免校准眼动追踪系统的结构示意图，如图1所示，该免校准眼动追踪系统包括头戴设备和处理器两部分，且头戴设备和处理器通信连接。头戴设备包括红外发射器、2个眼睛相机(Eyecameras)、世界相机(Worldcameras)以及投影显示组件，其中，红外发射器安装在Eyecameras上，发射红外光至眼睛上，有效避免头戴设备中显示屏发出的可见光和环境光干扰，以更好的捕捉到清晰的眼球和检测瞳孔的运动；头戴设备内可见光光强低，可见光成像几乎全是干扰/噪声，但红外光光强高(因为有红外发射器)，因此红外光(反射)成像效果远远优于可见光。两个Eyecameras分部固定安装在头戴设备内部，以自上而下的角度分拍摄左眼和右眼，用于捕捉眼球运动，Eyecameras经过改进，可进行红外感应；Worldcameras固定在头戴设备内部，右眼孔洞的左侧，与眼睛水平，用于记录用户的观察点，拍摄用户右眼视图，也就是视野图像，同时包括真实世界视图和增强现实视图，两个Eyecameras和Worldcameras通过USB数据线连接到处理器，该处理器本文档来自技高网...

【技术保护点】
1.一种免校准眼动追踪系统，其特征在于，包括头戴设备以及与头戴设备通信连接的处理器，其中，头戴设备包括至少一个用于采集眼睛图像的眼睛相机和用于采集视野图像的世界相机以及用于增强现实显示投影数据的投影显示组件；/n所述处理器包含基于神经网络构建的眼动追踪模型，该眼动追踪模型用于根据眼睛相机采集的眼睛图像识别并预测目光注视点；/n所述处理器还包括显示处理单元，该显示处理单元用于在世界相机采集的视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件。/n

【技术特征摘要】
1.一种免校准眼动追踪系统，其特征在于，包括头戴设备以及与头戴设备通信连接的处理器，其中，头戴设备包括至少一个用于采集眼睛图像的眼睛相机和用于采集视野图像的世界相机以及用于增强现实显示投影数据的投影显示组件；
所述处理器包含基于神经网络构建的眼动追踪模型，该眼动追踪模型用于根据眼睛相机采集的眼睛图像识别并预测目光注视点；
所述处理器还包括显示处理单元，该显示处理单元用于在世界相机采集的视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件。


2.如权利要求1所述的免校准眼动追踪系统，其特征在于，所述眼动追踪模型的构建方法包括：
构建包含眼睛图像和标定标签的样本集，每个样本包含两张左右眼睛图像和对应的标定标签；
构建神经网络，该神经网络包括ALSTM、FCN、合并层，其中，ALSTM用于对输入的两张左右眼睛图像提取第一语义特征，FCN用于对输入的两张左右眼睛图像提取第二语义特征，合并层用于融合第一语义特征和第二语义特征得到综合特征，该综合特征被激活和回归后输出预测结果；
构建损失函数，以预测结果与标定标签的交叉熵作为损失函数；
依据损失函数和样本集对神经网络进行训练，以优化网络参数，优化后的网络参数与神经网络结构组成眼动追踪模型。


3.如权利要求1或2所述的免校准眼动追踪系统，其特征在于，所述标定标签包括增强标定标签和现实标定标签，当眼睛图像由眼睛观看虚拟内容时的眼球追踪数据组成时，对应标定标签为增强标定标签，组成增强样本；当眼睛图像由观看物理世界时的眼球追踪数据组成时，对应标定标签为现实标定标签，组成现实样本；
训练时，利用增强样本和现实样本同时对神经网络进行训练，以优化网络参数。


4.如权利要求1或2所述的免校准眼动追踪系统，其特征在于，采用眼睛相机对眼睛进行持续捕捉，来采集眼睛观看虚拟内容时的眼球追踪数据和观看物理世界时的眼球追踪数据，组成系列视频帧；对采集的视频帧进行闭眼滤除和眨眼滤除，剩下的视频帧作为眼睛图像用于目光注视点预测。


5.如权利要求4所述的免校准眼动追踪系统，其特征在于，...

【专利技术属性】
技术研发人员：厉向东，牛雨婷，黄忠楠，王鹏飞，严子涵，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33