【技术实现步骤摘要】
一种免校准眼动追踪系统及应用
本专利技术涉及结合眼部追踪的虚拟现实设备领域，具体涉及一种免校准眼动追踪系统，还涉及一种利用免校准眼动追踪系统进行仓储拣选的方法。
技术介绍
自动化智能仓储是现代物流技术的核心环节和最新发展阶段，随着增强现实技术成熟，将增强现实技术运用到仓储拣货中将简化拣货程序，不但可以解放人们的双手，在物流拣选中提高工作人员的拣选效率。还可以通过智能计算降低人工查找的出错几率。传统的仓储拣选需要手持PDA进行扫描，但是增强现实眼镜可以直接通过固定在设备上的摄像头进行扫描，释放拣选人员的双手。而这需要眼动检测以及交互的支持。眼动交互是人类最自然的交互方式之一，准确的注视估计一直是重要的研究课题。尤其是在仓储拣选环境下，由于工人的双手经常被占用，传统的手势交互无法满足需求，眼动交互变得尤为重要。通过对眼动注视时间、位置、轨迹等指标的检测，可以帮助工人更自然的进行条码扫描、更精准的定位商品和行动路线。而眼动交互的实施需要有眼动检测设备来完成。当前眼动检测中的注视估计方法分为两类：基于几何的方...
【技术保护点】
1.一种免校准眼动追踪系统，其特征在于，包括头戴设备以及与头戴设备通信连接的处理器，其中，头戴设备包括至少一个用于采集眼睛图像的眼睛相机和用于采集视野图像的世界相机以及用于增强现实显示投影数据的投影显示组件；/n所述处理器包含基于神经网络构建的眼动追踪模型，该眼动追踪模型用于根据眼睛相机采集的眼睛图像识别并预测目光注视点；/n所述处理器还包括显示处理单元，该显示处理单元用于在世界相机采集的视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件。/n
【技术特征摘要】
1.一种免校准眼动追踪系统，其特征在于，包括头戴设备以及与头戴设备通信连接的处理器，其中，头戴设备包括至少一个用于采集眼睛图像的眼睛相机和用于采集视野图像的世界相机以及用于增强现实显示投影数据的投影显示组件；
所述处理器包含基于神经网络构建的眼动追踪模型，该眼动追踪模型用于根据眼睛相机采集的眼睛图像识别并预测目光注视点；
所述处理器还包括显示处理单元，该显示处理单元用于在世界相机采集的视野图像中提取预测的目光注视点所在区域后，匹配目光注视点所在区域的投影数据并发送至投影显示组件。
2.如权利要求1所述的免校准眼动追踪系统，其特征在于，所述眼动追踪模型的构建方法包括：
构建包含眼睛图像和标定标签的样本集，每个样本包含两张左右眼睛图像和对应的标定标签；
构建神经网络，该神经网络包括ALSTM、FCN、合并层，其中，ALSTM用于对输入的两张左右眼睛图像提取第一语义特征，FCN用于对输入的两张左右眼睛图像提取第二语义特征，合并层用于融合第一语义特征和第二语义特征得到综合特征，该综合特征被激活和回归后输出预测结果；
构建损失函数，以预测结果与标定标签的交叉熵作为损失函数；
依据损失函数和样本集对神经网络进行训练，以优化网络参数，优化后的网络参数与神经网络结构组成眼动追踪模型。
3.如权利要求1或2所述的免校准眼动追踪系统，其特征在于，所述标定标签包括增强标定标签和现实标定标签，当眼睛图像由眼睛观看虚拟内容时的眼球追踪数据组成时，对应标定标签为增强标定标签，组成增强样本；当眼睛图像由观看物理世界时的眼球追踪数据组成时，对应标定标签为现实标定标签，组成现实样本；
训练时，利用增强样本和现实样本同时对神经网络进行训练，以优化网络参数。
4.如权利要求1或2所述的免校准眼动追踪系统，其特征在于，采用眼睛相机对眼睛进行持续捕捉，来采集眼睛观看虚拟内容时的眼球追踪数据和观看物理世界时的眼球追踪数据，组成系列视频帧；对采集的视频帧进行闭眼滤除和眨眼滤除，剩下的视频帧作为眼睛图像用于目光注视点预测。
5.如权利要求4所述的免校准眼动追踪系统，其特征在于，...
【专利技术属性】
技术研发人员：厉向东，牛雨婷，黄忠楠，王鹏飞，严子涵，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。