【技术实现步骤摘要】
本专利技术涉及眼动追踪，具体涉及一种眼动追踪方法、装置、电子设备及计算机存储介质。
技术介绍
1、眼动追踪是一种通过记录和分析人眼运动来研究和理解人类视觉注意力和认知过程的技术。人眼在观察物体或图像时，会通过快速的、无意识的眼球运动来扫描和关注感兴趣的区域。采用眼动追踪可以追踪和测量人眼在观察视觉刺激时的注视点和眼球运动路径，以揭示人眼在观察和处理信息时的行为和模式。眼动追踪技术在许多领域有广泛的应用，包括但不限于：用户体验研究、广告和营销、人机交互、医学和教育研究等方面。
2、瞳孔角膜反射追踪方法作为目前眼动追踪的方法中最为主流、最为常见的方法，其通常采用传统图像处理方法和直接拟合注视点方法已实现对目标的检测，例如通过图像的阈值分割直接提取瞳孔和反射点区域。但这类方法不能很好地处理复杂背景下的目标检测，例如在环境光复杂、睫毛遮挡等复杂背景。
3、其中，现有技术中直接拟合注视点估计方法，是直接采用眼部图像或者反射点拟合，只能粗略估计，估计点与实际注视点误差较大，不能满足需要注视点精确定位的应用场景。
技术实现思路
1、本专利技术要解决的技术问题是：现有瞳孔角膜反射方法无法实现复杂背景下的目标检测，且估计点与实际注视点误差较大，不能满足需要注视点精确定位的应用场景。
2、为了解决上述技术问题，本专利技术的技术方案是提供了一种眼动追踪方法，用于通过红外摄像头对红外光源照射的目标注视标定点产生的眼动进行实时追踪，所述方法包括以下步骤：实时获取红外摄像头
3、优选地，建立所述角膜区域检测模型包括以下步骤：获取用于训练的视频图像。对用于训练的视频图像进行预处理得到imagenet数据集，预处理包括对视频图像进行保留三通道的灰度处理，以及将灰度处理后的视频图像进行数据扩增。将imagenet数据集按照预设比例分成训练集和验证集。将训练集作为角膜区域检测模型的输入数据，验证集作为角膜区域检测模型的输出数据，基于深度卷积网络对角膜区域检测模型进行迭代训练，得到第一训练权值。采用均方误差函数作为损失函数分析第一训练权值，得到第一分析结果。根据第一分析结果选取第一训练权值作为第一训练结果，建立角膜区域检测模型。
4、优选地，建立所述dfanet分割网络模型包括以下步骤：获取用于训练的角膜区域图像。对用于训练的角膜区域图像进行数据扩增得到cityscapes数据集。将cityscapes数据集按照预设比例分成训练集和验证集。将训练集作为dfanet分割网络模型的输入数据，验证集作为dfanet分割网络模型的输出数据，对dfanet分割网络模型进行迭代训练，得到第二训练权值。其中，验证集包括瞳孔预测区域集和红外反射点预测区域集，输出层包括瞳孔区域输出层和红外反射点区域输出层。采用二分类交叉熵函数作为损失函数分析第二训练权值，得到第二分析结果。根据第二分析结果选取第二训练权值作为第二训练结果，建立dfanet分割网络模型。
5、优选地，在基于深度卷积网络的分割模型获取所述角膜坐标之后，将所述角膜坐标再扩大30个像素点，以使角膜区域在经过基于深度卷积网络的分割模型分割后得以保留。
6、优选地，建立所述预设校准函数包括以下步骤：获取多个目标注视标定点产生的理论目标眼动坐标。根据标定点和理论目标眼动坐标进行函数多项式拟合或神经网络拟合。建立预设校准函数。
7、优选地，所述角膜区域检测模型以mobilenetv3为主干网络，输出分支是回归任务。
8、本专利技术还提供一种眼动追踪装置，包括：带有红外摄像头的显示屏，显示屏的显示页面显示标定点，红外摄像头实时拍摄目标的视频图像。红外光源，设置于目标的对侧，用于为红外摄像头拍摄视频图像提供光源。
9、本专利技术还提供一种电子设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述的一种眼动追踪方法。
10、本专利技术还提供一种计算机可读存储介质，用于存储指令，当所述指令在计算机上运行时，使得计算机执行上述的一种眼动追踪方法。
11、本专利技术提出一种眼动追踪方法、装置、电子设备及计算机存储介质，相比瞳孔角膜反射方法中采用传统图像处理方法，本专利技术通过深度学习目标检测技术，基于深度卷积网络的角膜区域粗定位检测和基于深度卷积网络的区域分割，具有强图像检测能力和鲁棒性，能够避免环境光和睫毛遮挡等干扰，从而很好地处理环境光复杂、睫毛遮挡等复杂背景下的瞳孔中心和红外反射点检测，检测鲁棒性更强。相比直接用眼部图像或者反射点拟合注视点的方法，本方案结合粗估计和微调校正精确估计的方法，使得注视点估计更加准确。
本文档来自技高网...【技术保护点】
1.一种眼动追踪方法，其特征在于，用于通过红外摄像头对红外光源照射的目标注视标定点产生的眼动进行实时追踪，所述方法包括以下步骤：
2.如权利要求1所述的一种眼动追踪方法，其特征在于，建立所述角膜区域检测模型包括以下步骤：
3.如权利要求1所述的一种眼动追踪方法，其特征在于，建立所述DFANet分割网络模型包括以下步骤：
4.如权利要求1所述的一种眼动追踪方法，其特征在于，在基于深度卷积网络的分割模型获取所述角膜坐标之后，将所述角膜坐标再扩大30个像素点，以使角膜区域在经过基于深度卷积网络的分割模型分割后得以保留。
5.如权利要求1所述的一种眼动追踪方法，其特征在于，建立所述预设校准函数包括以下步骤：
6.如权利要求1所述的一种眼动追踪方法，其特征在于，所述角膜区域检测模型以MobileNetV3为主干网络，输出分支是回归任务。
7.一种眼动追踪装置，其特征在于，包括：
8.一种电子设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，该程序或指令被处理器执行时实现如权
9.一种计算机可读存储介质，其特征在于，用于存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1所述的一种眼动追踪方法。
...【技术特征摘要】
1.一种眼动追踪方法，其特征在于，用于通过红外摄像头对红外光源照射的目标注视标定点产生的眼动进行实时追踪，所述方法包括以下步骤：
2.如权利要求1所述的一种眼动追踪方法，其特征在于，建立所述角膜区域检测模型包括以下步骤：
3.如权利要求1所述的一种眼动追踪方法，其特征在于，建立所述dfanet分割网络模型包括以下步骤：
4.如权利要求1所述的一种眼动追踪方法，其特征在于，在基于深度卷积网络的分割模型获取所述角膜坐标之后，将所述角膜坐标再扩大30个像素点，以使角膜区域在经过基于深度卷积网络的分割模型分割后得以保留。
5.如权利要求1所...
【专利技术属性】
技术研发人员：王崇阳，陈文光，
申请(专利权)人：上海美沃精密仪器股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。