【技术实现步骤摘要】
本专利技术涉及眼动追踪，特别是涉及基于旋转目标检测的眼球运动追踪方法及系统。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、眼动追踪技术，即通过瞳孔定位分析人眼的注视点及方向，对于虚拟现实的前景渲染、人机交互、虚拟课堂教学、身份验证以及生物医疗领域的精神分析等应用具有重要的作用。在眼动追踪的核心流程中，精准识别瞳孔区域是至关重要的一环。现阶段，基于深度学习的算法在此领域已显示出较传统方法更为出色的表现，但仍存在一定的局限性。
3、首先，现有的深度学习算法主要依赖于语义分割技术，该技术通过对图像中的像素点进行二分类，之后通过后处理流程，从形状不规则的预测结果中拟合出椭圆来识别瞳孔区域。该类方法并未充分利用瞳孔形状实际为椭圆的先验信息。
4、其次，目前的算法尚未有效解决眨眼动作对瞳孔检测准确度的影响问题。在眨眼过程中，眼睑会遮挡瞳孔，从而使得模型的预测结果与实际产生较大的偏差。这种偏差会直接影响到眼动追踪技术在上述应用场景中的效能。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了基于旋转目标检测的眼球运动追踪方法及系统；通过结合先验知识和优化算法流程，期望能够显著提高眼动追踪的准确度与稳定性，从而为虚拟现实、人机交互以及其他相关领域提供更为可靠的技术支持。
2、一方面，提供了基于旋转目标检测的眼球运动追踪方法，包括：获取眼部图像序列；将眼部图像序列中的每一帧图像，输入到训练后的眼
3、另一方面，提供了基于旋转目标检测的眼球运动追踪系统，包括：获取模块，其被配置为：获取眼部图像序列；追踪模块，其被配置为：将眼部图像序列中的每一帧图像，输入到训练后的眼球运动追踪模型中，模型输出每一帧图像的瞳孔定位结果；其中，追踪模块，包括：特征提取融合单元，其被配置为：对第t帧图像进行特征提取和特征融合，得到第t帧图像的图像特征；t为大于等于1的正整数；判断单元，其被配置为：判断当前第t帧图像是否是眼部图像序列中的首帧图像，如果是，则进入瞳孔定位单元；如果不是首帧图像，则判断第t-1帧的瞳孔遮挡程度是否小于第一设定阈值，如果小于第一设定阈值，则进入瞳孔定位单元；如果大于第一设定阈值，则判断第t-1帧的瞳孔遮挡程度是否小于第二设定阈值，如果小于第二设定阈值，则对第t帧图像和模板进行时间域上的特征融合，进入瞳孔定位单元；如果大于第二设定阈值，则进入遮挡程度估计单元；瞳孔定位单元，其被配置为：采用旋转目标检测模型，对第t帧图像进行瞳孔定位；遮挡程度估计单元，其被配置为：采用语义分割，对第t帧图像瞳孔遮挡程度进行估计，如果第t帧图像瞳孔没有被遮挡，则将第t帧图像的瞳孔作为新的模板；再判断单元，其被配置为：判断第t帧图像是否为最后一帧图像，如果是，就结束，如果否，则对t加1，返回特征提取融合单元。
4、上述技术方案具有如下优点或有益效果：本专利技术能够在眨眼动作发生时保持高度的检测准确性。本专利技术主要利用了瞳孔本质上呈椭圆形状的先验知识，直接求得瞳孔所对应的椭圆。避免了基于语义分割的算法所需要的后处理步骤，因此更为简洁优雅。核心机理为应用旋转目标检测方法，求得与瞳孔所对应椭圆共享参数的最小外接矩形，从而获取瞳孔椭圆的中心点坐标、长轴长度、短轴长度，以及旋转角度。
5、在处理瞳孔部分遮挡情况时，本专利技术采用时间域上的融合技术。具体而言，利用先前未被眼睑遮挡的瞳孔图像特征作为模板，与当前帧图像特征在时间域上进行融合处理，以便在瞳孔被眼睑部分遮挡时，仍能够准确获取瞳孔的相关信息，从而实现精准的瞳孔检测。
6、同时，使用语义分割技术，来判断瞳孔的遮挡程度，从而使得模型根据瞳孔的遮挡程度，在不同的工作模式下进行切换。
7、此外，为了应对因眨眼动作速度过快、眨眼频率较低，导致的眨眼图像在数据集中分布稀少的问题，以及降低标注被部分遮挡瞳孔所需的人力，本专利技术提出了一种创新的数据生成策略。该策略能够利用完全睁眼状态下的瞳孔图像，生成相应的被眼睑部分遮挡瞳孔图像，从而丰富数据集的多样性，提升瞳孔检测算法在实际应用中的鲁棒性和准确性。
8、充分地利用了瞳孔是椭圆这一先验信息，避免了语义分割算法所需要的后处理操作，在瞳孔检测上，无论瞳孔是否被部分遮挡，均取得了很好的效果，尤其是瞳孔被遮挡程度很高时，与现有方法相比,取得了最好的效果。具体指标为,当瞳孔区域中，超过80%被遮挡时，与现有技术相比,本专利技术在交并比上提高了20%，在f1分数上提高了12.5%。并且，通过消融实验，证明了本专利技术所提出的时间域上的融合技术，以及数据生成策略是有效的。
本文档来自技高网...【技术保护点】
1.基于旋转目标检测的眼球运动追踪方法，其特征是，包括：
2.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，对第T帧图像进行特征提取和特征融合，得到第T帧图像的图像特征，具体包括：采用特征提取网络对第T帧图像进行特征提取；采用特征金字塔网络实现对特征提取网络提取的每个阶段的特征与每个阶段的下一阶段特征的融合。
3.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述瞳孔遮挡程度，采用训练后的语义分割网络络识别出图像中瞳孔像素点的个数；计算瞳孔遮挡程度：
4.如权利要求3所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述训练后的语义分割网络，训练过程包括：
5.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述对第T帧图像和模板进行时间域上的特征融合，包括：
6.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，采用旋转目标检测模型，对第T帧图像进行瞳孔定位，包括：
7.如权利要求6所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述分
8.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述训练后的眼球运动追踪模型，其结构包括：
9.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述训练后的眼球运动追踪模型，其训练过程包括：
10.基于旋转目标检测的眼球运动追踪系统，其特征是，包括：
...【技术特征摘要】
1.基于旋转目标检测的眼球运动追踪方法，其特征是，包括：
2.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，对第t帧图像进行特征提取和特征融合，得到第t帧图像的图像特征，具体包括：采用特征提取网络对第t帧图像进行特征提取；采用特征金字塔网络实现对特征提取网络提取的每个阶段的特征与每个阶段的下一阶段特征的融合。
3.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述瞳孔遮挡程度，采用训练后的语义分割网络络识别出图像中瞳孔像素点的个数；计算瞳孔遮挡程度：
4.如权利要求3所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述训练后的语义分割网络，训练过程包括：
5.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，所述对第t帧图像和模板进行时间域上的特征融合，包括：
6.如权利要求1所述的基于旋转目标检测的眼球运动追踪方法，其特征是，采用旋转目标检测模型，对第t帧图像进行瞳孔定位...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。