基于事件相机的眼球追踪方法、设备、介质及程序产品技术

本申请提供了一种基于事件相机的眼球追踪方法、设备、介质及程序产品，该方法包括：控制光源组件的多个离散发光单元按照预设发光时序数据分别向用户眼球发射光线，以及控制事件相机采集用户眼球相应的光斑事件数据；基于光斑事件数据获取用户眼球实际形成的光斑在相机坐标系下的三维空间坐标；根据三维空间坐标拟合对应于用户眼球的巩膜球面以及角膜球面；结合巩膜球面以及角膜球面的球心坐标确定光轴方向。通过本申请方案的实施，将事件相机引入3D视线追踪检测，可为突破当前技术的算法复杂瓶颈提供硬件支撑和前提条件，可满足高速眼球追踪需求，降低算力平台成本。降低算力平台成本。降低算力平台成本。

【技术实现步骤摘要】
基于事件相机的眼球追踪方法、设备、介质及程序产品


[0001]本申请涉及眼球追踪
，尤其涉及一种基于事件相机的眼球追踪方法、设备、介质及程序产品。

技术介绍

[0002]眼球追踪是利用机械、电子、光学等方式获取用户当前注视方向的技术。近年来，眼球追踪发展出了电流记录法、电磁线圈法、反光记录法、双普尔钦像法、角膜反射法等多种眼球追踪分析方法。随着眼动技术研究的不断深入和发展，其应用的领域也越来越广泛，目前已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理分析等多个领域。
[0003]基于相机的三维视线估计方法是目前较为成熟的一种眼球追踪方法，通常利用光源反射以及瞳孔折射等几何成像关系，如：角膜中心、光轴的向量、光轴与视轴的转换关系等，求解视线相关的空间三维信息，估计出三维视线。然而，该方法解算三维视线的过程中涉及到多元高次非线性方程组问题，计算速度慢，算力平台成本高，无法进行低成本、高速的眼球追踪。

技术实现思路

[0004]本申请实施例提供了一种基于事件相机的眼球追踪方法、设备、介质及程序产品，至少能够解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的眼球追踪方法，其特征在于，包括：控制光源组件的多个离散发光单元按照预设发光时序数据分别向用户眼球发射光线，以及控制事件相机采集所述用户眼球相应的光斑事件数据；基于所述光斑事件数据获取所述用户眼球实际形成的光斑在相机坐标系下的三维空间坐标；根据所述三维空间坐标拟合对应于所述用户眼球的巩膜球面以及角膜球面；结合所述巩膜球面以及所述角膜球面的球心坐标确定光轴方向。2.根据权利要求1所述的眼球追踪方法，其特征在于，所述基于所述光斑事件数据获取所述用户眼球实际形成的光斑在相机坐标系下的三维空间坐标的步骤，包括：基于所述光斑事件数据以及发光时序数据，建立相机拍摄光斑与所述离散发光单元的坐标对应关系；基于所述坐标对应关系获取所述用户眼球实际形成的光斑在相机坐标系下的三维空间坐标。3.根据权利要求2所述的眼球追踪方法，其特征在于，所述光源组件为X型光源组件；所述基于所述坐标对应关系获取所述用户眼球实际形成的光斑在相机坐标系下的三维空间坐标的步骤，包括：基于所述坐标对应关系获取所述用户眼球实际形成的X型光斑在相机坐标系下的三维空间坐标。4.根据权利要求3所述的眼球追踪方法，其特征在于，所述X型光源组件包括倾斜设置且倾斜方向相反的第一直线型光源组件以及第二直线型光源组件，所述第一直线型光源组件以及所述第二直线型光源组件均设置有多个所述离散发光单元；所述基于所述坐标对应关系获取所述用户眼球实际形成的X型光斑在相机坐标系下的三维空间坐标的步骤，包括：分别获取所述第一直线型光源组件、所述第二直线型光源组件与所述事件相机的初始外参矩阵以及初始内参矩阵；其中，外参矩阵包括旋转矩阵以及平移向量；基于所述初始外参矩阵计算以所述事件相机光心为世界坐标系原点的相对外参矩阵；基于所述坐标对应关系、所述相对外参矩阵、所述初始内参矩阵以及所述事件相机的初始外参矩阵中平移向量，计算所述用户眼球实际形成的X型光斑在相机坐标系下的三维空间坐标。5.根据权利要求4所述的眼球追踪方法，其特征在于，所述基于所述初始外参矩阵计算以所述事件相机光心为世界坐标系原点的相对外参矩阵的步骤，包括：将所述初始外参矩阵代入至预设相对外参矩阵计算公式，计算以所述事件相机光心为世界坐标系原点的相对外参矩阵；所述相对外参矩阵计算公式表示为：为：为：为：
其中，
Tx1
‑
Rx
和T
Tx1
‑
Rx
分别表示所述第一直线型光源组件相对于所述事件相机的相对旋转矩阵和相对平移向量，R
Tx2
‑
Rx
和T
Tx2
‑
Rx
分别表示所述第二直线型光源组件相对于所述事件相机的相对旋转矩阵和相对平移向量，R
Rx
和T
Rx
分别表示所述事件相机的初始旋转矩阵和初始平移向量，R
Tx1
和T
Tx1
分别表示所述第一直线型光源组件的初始旋转矩阵和初始平移向量，R
Tx2
和T
Tx2
分别表示所述第二线型光源组件的初始旋转矩阵和初始平移向量，T表示转置运算。6.根据权利要求5所述的眼球追踪方法，其特征在于，所述基于所述坐标对应关系、所述相对外参矩阵、所述初始内参矩阵以及所述事件相机的初始外参矩阵中平移向量，计算所述用户眼球实际形成的X型光斑在相机坐标系下的三维空间坐标的步骤，包括：将所述坐标对应关系、所述相对外参矩阵、所述初始内参矩阵以及所述事件相机的初始外参矩阵中平移向量代入至预设坐标计算公式，计算所述用户眼球实际形成的X型光斑在相机坐标系下的三维空间坐标；所述坐标计算公式表示为：C
1i
＝A
Rx
[R
Tx1
‑
Rx
*P
1i
+T
Rx
]L
1i
＝A
Tx1
[R
Tx1
‑
Rx
*P
1i
+T<...

【专利技术属性】
技术研发人员：邓坚，
申请(专利权)人：深圳锐视智芯科技有限公司，
类型：发明
国别省市：