一种基于手眼交互的眼动追踪系统及其校准方法技术方案

本发明专利技术提供一种基于手眼交互的眼动追踪系统及其校准方法，系统包括显示器、第一光源、第二光源、第三光源、第四光源、红外双摄模块、场景相机、眼镜支架和控制器，红外双摄模块由第一相机和第二相机组成，红外双摄模块安装在显示器正下方或者安装在眼镜支架上；第一光源位于显示器右侧中间位置、第二光源位于显示器正上方、第三光源位于显示器左侧中间位置、第四光源位于显示器正下方；场景相机设置在眼镜支架上；控制器包括眼部特征提取模块、指尖提取模块、隐式校准模块、注视空间几何模块。本发明专利技术能够在不显示校准点且不使用专用校准工具、无需用户主观配合的情况下，实现隐式校准。实现隐式校准。实现隐式校准。

【技术实现步骤摘要】
一种基于手眼交互的眼动追踪系统及其校准方法


[0001]本专利技术涉及眼动仪器仪表
，具体涉及一种基于手眼交互的眼动追踪系统及其校准方法。

技术介绍

[0002]眼动追踪设备是一种用于研究人类视觉行为的仪器，如人眼的注视点、注视时长、扫视速度、眼动速度等视觉行为参数，以及人们对不同刺激的反应等。目前已被广泛应用于心理学、神经科学、人机交互、市场营销等领域，帮助研究人类的认知和行为，提高产品设计和营销策略的效果。
[0003]目前，眼动追踪技术主要有以下三种方法：基于2D多项式回归的方法、基于3D眼球模型的方法和基于机器学习的方法。
[0004]基于2D多项式回归的方法就是建立瞳孔角膜矢量特征与被注视平面之间的二维映射关系，通常采用的方法是二次多项式拟合，一般需要9点校准，即需要用户在使用前依次注视屏幕上的9个校准点，并且每次使用都要重新进行校准。还有一种校准方法是采用平滑尾随的方式进行校准，该方法通过让用户注视一个按特定轨迹运动的校准点来获取一组校准的数据，然后利用获得的校准数据，建立眼部特征与注视点的映射关系，最终实现眼动追踪。
[0005]基于3D眼球模型的方法是利用角膜的光学特性以及人眼的一些参数来求出人眼的视线方向，从而估计出人眼在真实世界中的注视点位置。由于人的视线方向是由视轴决定的，而基于3D眼球模型的方法只能获取人眼的光轴方向，光轴和视轴之间会存在一个偏角，叫做kappa角。不同的人会具有不同的kappa角，所以这种方法也需要一个用户校准过程。
[0006]基于机器学习的方法是利用神经网络、深度学习等方法将瞳孔参数、瞳孔角膜矢量、反射光斑的坐标等特征和注视方向进行匹配。这种方法不需要用户的校准过程，但是这种方法需要大量的训练数据，并且精度也较低，一般在5
°
左右，而基于2D多项式回归的方法和基于3D眼球模型的方法在校准后，一般能达到1
°
左右。同时，基于机器学习的方法可能会存在过拟合的现象，也会导致视线估计的精度较低。
[0007]综上所述，目前的眼动追踪设备，为了实现较高的识别精度，都需要复杂的校准过程，即使是注视一个点的校准任务，也会对自然交互产生干扰。眼动追踪的一个重要应用领域就是医学领域，如婴幼儿认知行为研究、抑郁症以及其他心理疾病的研究，做这些研究时，使用者大多数为小孩，或者有心理疾病的人，他们很难准确地完成校准过程，无法满足易用性的要求。因此研究一种不显示校准点且不使用专用校准工具、无需用户主观配合的隐式校准眼动交互技术在实际的运用具有重要意义。

技术实现思路

[0008]本专利技术的目的在于，提供一种基于手眼交互的眼动追踪系统及其校准方法，以解
决上述现有技术中存在的需要显示校准点、使用专用校准工具或需要用户主观配合导致的易用性差以及精度低的问题。
[0009]一方面，本专利技术提供一种基于手眼交互的眼动追踪系统，包括显示器、第一光源、第二光源、第三光源、第四光源、红外双摄模块、场景相机、眼镜支架和控制器，其中，所述红外双摄模块由第一相机和第二相机组成，所述红外双摄模块安装在显示器正下方或者安装在眼镜支架上；所述第一光源位于显示器右侧中间位置、第二光源位于显示器正上方、第三光源位于显示器左侧中间位置、第四光源位于显示器正下方；所述场景相机设置在眼镜支架上；
[0010]所述红外双摄模块用于获取使用者眼部图像；所述第一光源、第二光源、第三光源、第四光源用于形成反射点；所述场景相机和眼镜支架组成头戴式场景相机，用于采集使用者正前方的视野图像；所述控制器包括眼部特征提取模块、指尖提取模块、隐式校准模块、注视空间几何模块，其中，所述眼部特征提取模块，用于将眼部运动图像进行分割并转化为灰度图，并对转化后图像进行处理以提取每个时刻的瞳孔中心位置以及红外光源在眼部的反光点位置；所述指尖提取模块用于当手眼交互事件发生时，提取使用者视野中的指尖坐标；所述隐式校准模块用于利用眼部特征提取模块提取的瞳孔中心坐标以及指尖提取模块所提供的指尖坐标，求解初始位置的光轴方向；所述注视空间几何模块用于根据隐式校准模块输出的初始位置的光轴方向，求解当前时刻注视点坐标。
[0011]进一步的，所述第一光源、第二光源、第三光源、第四光源均为红外光源。
[0012]进一步的，所述场景相机与显示器通过数据线连接或者采用无线连接。
[0013]另一方面，本专利技术提供一种基于手眼交互的眼动校准方法，该方法基于上述本专利技术的基于手眼交互的眼动校准系统，具体包括如下步骤：
[0014]步骤S1，采集眼部图像，将眼部运动图像进行分割并转化为灰度图，并对转化后图像进行处理以提取每个时刻的瞳孔中心位置以及红外光源在眼部的反光点位置；
[0015]步骤S2，提取使用者视野中的指尖坐标；
[0016]步骤S3,利用步骤S1提取的瞳孔中心坐标、反光点坐标以及步骤S2提取的指尖坐标，求解初始位置的光轴方向；
[0017]步骤S4,根据初始位置的光轴方向，求解当前时刻的注视点坐标。
[0018]进一步的，所述步骤S1具体包括如下步骤：
[0019]步骤S10，使用者带上眼镜支架；
[0020]步骤S11，红外双摄模块打开，第二相机、第一相机采集图像，得到眼部运动图像；
[0021]步骤S12，将步骤S11得到的当前帧图像进行分割，分别提取第二相机与第一相机采集的图像，将第二相机采集的图像定义为右图像，第一相机采集的图像定义为左图像；将左图像和右图像均转化为灰度图；分别对右图像与左图像对应的灰度图进行眼部区域检测，得到右图像对应的眼部区域图像与左图像对应的眼部区域图像；
[0022]步骤S13，对步骤S12得到的右图像对应的眼部区域图像和左图像对应的眼部区域图像分别进行阈值分割，得到右图像对应的二值化图像和左图像对应的二值化图像；
[0023]步骤S14，从步骤S13得到的右图像对应的二值化图像得到左眼瞳孔坐标和对应的两个反光点坐标；从左图像对应的二值化图像得到左眼瞳孔坐标和对应的两个反光点坐标；同理，得到左、右图像对应的右眼瞳孔坐标和对应的两个反光点坐标；
[0024]步骤S15，根据步骤S14的结果，得到当前时刻对应的左眼瞳孔和两个反光点在相机坐标系下的空间三维坐标。
[0025]进一步的，所述步骤S2具体包括如下步骤：
[0026]步骤S20，场景相机打开，采集场景相机图像；
[0027]步骤S21，判断是否有手眼交互事件的发生，所述的手眼交互事件是指使用者手指点击开始按钮；如果手眼交互事件发生，保存事件发生时视野相机采集的图像，否则，将继续等待该手眼交互事件发生；
[0028]步骤S22，对保存的图像进行指尖检测，获取指尖坐标。
[0029]进一步的，所述步骤S22中，所述指尖检测的方法为通过深度学习的方法进行指尖检测，或者利用肤色分割的方法获取指尖位置：首先将采集的RGB图像转化为HSV格式，利用H、S、V空间的肤色模型获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手眼交互的眼动追踪系统，其特征在于，包括显示器、第一光源、第二光源、第三光源、第四光源、红外双摄模块、场景相机、眼镜支架和控制器，其中，所述红外双摄模块由第一相机和第二相机组成，所述红外双摄模块安装在显示器正下方或者安装在眼镜支架上；所述第一光源位于显示器右侧中间位置、第二光源位于显示器正上方、第三光源位于显示器左侧中间位置、第四光源位于显示器正下方；所述场景相机设置在眼镜支架上；所述红外双摄模块用于获取使用者眼部图像；所述第一光源、第二光源、第三光源、第四光源用于形成反射点；所述场景相机和眼镜支架组成头戴式场景相机，用于采集使用者正前方的视野图像；所述控制器包括眼部特征提取模块、指尖提取模块、隐式校准模块、注视空间几何模块，其中，所述眼部特征提取模块，用于将眼部运动图像进行分割并转化为灰度图，并对转化后图像进行处理以提取每个时刻的瞳孔中心位置以及红外光源在眼部的反光点位置；所述指尖提取模块用于当手眼交互事件发生时，提取使用者视野中的指尖坐标；所述隐式校准模块用于利用眼部特征提取模块提取的瞳孔中心坐标以及指尖提取模块所提供的指尖坐标，求解初始位置的光轴方向；所述注视空间几何模块用于根据隐式校准模块输出的初始位置的光轴方向，求解当前时刻注视点坐标。2.如权利要求1基于手眼交互的眼动追踪系统，其特征在于，所述第一光源、第二光源、第三光源、第四光源均为红外光源。3.如权利要求1基于手眼交互的眼动追踪系统，其特征在于，所述场景相机与显示器通过数据线连接或者采用无线连接。4.一种基于手眼交互的眼动校准方法，其特征在于，基于权利要求1～3任一项所述的基于手眼交互的眼动校准系统，具体包括如下步骤：步骤S1，采集眼部图像，将眼部运动图像进行分割并转化为灰度图，并对转化后图像进行处理以提取每个时刻的瞳孔中心位置以及红外光源在眼部的反光点位置；步骤S2，提取使用者视野中的指尖坐标；步骤S3,利用步骤S1提取的瞳孔中心坐标、反光点坐标以及步骤S2提取的指尖坐标，求解初始位置的光轴方向；步骤S4,根据初始位置的光轴方向，求解当前时刻的注视点坐标。5.如权利要求4所述的基于手眼交互的眼动校准方法，其特征在于，所述步骤S1具体包括如下步骤：步骤S10，使用者带上眼镜支架；步骤S11，红外双摄模块打开，第二相机、第一相机采集图像，得到眼部运动图像；步骤S12，将步骤S11得到的当前帧图像进行分割，分别提取第二相机与第一相机采集的图像，将第二相机采集的图像定义为右图像，第一相机采集的图像定义为左图像；将左图像和右图像均转化为灰度图；分别对右图像与左图像对应的灰度图进行眼部区域检测，得到右图像对应的眼部区域图像与左图像对应的眼部区域图像；步骤S13，对步骤S12得到的右图像对应的眼部区域图像和左图像对应的眼部区域图像分别进行阈值分割，得到右图像对应的二值化图像和左图像对应的二值化图像；步骤S14，从步骤S13得到的右图像对应的二值化图像得到左眼瞳孔坐标和对应的两个反光点坐标；从左图像对应的二值化图像得到左眼瞳孔坐标和对应的两个反光点坐标；同理，得到左、右图像对应的右眼瞳孔坐标和对应的两个反光点坐标；
步骤S15，根据步骤S14的结果，得到当前时刻对应的左眼瞳孔和两个反光点在相机坐标系下的空间三维坐标。6.如权利要求4所述的基于手眼交互的眼动校准方法，其特征在...

【专利技术属性】
技术研发人员：王荃，吴兵兵，胡炳樑，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：