头戴式眼动追踪设备及其眼动追踪方法技术

本发明专利技术提供了一种头戴式眼动追踪设备及其眼动追踪方法。头戴式眼动追踪设备包括头戴式主体、第一摄像机、第二摄像机以及控制系统。第一摄像机设置在头戴式主体上，用于采集佩戴者的眼部运动图像。第二摄像机设置在头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像。控制系统与第一摄像机和第二摄像机分别连接。控制系统包括图像剪裁预处理模块、眼部运动图像处理模块、视野图像处理模块、回归模型建立模块以及注视点位置确定模块。本发明专利技术通过获取校准阶段瞳孔中心位置坐标和校准阶段标志物中心位置坐标，构建回归模型，利用这一回归模型计算使用者注视点位置，以实现眼动追踪，所需硬件设备简单，成本低廉，能应用于大规模使用场景中。

Head-mounted Eye Tracking Equipment and Eye Tracking Method

The invention provides a head-mounted eye tracking device and an eye tracking method thereof. Head-mounted eye tracking equipment includes head-mounted body, first camera, second camera and control system. The first camera is arranged on the head-mounted body for collecting the eye movement image of the wearer. The second camera is arranged on the head-mounted main body for collecting the field image of the stimulus picture in front of the wearer. The control system is connected with the first camera and the second camera respectively. The control system includes image clipping pretreatment module, eye movement image processing module, visual field image processing module, regression model building module and gaze position determination module. By acquiring the coordinates of pupil center position in the calibration stage and the coordinates of marker center position in the calibration stage, the present invention constructs a regression model and calculates the user's gaze position by using this regression model to realize eye tracking. The hardware required is simple and the cost is low, and it can be applied in large-scale use scenarios.

【技术实现步骤摘要】
头戴式眼动追踪设备及其眼动追踪方法
本专利技术涉及眼动仪器仪表
，具体地，涉及头戴式眼动追踪设备及其眼动追踪方法。
技术介绍
随着科技发展及市场需要，眼动仪的应用价值在越来越多的场景中得到了注意，近年来眼动仪在心理学与神经科学，用户体验与交互，市场与消费者和技能学习与实践等诸多研究领域得到了广泛应用。传统桌面式眼动仪需要将观看材料呈现在显示器上，受试者在显示器前接受测试，然而许多研究需要受试者处在真实的场景中才能有效地进行。例如在购物场景中研究商品包装对消费者的影响，在技能实践场景中研究非熟练者和熟练者之间的差异，在博物馆场景中研究参观者的关注点等，这些研究都需要使用头戴式眼动仪。而且，在VR/AR领域的研究更是需要用头戴式的眼动仪以保证沉浸式的体验。
技术实现思路
考虑到上述问题，根据本专利技术的一个方面，提供一种头戴式眼动追踪设备。本专利技术提供地头戴式眼动追踪设备，包括：头戴式主体；第一摄像机，设置在所述头戴式主体上，用于采集佩戴者的眼部运动图像；第二摄像机，设置在所述头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像；控制系统，与所述第一摄像机和所述第二摄像机分别连接；其中，所述控制系统包括：图像剪裁预处理模块，用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；眼部运动图像处理模块，用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；视野图像处理模块，用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；回归模型建立模块，用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及注视点位置确定模块，用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。示例性地，所述控制系统还包括视频同步模块，用于提取于一提示音后采集的眼部运动图像的第一音频信号及该提示音后采集的视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。示例性地，所述眼部运动图像处理模块包括：阈值设定模块，用于设定瞳孔初始二值化阈值；图像二值化模块，用于将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及瞳孔中心位置提取模块，用于判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。示例性地，所述视野图像处理模块包括：角点提取模块，用于对视野图像进行Harris角点提取；以及标志物中心位置提取模块，用于根据刺激图片的特点，取角点密集区域的中心为标志物中心。示例性地，所述刺激图片包括：黑色十字标志物中心位于图片中心的中心黑色十字形标志物图片；黑色十字标志物中心距离图片左边缘150像素、距离图片上边缘150像素的左上黑色十字形标志物图片；黑色十字标志物中心距离图片右边缘150像素、距离图片上边缘150像素的右上黑色十字形标志物图片；黑色十字标志物中心距离图片左边缘150像素、距离图片下边缘150像素的左下黑色十字形标志物图片；以及黑色十字标志物中心距离图片右边缘150像素、距离图片下边缘150像素的右下黑色十字形标志物图片。根据本专利技术的另一个方面，提供一种眼动追踪方法，包括：采集佩戴者的眼部运动图像；采集佩戴者正前方的刺激图片的视野图像；图像剪裁预处理，将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；眼部运动图像处理，对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；视野图像处理，对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；回归模型建立，于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及注视点位置确定，于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。示例性地，采集佩戴者正前方的刺激图片的视野图像时，包括：将中心黑色十字形标志物图片、左上黑色十字形标志物图片、右上黑色十字形标志物图片、左下黑色十字形标志物图片及右下黑色十字形标志物图片依次显示3-5秒钟。示例性地，于校准时，在对图像剪裁预处理前，还包括：于一提示音后采集眼部运动图像的第一音频信号及该提示音后采集视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。示例性地，所述眼部运动图像处理包括：阈值设定，设定瞳孔初始二值化阈值；图像二值化，将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及瞳孔中心位置提取，判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。示例性地，所述视野图像处理包括：角点提取，对视野图像进行Harris角点提取；以及标志物中心位置提取，根据刺激图片的特点，取角点密集区域的中心为标志物中心。本专利技术的头戴式眼动追踪设备，通过获取校准阶段瞳孔中心位置坐标和校准阶段标志物中心位置坐标，构建回归模型，利用这一回归模型计算使用者注视点位置，以实现眼动追踪，所需硬件设备简单，成本低廉，能应用于大规模使用场景中。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是根据本专利技术实施例的头戴式眼动追踪设备的结构框图；图2是图1中的控制系统的结构框图；图3是图2中的眼部运动图像处理模块的结构框图；图4是根据本专利技术实施例的眼动跟踪方法的流程示意图；图5是根据本专利技术实施例的刺激图片的示意图。其中，附图标记为110—头戴式主体120—第一摄像机130—第二摄像机140—控制系统141—视频同步模块142—图像剪裁预处理模块143—眼部运动图像处理模块144—视野图像处理模块145—回归模型建立模块146—注视点位置确定模块具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。如图1所示，本专利技术提供的头戴式眼动追踪设备，包括头戴式主体110、第一摄像机120、第二摄像机130和控制系统140。示例性地，头戴式主体可以是常用的护目镜，也可以是常用的眼镜。本文档来自技高网...

【技术保护点】
1.一种头戴式眼动追踪设备，其特征在于，包括：头戴式主体；第一摄像机，设置在所述头戴式主体上，用于采集佩戴者的眼部运动图像；第二摄像机，设置在所述头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像；控制系统，与所述第一摄像机和所述第二摄像机分别连接；其中，所述控制系统包括：图像剪裁预处理模块，用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；眼部运动图像处理模块，用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；视野图像处理模块，用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；回归模型建立模块，用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及注视点位置确定模块，用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。

【技术特征摘要】
1.一种头戴式眼动追踪设备，其特征在于，包括：头戴式主体；第一摄像机，设置在所述头戴式主体上，用于采集佩戴者的眼部运动图像；第二摄像机，设置在所述头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像；控制系统，与所述第一摄像机和所述第二摄像机分别连接；其中，所述控制系统包括：图像剪裁预处理模块，用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；眼部运动图像处理模块，用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；视野图像处理模块，用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；回归模型建立模块，用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及注视点位置确定模块，用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。2.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述控制系统还包括视频同步模块，用于提取于一提示音后采集的眼部运动图像的第一音频信号及该提示音后采集的视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。3.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述眼部运动图像处理模块包括：阈值设定模块，用于设定瞳孔初始二值化阈值；图像二值化模块，用于将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及瞳孔中心位置提取模块，用于判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。4.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述视野图像处理模块包括：角点提取模块，用于对视野图像进行Harris角点提取；以及标志物中心位置提取模块，用于根据刺激图片的特点，取角点密集区域的中心为标志物中心。5.如权利要求1所述的头戴式眼动追踪设备，其特征在于，所述刺激图片包括：黑色十字标志物中心位于图片中心的中心黑色十字形标志物图片；黑色十字标志物中心距离图片左边缘150像素、距离图片上边缘150像素的左上黑色十字形标志物图片；黑色十字标志物中...

【专利技术属性】
技术研发人员：高小榕，李登昊，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11