一种自由空间头戴式视线跟踪系统技术方案

本发明专利技术公开了一种头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程；以及双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。

【技术实现步骤摘要】

本专利技术涉及视线跟踪领域，尤其涉及一种自由空间头戴式视线跟踪系统。
技术介绍
视线跟踪技术主要是利用眼动测量设备记录眼球的运动情况，从而判断出人的视线方向，达到跟踪人视线的目的。视觉是人们获取信息的主要方式，由于视线具有直接性、自然性和双向性等特点，使得视线跟踪技术在人机交互、心理及行为分析等领域有着广阔的应用前景。目前的视线跟踪系统主要基于图像处理和计算机视觉的方法，大致可以分为远距离桌面式设备视线跟踪方法和头戴式设备视线跟踪方法。远距离桌面式视线跟踪系统由于距离眼部较远，对摄像头的分辨率等性能有较高的要求，对头部姿态和运动范围的限制较大。头戴式视线跟踪系统的眼部视频采集设备固定在头上，实时采集眼部图像，同时利用场景摄像头拍摄场景图像，利用算法从拍摄的眼部图像中提取瞳孔中心等位置信息，进而计算出注视点在场景图像中的位置。现有的头戴式视线跟踪系统常采用二维视线跟踪模型，最常见的就是以瞳孔中心或者瞳孔-角膜反射向量作为视线特征量，再通过事先设定的标定过程建立眼动信息和凝视点之间的关系。这类方法的标定方式较为复杂，穿戴者头部难以自由移动，使用过程中设备在穿戴者头部不能移动，难以在实际应用中使用。
技术实现思路
本专利技术的目的是提供一种自由空间头戴式视线跟踪系统，其可以跟踪计算穿戴者在三维自由空间中视线凝视区域的三维坐标，拍摄穿戴者面前的场景视频，并在场景视频中标注出穿戴者的凝视区域。本系统无需繁琐的训练和标定，穿戴者戴上即可使用；穿戴者头部可以自由活动，使用过程中设备在穿戴者头部的可以自由移动；经过简单的标定之后，可以获得高精度的视线跟踪效果。本专利技术的目的是通过以下技术方案实现的：一种自由空间头戴式视线跟踪系统，包括：头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程；以及双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角可选地，所述头戴式视频采集装置包括：固定装置，主要包括2个镜框和中间连接的鼻梁；眼部视频采集装置，包括在每个镜框上放置的2个用于采集眼部视频的近红外微距摄像头，两个镜框上共计放置4个近红外微距摄像头，其中：所述每个镜框处的2个近红外微距摄像头平行放置在镜框的下方；穿戴者戴上该头戴式视频采集装置后，近红外微距摄像头拍摄到穿戴者的眼睛的全部区域；近红外光源照明装置，包括在每个镜框周边放置的2个以上的近红外光源，所述近红外光源的形状和彼此之间的距离使眼部近红外光照强度均匀适度，并且使摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑；场景视频采集装置，包括在固定装置的鼻梁上方放置的1个广角可见光摄像头，用于拍摄场景视频。可选地，所述固定装置固定在眼镜或其他头戴式设备上。可选地，所述近红外微距摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片。可选地，所述立体视觉估算双眼光轴单元包括：眼部视频中瞳孔和光斑中心提取单元，基于头戴式视频采集装置采集到的4路眼部视频，提取各路视频中瞳孔和光斑中心的位置，其中，在眼部摄像头采集到的眼部视频中，在近红外光照射下，瞳孔部分和周围灰度值差别巨大且为椭圆形；近红外光源在角膜表面反射形成的光斑也有明显的灰度特征，根据瞳孔和光斑的灰度及形状特征提取瞳孔和光斑中心的位置坐标；立体视觉估算瞳孔和光斑中心三维坐标单元，先标定每个摄像头的内参数，然后再标定出每个眼睛处2个摄像头之间的旋转平移矩阵，在每个眼睛处，根据2个摄像头之间的旋转平移矩阵和检测到的瞳孔和光斑在图像中的位置，通过立体视觉的方法，以其中任意选定的一个摄像头的坐标系为基准，计算出瞳孔和每个光斑中心的三维坐标；以及双眼角膜球心三维坐标及光轴估算单元，根据人体眼球模型，近红外光源在眼球角膜表面反射形成的光斑为球面反射成像，立体视觉计算得到的光斑三维坐标为近红外光源在角膜球面反射形成的虚像位置坐标，真实的近红外光源与其虚像的连线经过角膜球心，根据两个红外LED及其对应虚像的三维坐标，计算出角膜球心的三维坐标，每个眼球角膜球心和瞳孔中心连线即为眼球光轴，通过立体视觉的方式获得角膜球心和瞳孔中心的三维坐标后，计算出每个眼球光轴的直线方程。可选地，自由空间头戴式视线跟踪系统还包括双眼Kappa角校正单元，通过穿戴者凝视外部近红外光源校正双眼Kappa角，进一步提高视线跟踪精度，其中，当穿戴者凝视外部近红外光源时，外部近红外光源会在双眼眼球角膜表面反射形成虚像，每个眼球处，该外部近红外光源与虚像连线经过眼球角膜球心，为该眼球此时的视轴，通过立体视觉求得该虚像的三维坐标，获得双眼视轴的直线方程，结合双眼光轴直线方程，进而算出每个眼球的Kappa角。可选地，所述双眼视线及凝视点估算单元执行以下操作：根据双眼光轴直线方程及Kappa角的经验值或标定后的精确值，获得视轴的直线方程；标定左右双眼处前面选取的基准摄像头坐标系之间的旋转平移矩阵，以其中一个摄像头的坐标系为基准世界坐标系，根据左右双眼的视轴直线方程和旋转平移矩阵，计算其穿戴者关注的区域位置三维坐标；标定场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵，根据该旋转平移矩阵和场景摄像头投影矩阵，计算凝视点在场景视频中的位置，并将其标出。本专利技术通过头戴式视频采集装置采集4路眼部视频和1路场景视频，采用立体视觉的方法直接估算穿戴者双眼眼球瞳孔和角膜球心的三维坐标，计算出双眼光轴直线方程，结合双眼Kappa角的经验值或标定后的精确值，即可获得双眼视轴直线方程，进而估算出凝视点的三维坐标并在场景视频中标出。通过穿戴者凝视近红外灯，可以精确标定双眼Kappa角，进一步提高跟踪精度。本专利技术能跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标，并在场景视频中标出；无需繁琐的训练和标定，穿戴者戴上即可使用，用户体验好；穿戴者头部可以自由活动，使用过程中设备在穿戴者头部的可以自由移动；经过简单的标定之后，可以获得高精度的视线跟踪效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，而不对本专利技术的保护范围构成限制。图1为本专利技术实施例提供的自由空间视线跟踪光路图。图2为本专利技术实施例提供的自由空间头戴式视线跟踪系统框图。图3为本专利技术实施例提供的头戴式视频采集装置结构示意图。图4为本专利技术实施例提供的近红外LED光源在角膜球面反射成像示意图。图5为本专利技术实施例提供的近红外LED光源与虚像连接交于球心示意图。图6为本专利技术实施例提供的凝视外部近红外光源校正Kappa角示意图。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种自由空间头戴式视线跟踪系统，其特征在于，包括：头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程；以及双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。

【技术特征摘要】
1.一种自由空间头戴式视线跟踪系统，其特征在于，包括：头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程；以及双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。2.根据权利要求1所述自由空间头戴式视线跟踪系统，其特征在于，所述头戴式视频采集装置包括：固定装置，主要包括2个镜框和中间连接的鼻梁；眼部视频采集装置，包括在每个镜框上放置的2个用于采集眼部视频的近红外微距摄像头，两个镜框上共计放置4个近红外微距摄像头，其中：所述每个镜框处的2个近红外微距摄像头平行放置在镜框的下方；穿戴者戴上该头戴式视频采集装置后，近红外微距摄像头拍摄到穿戴者的眼睛的全部区域；近红外光源照明装置，包括在每个镜框周边放置的2个以上的近红外光源，所述近红外光源的形状和彼此之间的距离使眼部近红外光照强度均匀适度，并且使摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑；场景视频采集装置，包括在固定装置的鼻梁上方放置的1个广角可见光摄像头，用于拍摄场景视频。3.根据权利要求2所述的自由空间头戴式视线跟踪系统，其特征在于，所述固定装置固定在眼镜或其他头戴式设备上。4.根据权利要求2所述的自由空间头戴式视线跟踪系统，其特征在于，所述近红外微距摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片。5.根据权利要求1所述的自由空间头戴式视线跟踪系统，其特征在于，所述立体视觉估算双眼光轴单元包括：眼部视频中瞳孔和光斑中心提取单元，基于头戴式视频采集装置采集到的4路眼部视频，提取各路视频中瞳孔和光斑中心的位置，其中，在眼部摄像头采集到的眼部视频中，在近红外光照射下，瞳孔部分和周围灰度值差别巨大且为椭圆形；近红...

【专利技术属性】
技术研发人员：张义飞，李斌，邓宏平，张伟，陈昭希，容圣海，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34