本发明专利技术涉及视线追踪领域，具体公开一种注视点跟踪方法、装置、智能眼镜及存储介质，方法包括：获取多个人眼图像；对多个人眼图像进行视线跟踪计算，得到人眼图像中的人眼的注视向量和视差图像；提取可见光图像中的突出区域，将突出区域收集于数据集中；将视差图像中的深度信息与多个突出区域对齐，得到突出区域的现实三维坐标并代入数据集中；将数据集中最接近左右人眼的两个注视向量的点作为人眼的注视点。本发明专利技术可以注视点追踪过程，通过生成显著图与视差图像的深度信息对齐，然后计算出注视向量便可以与注视目标匹配，根据注视目标快速确定注视点。整个跟踪自动完成，无需设置标记和任何外部协助，提高了视线跟踪的精度和速度。度。度。
【技术实现步骤摘要】
一种注视点跟踪方法、装置、智能眼镜及存储介质
[0001]本专利技术涉及视线跟踪领域，尤其涉及一种注视点跟踪方法、装置、智能眼镜及存储介质。
技术介绍
[0002]眼动跟踪是一个识别某人在看什么、怎么看的过程，已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理研究等多个领域。从眼球的生理结构来说，人类主要通过中央凹区域来获取视觉数据，中央凹只能提供约1
–
2度的视角。虽然该区域仅占视野范围的极
□
部分，但通过此区域记录的信息却包含了通过视觉神经传递到
□
脑的有效视觉信息的50％。因此，人类的视觉和注意系统围绕着一个主要目标工作：使感兴趣的目标的光学成像聚焦于中央凹处。这是眼动行为最根本，最主要的原因。
[0003]按照使用场景来分类，眼动跟踪设备主要可以分为两种：屏幕式眼动仪和穿戴式眼动仪。屏幕式眼动仪放置在离用户一定距离的地方来跟踪用户的眼球运动。穿戴式眼动仪通过将眼动跟踪系统和场景摄像机集成在轻量化的框架上，例如眼镜或头盔上，来采集用户在真实环境中的眼动行为。
[0004]现有的穿戴式眼动跟踪，存在精度误差大、延迟大的问题。
技术实现思路
[0005]鉴于以上技术问题，本专利技术提供了一种注视点跟踪方法、装置、智能眼镜及存储介质，以提供一种精度高、快速高效地计算人眼注视点的技术方案。
[0006]本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本专利技术的一方面，公开一种注视点跟踪方法，所述方法包括：
[0008]获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。
[0009]进一步的，所述对多个所述人眼图像进行视线跟踪计算，得到任一所述人眼图像中的人眼的注视向量，包括：提取多个所述人眼图像中的瞳孔轮廓，得到瞳孔中心；根据人眼图像中的角膜反射光斑确定角膜中心；根据所述瞳孔中心和所述角膜中心确定人眼中心；获取所述人眼中心指向所述人眼图像中的瞳孔中心的直线，对所述直线偏移Kappa角度后作为对应的所述注视向量。
[0010]进一步的，所述提取所述可见光图像中的一个或多个突出区域，包括：基于显著性
检测算法计算所述可见光图像，得到显著图；提取所述显著图中显著值高于阈值的像素，得到所述突出区域。
[0011]进一步的，在提取所述显著图中显著值高于阈值的像素后，基于聚类算法，去除提取的所述像素的噪声。
[0012]进一步的，所述视差图像基于以下方法获取：对两个所述可见光摄像头进行标定，得到两个所述可见光摄像头的内参数和外参数；根据标定结果对两个所述可见光摄像头采集的两个所述可见光图像进行校正，使得校正后的两个所述可见光图像位于同一平面内；对校正后两个所述可见光图像进行关键特征点检测；对两个所述可见光图像的所述关键特征点进行匹配，并计算出匹配的两个所述可见光图像的所述关键特征点的坐标差值，得到所述视差图像。
[0013]进一步的，所述视差图像的所述深度信息基于以下方法获取：根据公式Z＝F*B/D计算得到所述深度信息，其中，Z为所述深度信息，B为两个所述可见光摄像头的基线长度，F为所述可见光摄像头的焦距，D为两个所述可见光图像对应的所述关键特征点的坐标差值。
[0014]进一步的，所述将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点，包括：基于最小化方程，定义与转换后的两个所述注视向量之间距离最小的点为所述注视点。
[0015]根据本公开的第二方面，提供一种注视点跟踪装置，包括：第一采集模块，用于获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；眼动跟踪模块，用于对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；第二采集模块，用于获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；图像处理模块，用于将所述可见光图像处理为所述视差图像，和用于提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；三维处理模块，用于将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中，将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。
[0016]根据本公开的第三方面，提供一种智能眼镜，包括：至少两个红外摄像头，分别指向左右两个人眼设置；至少两个可见光摄像头，分别指向左右两个人眼前方设置；红外泛光发射器，面向人眼设置；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如下方法：
[0017]获取由所述红外摄像头拍摄的被所述红外泛光发射器照亮的多个人眼图像；对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；获取由两个所述可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。
[0018]根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的注视点跟踪方法。
[0019]本公开的技术方案具有以下有益效果：
[0020]可以简化校准过程并提高系统的灵活性，生成显著图与视差图像的深度信息对齐，并将它们用作可能的注视目标。然后计算出注视向量便可以与注视目标匹配，根据注视目标快速确定注视点。整个跟踪自动完成，无需预先设置标记和任何外部协助，大大提高了视线跟踪的精度和速度。
附图说明
[0021]图1为本说明书实施例中的一种注视点跟踪方法的流程图；
[0022]图2为本说明书实施例中的人眼模型的原理图；
[0023]图3为本说明书实施例中注视点跟踪装置的结构框图；
[0024]图4为本说明书实施例中注视点追踪方法的终端设备；
[0025]图5为本说明书实施例中智能眼镜的结构框图；
[0026]图6为本说明书实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种注视点跟踪方法，其特征在于，所述方法包括：获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。2.根据权利要求1所述的注视点跟踪方法，其特征在于，所述对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量，包括：提取多个所述人眼图像中的瞳孔轮廓，得到瞳孔中心；根据人眼图像中的角膜反射光斑确定角膜中心；根据所述瞳孔中心和所述角膜中心确定人眼中心；获取所述人眼中心指向所述人眼图像中的瞳孔中心的直线，对所述直线偏移Kappa角度后作为对应的所述注视向量。3.根据权利要求1所述的注视点跟踪方法，其特征在于，所述提取所述可见光图像中的一个或多个突出区域，包括：基于显著性检测算法计算所述可见光图像，得到显著图；提取所述显著图中显著值高于阈值的像素，得到所述突出区域。4.根据权利要求3所述的注视点跟踪方法，其特征在于，在提取所述显著图中显著值高于阈值的像素后，基于聚类算法，去除提取的所述像素的噪声。5.根据权利要求1所述的注视点跟踪方法，其特征在于，所述视差图像基于以下方法获取：对两个所述可见光摄像头进行标定，得到两个所述可见光摄像头的内参数和外参数；根据标定结果对两个所述可见光摄像头采集的两个所述可见光图像进行校正，使得校正后的两个所述可见光图像位于同一平面内；对校正后两个所述可见光图像进行关键特征点检测；对两个所述可见光图像的所述关键特征点进行匹配，并计算出匹配的两个所述可见光图像的所述关键特征点的坐标差值，得到所述视差图像。6.根据权利要求5所述的注视点跟踪方法，其特征在于，所述视差图像的所述深度信息基于以下方法获取：根据公式Z＝F*B/D计算得到所述深度信息，其中，Z为所述深度信息，B为两个所述可见光摄像头的基线长度，F为所述可见光摄像头的焦距，D...
【专利技术属性】
技术研发人员：许明秋，梁立伟，王勃飞，陈晨航，张强，杜与涌，
申请(专利权)人：深圳市华弘智谷科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。