基于虹膜与瞳孔的用于头戴式设备的视线估计方法技术

本发明专利技术公开了基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。本发明专利技术充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度，为头戴式设备下的视线跟踪提供了一种精度高、复杂度低的解决方法。

【技术实现步骤摘要】

本专利技术涉及人机交互方式中的视线跟踪
，具体涉及基于虹膜与瞳孔的用于头戴式设备的视线估计方法。
技术介绍
视线跟踪技术作为最新颖的人机交互方式，具有精度高、简单易用、稳定性好以及对用户干扰性小等优点。因此，视线跟踪技术在医学辅助诊断、残疾人辅助设备、广告与市场分析以及日常人机交互等多个领域具有广阔的应用前景。此外，增强现实越来越深入到人们的生活，如何将视线跟踪技术与增强现实相结合，构建实时交互的视觉化增强现实成为人们越来越关注的焦点。增强现实AR(Augmented Reality)是对用户周围真实世界中的现实信息通过三维注册技术进行增强，从而达到真实世界信息与虚拟世界信息的“无缝”集成，带给用户超现实的感官体验。为了给增强现实系统提供一种简单、高效且双向的交互方式，将视线跟踪技术与增强现实相结合，不仅能够跟踪用户的视线方向，获取用户在场景中的感兴趣区域，还可以体现增强现实系统虚实结合的特点，其中，具有视线跟踪功能的基于头戴式显示器的增强现实系统通过红外摄像头捕获的人眼图像以跟踪视线方向，视线转移视角、播放音乐以及打开视频等操作，拥有很强的增强现实的效果，具有重要的研究意义，近年来引起了广泛的关注。头戴式视线跟踪系统的结构具有特殊性，当人眼注视空间某一物体且头部自由转动时，人眼与注视屏幕以及摄像头之间的相对位置和距离始终保持不变，无需考虑头部转动对注视点估计的影响，因此，头戴式视线跟踪系统的设计为视线跟踪
的研究提供了一种新的思路，从研究估计注视点位置的过程中如何避免头部大范围转动的影响转换为研究如何在头戴式系统狭小的空间内更加简单精确地跟踪人眼运动信息以获取人眼视线方向。综上所述，精确地提取近红外光下表征视线方向的眼动特征以及建立简单高效的视线映射模型成为头戴式视线跟踪系统研究中两大关键的任务。对于眼动特征的提取，其提取效果应该满足精度高和实时性强的要求。在头戴式视线跟踪系统中，摄像头距离人眼较近，所捕获的人眼图像清晰，但光照不均会造成人眼图像在清晰度上的差异；此外，由于系统中反射镜的影响，摄像头所捕获的人眼图像会产生形变，且当眼球转动角度较大时，部分眼动特征会受到眼睑或睫毛的遮挡以致轮廓不完整或产生虚假轮廓。目前的眼动特征提取算法大多提取瞳孔特征并结合角膜反射光斑或眼睛内外角点，为提取准确表征视线方向的眼动特征，这些算法往往计算复杂，无法保证眼动特征提取的实时性。因此，如何在近红外光下快速、准确地提取眼动特征是头戴式视线跟踪系统的技术难点之一。对于视线映射模型的建立，其目的是利用提取的眼动特征获取注视点位置。在头戴式视线跟踪系统中，摄像头与人眼位置相对固定，头部运动并不会对注视点的计算造成影响，但用户在使用系统时往往希望佩戴简单且使用方便。在目前的视线映射模型中，二维映射模型算法简单，无需预先知道系统设备和用户的位置信息，但为建立二维映射方程，往往需要利用多个红外光源或较多的屏幕标定点；而三维映射模型算法复杂，为了获得眼睛三维中心与屏幕注视点的映射关系，需要复杂的立体摄像机或多个摄像机采集人眼图像，整个视线跟踪系统硬件复杂。因此，如何在保证注视点估计高精度的同时，只利用单摄像头和单红外光源建立标定过程简单的视线映射模型时头戴式视线跟踪系统中存在的主要技术难点。
技术实现思路
本专利技术公开了基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。本专利技术充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度。本专利技术的目的至少通过以下技术方案之一实现。基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，具体包括如下步骤:(1)眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；(2)眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；(3)注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。进一步地，所述步骤(1)包括：a.对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；c.对于虹膜中心特征提取部分，以瞳孔特征提取中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，由于虹膜的上下边缘较易受到眼睑和睫毛的遮挡，因此利用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息。进一步地，所述步骤(2)包括：a.摄像机内参数标定，采用张正友平面标定法，利用固定位置的摄像头拍摄的不同角度和距离下的棋盘图像对摄像机的内参数进行标定，以获取物体二维图像坐标系到摄像机坐标系转换公式中的缩放因子参数信息；b.将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，将瞳孔二维中心坐标和已知的瞳孔深度信息值即瞳孔三维中心到摄像机光心的距离代入到步骤a所述的公式中，获得瞳孔三维坐标参数；c.根据人眼视线方向下虹膜平面以及视线在屏幕投影后的几何相似性，利用屏幕标定点坐标和步骤b获取的瞳孔三维坐标计算虹膜深度信息值，再将虹膜二维中心坐标和虹膜深度信息值代入到步骤a所述的公式中，获得虹膜三维坐标参数。进一步地，所述步骤(3)包括：a.当人眼注视屏幕上任意一点时，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；b.根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的特点，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；c.利用步骤(2)已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点位置。进一步优化实施地，所述步骤(1)中包括：从摄像机中获取人眼图像，利用模版匹配算法对右眼区域进行定位；对于定位好的本文档来自技高网...

【技术保护点】
基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，其特征在于包括如下步骤:（1）眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；（2）眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；（3）注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。...

【技术特征摘要】
1.基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，其特征在于包括如下步骤:（1）眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；（2）眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；（3）注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。2.根据权利要求1所述的基于虹膜与瞳孔的用于头戴式设备的视线估计方法，其特征在于所述步骤（1）包括：a. 对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；c. 对于虹...

【专利技术属性】
技术研发人员：秦华标，费舒，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44