基于外接矩形的实时瞳孔定位方法技术

本发明专利技术涉及一种基于外接矩形的实时瞳孔定位方法，该方法利用瞳孔面积筛选结合两种不同的瞳孔外接矩形长宽比、角度差提取瞳孔特征，进一步精确定位瞳孔，最后通过瞳孔重心坐标与原图像拟合获得准确的瞳孔定位。实验结果表明该方法准确率能达到99.5％，有效解决了瞳孔定位中睫毛遮挡，眼部黑痣干扰和眼角部分阴影干扰等系列问题，具有实时性和良好的鲁棒性良。因此可以广泛应用于眼球追踪、视线分析等方面的研究，有助于人机交互和心理学研究的发展。

【技术实现步骤摘要】
基于外接矩形的实时瞳孔定位方法
本专利技术属于图像处理与人机交互
，尤其涉及一种基于外接矩形的实时瞳孔定位方法。
技术介绍
随着5G时代的到来，人机交互技术发展速度越来越快，作为人机交互技术研究的重要内容，瞳孔定位广泛应用于科学研究的各个方面，例如：视线追踪、生物特征识别、疲劳驾驶监测等。在这些领域中，研究人员更加关注瞳孔定位的执行速度、准确性和鲁棒性。对于瞳孔定位方法大致可以分为三种：基于灰度的阈值分割，基于Hough变换的椭圆检测，以及近些年火热的机器学习和深度学习的分割算法。但都受环境因素影响或者训练集样本数据的限制，使得正确率不那么令人满意。因此各种辅助瞳孔定位的外接设备逐渐发展，使得瞳孔定位准确率提高，但其适用场合有限且高昂的价格让不少研究者望而却步。瞳孔定位对于采集环境要求较高，受光照、眼睑、睫毛遮挡和不均匀光照的影响较大，因此设一种简洁方便的实时瞳孔定位方法亟待被研发。
技术实现思路
本专利技术提供了一种基于外接矩形的实时瞳孔定位方法。该方法主要包括四部分，图像预处理、瞳孔连通域面积筛选、外接矩形长宽比筛选和角度差筛选。步骤一，将采集水平距离设定为20cm±2cm，垂直高度设定为35cm±2cm，保证采集位置和光照强度尽量不变，减少干扰。步骤二，图像预处理部分由图像灰度化、双边滤波、阈值分割和形态学处理等部分组成，进行图像去噪和平滑处理。步骤三，根据采集的瞳孔面积数据，得到数据的平均分布情况，因此选取瞳孔所在连通域的面积像素范围，进行连通域面积筛选部分。步骤四，用四邻域法得到一种瞳孔外接矩形，通过此外接矩形长宽比Ratio，完成外接矩形长宽比的筛序。步骤五，根据连通域的形状特点，得到其面积最小的外接矩形，结合步骤四中的外接矩形，两类定义的外接矩形形成的角度，完成最后的角度筛选，得到瞳孔的轮廓。步骤六，最后获得瞳孔中心位置坐标，实现实时瞳孔定位。附图说明图1整体流程图图2测试者瞳孔区域平均面积分布图图3连通域外接矩形对比图图4瞳孔外接矩形长宽比示意图图5角度差定位图图6瞳孔圆心拟合图7第120帧-720帧轨迹图具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本文针对鬓角、眉毛和光照等普遍干扰情况提出了一种新的瞳孔定位方法，该方法利用瞳孔面积筛选结合两种不同的瞳孔外接矩形长宽比、角度差提取瞳孔特征，进一步精确定位瞳孔，最后通过瞳孔重心坐标与原图像拟合获得准确的实时瞳孔定位。如图1所示，为实时瞳孔定位的整体流程图，具体各部分实施步骤如下：步骤一，使用近红外摄像头采集，将采集水平距离设定为20cm±2cm，垂直高度设定为35cm±2cm，保证采集位置和光照强度尽量不变，减少干扰。步骤二，图像预处理部分由图像灰度化、双边滤波、阈值分割和形态学处理等部分组成，进行图像去噪和平滑处理，获得最初步的瞳孔定位图。双边滤波器输出的像素值受其邻域像素值的加权所影响，如下式：而加权系数w(i，j，k，l)的大小则取决于空域核和值域核的乘积，(i，j)和(k，l)分别代指两个像素点的坐标。空域核如下式所示：值域核可通过下式表示为：将空域核与值域核相乘后，就可得到双边滤波的权重函数w(i，j，k，l)，双边滤波作为一种非线性滤波方法，结合图像的空间邻近度和像素值相似度的一种加权平均方法，同时考虑空域信息和灰度相似性达到保持边缘、降噪平滑的效果。步骤三，根据采集的瞳孔面积数据，得到数据的平均分布情况，因此选取瞳孔所在连通域的面积像素范围，进行连通域面积筛选。连通域面积筛选主要排除瞳孔预定位之后，剩余连通域中与瞳孔连通域面积相差较大的干扰部分连通域。例如，鬓角、较大范围的头发或者脸上较小的黑痣等。将实验室测试者拍摄图片分为85组，每组100张图片，计算每组图片中瞳孔的平均面积。如图2所示为测试者瞳孔区域平均面积分布图。从图上可以看出不同人瞳孔面积不同，但都分布在400-2000像素之间。因此将连通域面积在400-2000像素范围的区域筛选出来。步骤四，用四邻域法得到一种瞳孔外接矩形，通过此外接矩形长宽比Ratio，完成外接矩形长宽比的筛序。四连通域法又称四邻域法，是指对应像素位置的上下左右四个方向的近邻位置。定义公式为：N4{x，y)＝{(x-1，y)，(x+1，y)，(x，y-1)，(x，y+1)}其中(x，y)是像素点的坐标位置。四邻域法得到的四个极值点坐标：极左点(xl，yl)、极右点(xr，yr)、极上点(xt，yt)和极下点(xd，yd)，计算得到以(xl，yt)、(xr，yt)、(xl，yd)和(xr，yd)四点为顶点而得到的外接矩形区域，如图3(a)所示，用这种方法得到外接矩形的长宽比Ratio的计算公式为：瞳孔的形状是近似于圆形，根据采集角度、瞳孔位置的变化，通过实验与极限位置采集将外接矩形长宽比的筛选值Ratio设定为0.8-1.7。如图4是不同外接矩形长宽比的瞳孔示意图，图中标记了瞳孔区域外接矩形的长度、宽度以及长宽比Ratio，以及不同比值时的瞳孔定位效果。步骤五，根据连通域的形状特点，得到其面积最小的外接矩形，如图3(b)所示。结合步骤四中的外接矩形，两类定义的外接矩形形成的角度，如图3(c)为两种外接矩形对比图，完成最后的角度筛选，得到瞳孔的轮廓。瞳孔无论如何形变都无外乎圆形或者椭圆，其外接矩形的角度差为0°或者45°，因此本实验使用的筛选角度差为Angle＝0°或Angle＝45°。在图5中，瞳孔的连通域两个外接矩形的角度偏差为0°；瞳孔左边为眼角阴影的轮廓，有两个外接矩形，水平方向的为外接矩形，倾斜的为最小外接矩形，两外接矩形的角度差为9°，不在瞳孔最小外接矩形与外接矩形角度差筛选范围内，可实现瞳孔区域筛选功能。步骤六，最后得到瞳孔中心位置坐标，实现实时瞳孔定位。眼部图像经图像预处理和瞳孔区域筛选后实现瞳孔区域分割，分割结果如图6中(a)所示，图中红色区域为瞳孔区域，黄色位置为瞳孔中心。计算公式如下：其中(x，y)是瞳孔中心坐标，(xl，yt)为步骤四所描述的外接矩形的左上角坐标，h与w分别为外接矩形的长和宽。将定位后的瞳孔中心位置坐标与原图进行拟合在原图中定位瞳孔位置，得到最终的瞳孔定位图像，如图6中(b)所示。从图中可以看出虽然有灯光的轻微干扰，但定位结果完全不受影响，该定位中心与瞳孔的实际中心位置吻合。如图7所示为连续帧瞳孔移动轨迹图，其中(a)为第120帧瞳孔定位拟合图，(c)为第720帧瞳孔定位拟合图，在图(b)轨迹图中紫色为第120帧瞳孔位置，红色为第720帧瞳孔位置，验证本文档来自技高网...

【技术保护点】
1.一种基于外接矩形的实时瞳孔定位方法，其特征在于，包括如下步骤：/nS1、规定系统采集位置；/nS2、对近红外摄像头实时采集的眼部图像进行图像预处理；/nS3、对图像内容进行轮廓寻找，计算各个连通域面积，进行面积初步筛选；；/nS4、通过连通域外接矩形的长宽比筛选和角度差筛选，获得瞳孔轮廓；/nS5、通过瞳孔轮廓定位瞳孔中心坐标，与原图进行瞳孔位置拟合，获得瞳孔位置坐标；/nS6、记录连续帧瞳孔位置坐标，获得瞳孔移动轨迹，实现实时瞳孔定位。/n

【技术特征摘要】
1.一种基于外接矩形的实时瞳孔定位方法，其特征在于，包括如下步骤：
S1、规定系统采集位置；
S2、对近红外摄像头实时采集的眼部图像进行图像预处理；
S3、对图像内容进行轮廓寻找，计算各个连通域面积，进行面积初步筛选；；
S4、通过连通域外接矩形的长宽比筛选和角度差筛选，获得瞳孔轮廓；
S5、通过瞳孔轮廓定位瞳孔中心坐标，与原图进行瞳孔位置拟合，获得瞳孔位置坐标；
S6、记录连续帧瞳孔位置坐标，获得瞳孔移动轨迹，实现实时瞳孔定位。


2.根据权利要求1所述的基于外接矩形的实时瞳孔定位方法，其特征在于，步骤S1中的规定系统采集位置，将采集水平距离设定为20cm±2cm，垂直高度设定为35cm±2cm，保证采集位置和光照强度尽量不变，减少干扰。


3...

【专利技术属性】
技术研发人员：林丽媛，陈静瑜，王颖，郭羽，吉书林，申川，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：天津;12