基于摄影测量技术的人眼视线检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于摄影测量技术的人眼视线检测方法及装置，该方法包括：设定立体靶标对图像采集单元进行标定，获得所述图像采集单元的内部参数和/或外部参数；利用所述图像采集单元依时间序列连续获取人面部图像，针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标；基于所述图像采集单元的内部参数和/或外部参数，以及所述虹膜中心像素坐标，进行三维重建以获得人眼三维坐标并按照所述时间序列保存；依照以所述时间序列保存的所述人眼三维坐标重建人眼运动轨迹。本发明专利技术提供的基于摄影测量技术的人眼视线检测方法及装置，可应用于为视疲劳评估提供数据信息，避免视疲劳对人体健康和交通安全带来的隐患。

Human eye gaze detection method and device based on Photogrammetry Technology

The invention discloses a method and device for human eye line detection based on photogrammetry. The method includes: setting a stereoscopic target to calibrate the image acquisition unit, obtaining the internal parameters and / or external parameters of the image acquisition unit, and using the image acquisition single element to continuously obtain the human facial image according to the time series. For each person's face image processing and obtaining the center pixel coordinates of the human eye, the three-dimensional reconstruction of the human eye is performed on the basis of the internal parameters and / or the external parameters of the image acquisition unit and the central pixel coordinates of the iris to obtain the three-dimensional coordinates of the human eye and be saved according to the time series described. The three dimensional coordinates of the human eye are stored in sequence to reconstruct the trajectory of human eye. The eye line detection method and device based on photogrammetry technology can be used to provide data information for visual fatigue assessment, and avoid the hidden dangers of visual fatigue on human health and traffic safety.

【技术实现步骤摘要】
基于摄影测量技术的人眼视线检测方法及装置
本专利技术涉及一种摄影测量方法，具体涉及一种基于摄影测量技术的人眼视线检测方法。本专利技术还涉及一种人眼视线检测装置。本专利技术提供的基于摄影测量技术的人眼视线检测方法及装置，可应用于为视疲劳评估提供数据信息，避免视疲劳对人体健康和交通安全带来的隐患。
技术介绍
摄影测量技术在形状检测，低频振动测量，表明缺陷检测方面应用广泛。三维视觉检测技术具有快速、非接触性、实时性等优点。摄影测量技术结合图像处理技术可以提取出图像中感兴趣部分进行运动轨迹检测。针对人眼视线进行运动轨迹检测，目前已有较为成熟的应用，例如：汽车行进过程中产生的晃动对人头部产生的影响和固定在汽车上的车载显示器的影响不同，因此研究人眼观测车载显示器时相对显示器的振动，可以为分析视疲劳提供评估数据。尤其对于坦克或其他封闭式运动车辆，其行进过程必需要通过观测车载显示屏显示的外界画面，进而来控制车辆运动，评估视觉疲劳可较大程度防止疲劳驾驶，避免由于疲劳驾驶带来的危害。而目前的针对人眼视线进行的运动轨迹检测，都或多或少存在一些问题，例如：王丹力等人专利号为CN201410387060.3的专利提出一种针对观看三维立体显示内容的视疲劳检测系统和方法。该方法只提取眼部闭眼时长等变化信息，并不对人眼视线的运动轨迹进行检测，而现实中，疲劳驾驶与驾驶者闭眼并不存在唯一关联，而且实际上，处于疲劳驾驶的时候往往驾驶者还是睁眼状态，因此，该方法在视觉疲劳方面的检测上存在较大偏差。杨刚等人专利号为CN201310381585.1的专利提出一种基于眼部识别的信息采集系统及其应用，该方案中最终提取出人眼注视屏幕上的区域，并没有进行人眼虹膜中心三维坐标提取，因此并不能实际反应出人眼视线的运动轨迹，进而导致该方法在用于视觉疲劳检测上结果不准确。谢应美提出的专利号为CN201510589520.5的专利提出一种智能车载监测系统，该方案提出的硬件系统可以实现提前预警，并在异常时能够启动紧急断火装置并及时减速，提高了驾驶员驾车的安全性。但这种方案仅仅涉及发生紧急状况后的应急处理，并不着力于通过人眼视线来检测疲劳并避免紧急情况的发生。杜煜等提出的专利号为CN201620417249.7的专利提出一种应用人眼识别跟踪的方法的裸眼3D显示装置，该方案通过人眼识别跟踪模块人眼的空间位置信息，传递给中央处理器以实现的裸眼3D效果。但该方案只能应用于实现人眼三维显示，且没有进行相机标定和外部触发相机同步采集双目相机图片。黄焕荣等提出的专利号为CN201510345352.5的专利提出一种调节车速的方法及装置。黄的方案提取人眼识别信息包括瞳孔大小和/或眨眼频率，检测所述人眼识别信息是否相较于预存的正常人眼识别信息有变化来控制车辆以调节车速。该方法提取出瞳孔大小和眨眼频率，一定程度可以反应出驾驶者的疲劳程度，但该方法并没有针对人眼视线进行检测，并不能很好的保证检测的可靠性。由此可以看出，目前现有技术中存在的基于人眼视觉方面的检测在应用于车辆驾驶时，虽然都能在一定程度上起到检测驾驶者疲劳程度的作用，但其技术方案本身并没有完全结合具体的应用环境，因此存在实际的可靠性较低的缺陷。
技术实现思路
鉴于现有技术存在的上述问题，本专利技术的目的在于提供一种基于摄影测量技术的人眼视线检测方法及装置。为了实现上述目的，本专利技术实施例的一个方面提供的一种基于摄影测量技术的人眼视线检测方法，包括：设定立体靶标对图像采集单元进行标定，获得所述图像采集单元的内部参数和/或外部参数；利用所述图像采集单元依时间序列连续获取人面部图像，针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标；基于所述图像采集单元的内部参数和/或外部参数，以及所述虹膜中心像素坐标，进行三维重建以获得人眼三维坐标并按照所述时间序列保存；依照以所述时间序列保存的所述人眼三维坐标重建人眼运动轨迹。作为优选，所述利用所述图像采集单元依时间序列连续获取人面部图像，包括依所述时间序列在同一时间点分别获取对应于人左右眼的人面部图像。作为优选，所述针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标，包括：针对每一所述人面部图像进行预处理；调用人眼训练库文件，提取经预处理的所述人面部图像中的人眼区域；当检测到人眼区域时，记录所述人眼区域的中心点坐标作为人眼坐标。作为优选，所述预处理，包括：将所述人面部图像转化为灰度图像；进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。作为优选，所述预处理，还包括：对消除噪声后的所述人面部图像设置感兴趣区域；获取所述感兴趣区域的几何中心；保存所述几何中心的坐标作为人左眼坐标和/或人右眼坐标。作为优选，所述感兴趣区域的形状为圆形，所述人左眼坐标和/或人右眼坐标为圆心位置。作为优选，所述进行三维重建以获得虹膜中心三维坐标，包括：以如下方式进行三维重建，其中，(X1,Y1)为左相机提取到的点的像素坐标；f为标定过程中的所述内部参数；(x,y,z)为重建出来的人眼三维坐标。本专利技术的实施例的另一方面，还提供了一种人眼视线检测装置，该装置包括：标定单元，其配置为通过立体靶标对图像采集单元进行标定，获得所述图像采集单元的内部参数和/或外部参数；图像采集单元，其配置为依时间序列连续获取人面部图像；处理器，其配置为，针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标，基于所述图像采集单元的内部参数和/或外部参数，以及所述虹膜中心像素坐标，进行三维重建以获得人眼三维坐标并按照所述时间序列保存；并依照以所述时间序列保存的所述人眼三维坐标重建人眼运动轨迹。作为优选，所述图像采集单元至少包括有分别对应于包含人左右眼的两个图像采集模块。作为优选，所述处理器还包括一图像处理单元，其配置为将所述人面部图像转化为灰度图像；进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声；对消除噪声后的所述人面部图像设置感兴趣区域；获取所述感兴趣区域的几何中心；并保存所述几何中心的坐标作为人左眼坐标和/或人右眼坐标。与现有技术比较，本专利技术具有优点如下：1、不需要辅助眼球识别装置，例如在给人带上特殊颜色或者反光材料的隐形眼镜，可以通过图像处理算法结合人眼训练数据提取出自然状态下的人眼视线移信息，提取算法抗环境干扰能力强；2、通过安装相机在车载显示器边缘的方案，不需要额外的数据处理步骤消除汽车运动，即可求解出人眼相对显示屏的运动；3、提取虹膜中心而不是瞳孔来确定人视线位置，虹膜和眼白对比度相对瞳孔和虹膜对比度高，稳定性较好；4、测量系统安装完毕后，只要不改变相机相对位置，之后的测量不需要再次标定相机，可直接采集人面部图像信息，简化了测量过程。附图说明图1为本专利技术的基于摄影测量技术的人眼视线检测方法的基本流程图；图2为本专利技术一个实施例的基于摄影测量技术的人眼视线检测方法的测量步骤流程图；图3为本专利技术一个实施例的基于摄影测量技术的人眼视线检测方法的提取虹膜中心三维坐标算法流程图；图4为人眼部结构示意图；图5为本专利技术的基于摄影测量技术的人眼视线检测方法的基本结构示意图。具体实施方式为使本领域技术人员更好的理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作详细说明。通过下面参照附图对给定为非限制性实例的实施本文档来自技高网...

【技术保护点】
1.基于摄影测量技术的人眼视线检测方法，包括：设定立体靶标对图像采集单元进行标定，获得所述图像采集单元的内部参数和/或外部参数；利用所述图像采集单元依时间序列连续获取人面部图像，针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标；基于所述图像采集单元的内部参数和/或外部参数，以及所述虹膜中心像素坐标，进行三维重建以获得人眼三维坐标并按照所述时间序列保存；依照以所述时间序列保存的所述人眼三维坐标重建人眼运动轨迹。

【技术特征摘要】
1.基于摄影测量技术的人眼视线检测方法，包括：设定立体靶标对图像采集单元进行标定，获得所述图像采集单元的内部参数和/或外部参数；利用所述图像采集单元依时间序列连续获取人面部图像，针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标；基于所述图像采集单元的内部参数和/或外部参数，以及所述虹膜中心像素坐标，进行三维重建以获得人眼三维坐标并按照所述时间序列保存；依照以所述时间序列保存的所述人眼三维坐标重建人眼运动轨迹。2.如权利要求1所述的人眼视线检测方法，其特征在于，所述利用所述图像采集单元依时间序列连续获取人面部图像，包括依所述时间序列在同一时间点分别获取对应于人左右眼的人面部图像。3.如权利要求1所述的人眼视线检测方法，其特征在于，所述针对每一所述人面部图像进行处理并获得人眼的虹膜中心像素坐标，包括：针对每一所述人面部图像进行预处理；调用人眼训练库文件，提取经预处理的所述人面部图像中的人眼区域；当检测到人眼区域时，记录所述人眼区域的中心点坐标作为人眼坐标。4.如权利要求3所述的人眼视线检测方法，其特征在于，所述预处理，包括：将所述人面部图像转化为灰度图像；进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。5.如权利要求4所述的人眼视线检测方法，其特征在于，所述预处理，还包括：对消除噪声后的所述人面部图像设置感兴趣区域；获取所述感兴趣区域的几何中心；保存所述几何中心的坐标作为人左眼坐标和/或人右眼坐标。6.如...

【专利技术属性】
技术研发人员：邓华夏，余寰，张进，柴志文，王飞，胡国策，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34