一种基于瞳孔角膜反射方法的视线追踪装置制造方法及图纸

本实用新型专利技术的目的，是建立一套基于瞳孔角膜反射方法的视线追踪装置，特别是建立控制形成亮瞳和暗瞳及普尔钦斑图像的光源控制部分，从而为瞳孔角膜反射方法的视线追踪提供精准的硬件支持。所述光源控制部分控制形成亮瞳和暗瞳及普尔钦斑图像，其包括：帧同步卡：所述帧同步卡连接至ＣＣＤ摄像机，并输出ＣＣＤ摄像机采样的同步信号，该信号输入单片机系统的光源控制板；单片机系统光源控制板电路：所述单片机系统的光源控制板输出控制信号，控制双环型红外光源的内环和外环交替亮灭；双环型红外光源：由红外发光二极管组成交替亮灭的内环和外环光源。（*该技术在2019年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术属于人机交互领域，特别是涉及一种基于瞳孔角膜反射方法的视线追踪装置。
技术介绍
视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前注视方向的 技术。广泛应用于人机交互、助残、虚拟现实、车辆辅助驾驶、人因分析等领域。按照系统构 成和采用的检测方法视线追踪技术可以粗略划分为侵入式和非侵入式两种。基于数字视频 分析(Video 0culogr即hic，V0G)的非侵入式视线追踪技术具有对人干扰小，容易操作和精 度较高的特点，拥有很大的研究发展空间。 V0G视线追踪技术普遍采用基于主动红外光照的瞳孔_角膜反射方法。即通过设 置远离光轴的红外光源在角膜上形成反射点(普尔钦斑)。提取普尔钦斑中心到瞳孔中心 的矢量作为视线方向参数，然后利用眼球成像模型或映射模型来估计视线方向。因此基于 瞳孔_角膜反射的视线追踪技术由视线特征参数提取和视线估计模型建立两部分组成。 瞳孔-角膜反射方法在视线特征参数提取过程中普遍采用亮暗瞳差分方案，即设 置与摄像机镜头同轴的内外环近红外(IR)光源，控制光源交替亮暗，产生亮瞳和暗瞳隔帧 交替出现的视频序列。利用相邻帧亮暗瞳图像的差分使瞳孔信息相对突出，消除背景影响。 便于在整幅脸部图像中快速捕捉眼睛和在局部眼睛图像中精细准确的分割瞳孔。亮暗瞳差 分方案一般采用阈值法分割瞳孔。由于头部及瞳孔的随机运动和红外光源的交替亮灭，亮 暗瞳差分图像除保留瞳孔信息外，不可避免地残留其它干扰区域。采用阈值法分割差分图 像，将会产生干扰区块。 瞳孔-角膜反射方法按系统构成和采用的视线估计模型大致可分为两种单摄像 机单光源系统和多摄像机多光源系统。 l，单摄像机单光源系统通过检测普尔钦斑中心到瞳孔中心的平面视线参数，采用 线性和非线性多项式建立视线参数到视线屏幕落点的映射模型。只能在头部静止或微动状 态下检测视线落点。 2，多摄像机多光源系统通过立体视觉检测普尔钦斑中心到瞳孔中心的三维视线 参数，采用眼球成像几何模型将视线参数换算成视线方向。因此可检测头部运动状态下的 视线方向。 单摄像机系统结构简单，使用简便，在人因分析等领域有着普遍的应用价值。多摄 像机系统需精确测定计算机屏幕、光源的相对位置关系，系统标定程序复杂，成本相对较高。 在现有技术中，基于瞳孔角膜反射方法的视线追踪装置，特别是控制形成亮瞳和 暗瞳及普尔钦斑图像的光源控制部分，目前并没有人提出完整而完善的解决方案。
技术实现思路
本技术的目的，是建立一套基于瞳孔角膜反射方法的视线追踪装置，特别是建立控制形成亮瞳和暗瞳及普尔钦斑图像的光源控制部分，从而为瞳孔角膜反射方法的视 线追踪提供精准的硬件支持。 本技术一种基于瞳孔角膜反射方法的视线追踪装置，所述装置包括有图像信 号处理部分和光源控制部分，所述图像信号处理部分包括 滤光片用于接收红外光源在人脸和人眼的反射，滤除波长880nm以外的光，形成 稳定、清晰的瞳孔和普尔钦斑； CCD摄像机用于摄取人脸和人眼图像，并将采集信号传输至图像采集卡； 图像采集卡接收CCD摄像机采集的人脸图像，并进行AD转换和预处理； 主机所述图像采集卡所采集的信号输入至主机进行图像处理； 显示屏将主机通过视线特征参数提取和视线映射模型获得视线落点，显示在显示屏上。所述光源控制部分控制形成亮瞳和暗瞳及普尔钦斑图像，其包括 帧同步卡所述帧同步卡连接至CCD摄像机，并输出CCD摄像机采样的同步信号，该信号输入单片机系统的光源控制板； 单片机系统光源控制板电路所述单片机系统的光源控制板输出控制信号，控制 双环型红外光源的内环和外环交替亮灭； 双环型红外光源由红外发光二极管组成交替亮灭的内环和外环光源。上述技术方案可以进一步的改进为所述图像采集卡为黑白图像采集卡。上述技术方案可以进一步的改进为所述单片机系统光源控制板电路采用 STC12C5410AD型单片机为核心处理器件。 本技术的有益效果在于通过本装置的各个环节，能够在图像序列中，形成亮 瞳和暗瞳图像，使瞳孔更加突出并形成稳定的普尔钦斑图像，便于在视线特征参数提取过 程中有效检测瞳孔和普尔钦斑，为获取准确的视线方向创造条件。附图说明图1是本技术系统结构图。 图2是本技术系统工作流程图。 图3、图4是本技术双环型红外光源正面图、侧面图。 图5亮瞳、暗瞳及普尔钦斑产生原理。 图6本技术单片机系统光源控制板电路示意图。具体实施方式以下结合附图具体阐述本技术的技术方案。 本技术包括有图像信号处理部分和光源控制部分，所述图像信号处理部分包 括 滤光片用于接收红外光源在人脸和人眼的反射，滤除波长880nm以外的光，形成 稳定、清晰的瞳孔和普尔钦斑； CCD摄像机用于摄取人脸和人眼图像，并将采集信号传输至图像采集卡； 图像采集卡接收CCD摄像机采集的人脸图像，并进行AD转换和预处理；本技术图像信号处理部分所述的图像采集卡为黑白图像采集卡。采集卡选用黑白图像采集卡，适用于工业检测和科学图像处理及医疗影像等科研领域。主机所述图像采集卡所采集的信号输入至主机进行图像处理； 显示屏将主机通过视线特征参数提取和视线映射模型获得视线落点，显示在显示屏上。 所述光源控制部分控制形成亮瞳和暗瞳及普尔钦斑图像，其包括 帧同步卡所述帧同步卡连接至CCD摄像机，并输出CCD摄像机采样的同步信号，该信号输入单片机系统的光源控制板； 单片机系统光源控制板电路所述单片机系统的光源控制板输出控制信号，控制 双环型红外光源的内环和外环交替亮灭； 双环型红外光源由红外发光二极管组成交替亮灭的内环和外环光源。 本技术的双环型红外光源由红外发光二极管组成交替亮灭的内环和外环光源。红外发光二极管波长为880nm，组成两个环形的光源。内环围绕摄像机镜头，为近光轴光源，点亮后能够形成人眼的亮瞳现象。外环光源远离摄像机镜头光轴，能够在人眼角膜上形成普尔钦斑，如图3、图4、图5所示(眼球上的亮点即为普尔钦斑)。 本技术在实现亮瞳和暗瞳及普尔钦斑时具体通过如下方法技术的单片机系统光源控制板选用STC12C5410AD型单片机作为核心处理器件，用其外部中断捕获帧同步卡提供的图像帧同步信号。当微处理器捕获到奇帧同步信号时，单片机1/0 口输出信号控制光源外环亮、内环灭；当微处理器捕获到偶帧同步信号时，I/O 口输出信号控制光源内环亮、外环灭。如此交替进行，即可在相邻两帧图像中分别得到用户的亮瞳和暗瞳两种图像。 基于STC12C5410AD型单片机的光源控制板电路由单片机、输入信号隔离、输入信 号整形、输出信号隔离、输出信号驱动电路构成，完成基于帧同步信号的光源控制功能。具 体电路如图6所示。 本技术的工作过程如图2所示，具体如下 受试者注视屏幕，帧同步卡获取CCD摄像机采样的同步信号并输出给光源控制板 的单片机系统。 单片机系统根据帧同步信号控制双环型红外光源交替亮灭，内环光源围绕摄像头 光轴，点亮时可产生亮瞳现象。外环光源则远离摄像头光轴，在人眼角膜上产生普尔钦斑。 由CCD摄像机获取人脸和人眼图像，通过图像采集卡传到主机。 主机通过视线特征参数提取和视线映射模型获得视线落点，显示在屏幕上。本文档来自技高网...

【技术保护点】
一种基于瞳孔角膜反射方法的视线追踪装置，所述装置包括有图像信号处理部分和光源控制部分，所述图像信号处理部分包括：　　滤光片：接收红外光源在人脸和人眼的反射，滤除波长８８０ｎｍ以外的光，形成稳定、清晰的瞳孔和普尔钦斑；　　ＣＣＤ摄像机：摄取人脸和人眼图像，并将采集信号传输至图像采集卡；　　图像采集卡：接收ＣＣＤ摄像机采集的人脸图像，并进行ＡＤ转换和预处理；　　主机：所述图像采集卡所采集的信号输入至主机进行图像处理；　　显示屏：将主机通过视线特征参数提取和视线映射模型获得视线落点，显示在显示屏上。　　其特征在于：所述光源控制部分控制形成亮瞳和暗瞳及普尔钦斑图像，其包括：　　帧同步卡：所述帧同步卡连接至ＣＣＤ摄像机，并输出ＣＣＤ摄像机采样的同步信号，该信号输入单片机系统的光源控制板；　　单片机系统光源控制板电路：所述单片机系统的光源控制板输出控制信号，控制双环型红外光源的内环和外环交替亮灭；　　双环型红外光源：由红外发光二极管组成交替亮灭的内环和外环光源。

【技术特征摘要】
一种基于瞳孔角膜反射方法的视线追踪装置，所述装置包括有图像信号处理部分和光源控制部分，所述图像信号处理部分包括滤光片接收红外光源在人脸和人眼的反射，滤除波长880nm以外的光，形成稳定、清晰的瞳孔和普尔钦斑；CCD摄像机摄取人脸和人眼图像，并将采集信号传输至图像采集卡；图像采集卡接收CCD摄像机采集的人脸图像，并进行AD转换和预处理；主机所述图像采集卡所采集的信号输入至主机进行图像处理；显示屏将主机通过视线特征参数提取和视线映射模型获得视线落点，显示在显示屏上。其特征在于所述光源控制部分控制形成亮瞳和暗瞳及普尔钦斑图像，其包括帧...

【专利技术属性】
技术研发人员：迟健男，王志良，张鹏翼，张闯，颜艳桃，张寒，刘洋，
申请(专利权)人：北京科技大学，
类型：实用新型
国别省市：11[中国|北京]