视线追踪及人眼感兴趣区域定位系统技术方案

本实用新型专利技术公开了一种视线追踪及人眼感兴趣区域定位系统，包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；所述红外人眼相机用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；通过利用本实用新型专利技术瞳孔与标记点的映射关系即可以确定人眼在视线区域图像中的注视点/感兴趣点，实现了视线追踪的功能。

【技术实现步骤摘要】

本技术涉及一种可穿戴式电子设备，尤其是一种基于瞳孔检测技术的视线追踪和人眼感兴趣区域定位系统。
技术介绍
视线追踪技术广泛用于商业数据分析、车辆辅助驾驶、心理与生理学研究、人因分析、虚拟现实等领域。目前国内视线追踪领域的研究也正处于起步阶段，国外主要是为数不多的几家发达国家高科技公司掌握关键技术并推出了成熟产品。它们的产品价格都十分昂贵，配套软件需要额外购买，并且结构复杂，使用过程相对繁琐，这些因素限制了视线追踪技术更加广泛的应用。
技术实现思路
为了解决
技术介绍
中的问题，本技术提出了一种精度较高，成本较低，结构简单，容易使用的视线追踪及人眼感兴趣区域定位系统。本技术给出以下技术方案：视线追踪及人眼感兴趣区域定位系统，其特殊之处在于：包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；所述红外人眼相机，用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹；硬件平台还用于：生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备；采集瞳孔位置，瞳孔
位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标：根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系；硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显示；其中，标记点图像与人眼视线区域图像的分辨率相同；所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和人眼视线区域图像。瞳孔与标记点的映射关系是根据标记点的坐标除以对应的瞳孔坐标建立的。具体的建立方法：硬件平台生成标记点图像(标记点图像设有多个标记点)，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备，通过人眼观测显示输出设备上标记图像内的标记点，记录瞳孔在人眼注视这些标记点时的位置，建立瞳孔坐标，再用每个标记点的坐标除以对应的瞳孔坐标，得到映射系数，利用映射系数建立瞳孔与标记点的映射关系。因此以后只需检测瞳孔运动轨迹，利用瞳孔与标记点的映射关系即可以确定人眼在视线区域图像中的注视点/感兴趣点，实现视线追踪的功能。硬件平台运行的软件系统包括Linux操作系统，内核版本为3.03，在Linux操作系统中运行QT和OpenCV交叉编译环境，在交叉编译环境中生成双核ARM9处理器可执行文件；存储单元还用于存储Linux操作系统。上述硬件平台还包括电源模块、VGA显示接口和USB OTG接口；所述电源模块为TI公司TPS系列电源芯片；所述VGA显示接口为ADV7511芯片和HDMI-VGA转接器；所述USB OTG接口为TUSB1210芯片；所述存储单元为SD卡和/或U盘；所述FPGA和双核ARM9处理器为Xilinx公司的ZYNQ-7020芯片。红外人眼相机为320*240分辨率的近红外CMOS相机，前景相机为640*480分辨率的广角可见光CMOS相机。硬件平台通过存储在存储单元卡中的Linux操作系统，将Linux操作系
统挂载在双核AMR9处理器内部。上述QT软件版本为4.8.1，所述OpenCV版本为2.4.11。上述红外人眼相机和前景相机分别通过USB OTG接口与硬件平台相连；所述显示输出设备通过VGA显示接口与硬件平台相连上述视线追踪及人眼感兴趣区域定位系统还包括具有控制功能的外部设备，具有控制功能的外部设备是鼠标和键盘，所述鼠标和键盘均通过USB OTG接口与硬件平台相连。本技术具有以下技术效果：利用本技术瞳孔与标记点的映射关系，可以确定人眼在视线区域图像中的注视点/感兴趣点，能够实现视线追踪的功能，因此，本技术可以为商业领域的宣传文案、海报设计、网页视觉效果、包装设计等提供观测效果的试验分析，计算消费者对海报广告设计的主要观测兴趣位置，从而优化海报广告的设计以达到更好的宣传期望；也可以将本技术制作成可穿戴的，可以辅助用户实时分析测试者感兴趣区域。附图说明图1是本技术视线追踪及人眼感兴趣区域定位系统的实现框图。图2是硬件平台具体电路原理图。图3是本技术软件系统总体结构。图4是本技术外部接口示意图。图5是本技术软件系统流程图。具体实施方式本技术提出了一种视线追踪及人眼感兴趣区域定位系统，如图1至图5，包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；所述红外人眼相机，用于拍摄人眼瞳孔图像，并将该图像实时传输至硬
件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹；硬件平台还用于：生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备；采集瞳孔位置，瞳孔位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标：根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系；硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显示；其中，标记点图像与人眼视线区域图像的分辨率相同；所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和人眼视线区域图像。硬件平台运行的软件系统包括Linux操作系统，内核版本为3.03，Linux操作系统为基于Linux3.13内核版本的定制操作系统，具体版本为Ubuntu12.04LTS；在Linux操作系统中运行QT和OpenCV交叉编译环境，在交叉编译环境中实现映射关系，其中，QT软件版本为4.8.1，OpenCV版本为2.4.11；存储单元还用于存储Linux操作系统；硬件平台通过存储在存储单元卡中的Linux操作系统，将Linux操作系统挂载在双核AMR9处理器内部。如图2，硬件平台还包括电源模块、VGA显示接口和USB OTG接口；电源模块为TI公司TPS系列电源芯片；VGA显示接口为ADV7511芯片和HDMI-VGA转接器；USB OTG接口为TUSB1210芯片；存储单元为SD卡和/或U盘。FPGA和双核ARM9处理器均为Xilinx公司的ZYNQ-7020芯片。该芯片内部集成Xilinx公司最新7系列FPGA和双核ARM9处理器，并且通过AXI总线实现FPGA与ARM处理器的高速通信。红外人眼相机和前景相机分别通过USB OTG接口与硬件平台相连；所述显示输出设备通过VGA显示接口与硬件平台相连；红外人眼相机可采用为320*240分辨率的近红本文档来自技高网...

【技术保护点】
视线追踪及人眼感兴趣区域定位系统，其特征在于：包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；所述红外人眼相机用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹；硬件平台还用于：生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备；采集瞳孔位置，瞳孔位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标：根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系；硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显示；其中，标记点图像与人眼视线区域图像的分辨率相同；所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和人眼视线区域图像。...

【技术特征摘要】
1.视线追踪及人眼感兴趣区域定位系统，其特征在于：包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；所述红外人眼相机用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹；硬件平台还用于：生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备；采集瞳孔位置，瞳孔位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标：根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系；硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显示；其中，标记点图像与人眼视线区域图像的分辨率相同；所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和...

【专利技术属性】
技术研发人员：李斌，吴孟杰，李飞鹏，宋宗玺，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：新型
国别省市：陕西;61