一种视线跟踪瞄准操控系统及方法技术方案

本发明专利技术公开了一种视线跟踪瞄准操控系统及方法，可以让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标。视线跟踪瞄准操控系统包括：视线跟踪设备，可以跟踪计算出使用者视线方向及注视点位置坐标；视线跟踪设备与机器人平台设备相对位置姿态获取单元，可以测算视线跟踪设备坐标系和瞄准操控设备坐标系之间的相对位置姿态；瞄准操控设备，可以根据的视线方向及注视点位置坐标和相对位置姿态等计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，从而操控设备瞄准锁定跟踪使用者注视点目标。该系统还可以对使用者注视点目标进行标定校准，提高系统的视线跟踪瞄准锁定跟踪精度。

Vision tracking and aiming control system and method

The invention discloses a gaze tracking aiming control system and method, which enables users to control the machine by means of eyes, and rapidly aim, lock and track the target to be watched. Line of sight tracking control system includes: eye tracking equipment, can calculate the user tracking gaze direction and gaze point coordinates; relative position and attitude of eye tracking equipment and robot platform equipment acquisition unit can measure the eye tracking device coordinates and target relative position and attitude between control device coordinate system; target control device, the line of sight direction according to the fixation point and position and the relative position and attitude etc. calculate the gaze point target in the target user manipulation device coordinates direction and position coordinates, so as to control equipment aimed at locking and tracking user gaze point target. The system can also calibrate and calibrate the user's fixation point, and improve the sight tracking, pointing, locking and tracking precision of the system.

【技术实现步骤摘要】
一种视线跟踪瞄准操控系统及方法
本专利技术涉及视线跟踪瞄准操控领域，尤其涉及一种视线跟踪瞄准操控系统及方法。
技术介绍
视觉是人们获取信息的主要方式，由于视线具有直接性、自然性和双向性等特点，使得视线跟踪技术在人机交互、人机协作、商场购物注意力分析、驾驶员行为分析、广告网页等用户心理及行为分析等多个领域有着广泛的应用。但目前现有的视线跟踪技术多应用于跟踪视线在显示屏幕或场景摄像机拍摄图像视频等二维平面上的位置，直接跟踪使用者在真实空间中三维注视点位置坐标的系统及方法较少。特别是在让使用者直接用眼睛操控机器设备对真实空间中的目标进行瞄准锁定跟踪的领域，暂时还没有相关的系统及方法。
技术实现思路
基于现有技术所存在的问题，本专利技术的目的是提供一种视线跟踪瞄准操控系统及方法，能让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标。本专利技术的目的是通过以下技术方案实现的：本专利技术实施方式提供一种视线跟踪瞄准操控系统，包括：视线跟踪设备，能跟踪计算在该视线跟踪设备坐标系下使用者视线方向及注视点位置坐标；相对位置姿态获取单元，分别与视线跟踪设备和瞄准操控设备通信连接，能获取所述视线跟踪设备坐标系和所述瞄准操控设备坐标系之间的相对位置姿态；瞄准操控设备，分别与所述视线跟踪设备和相对位置姿态获取单元通信连接，能根据所述视线跟踪设备提供的视线方向及注视点位置坐标和所述相对位置姿态获取单元提供的相对位置姿态计算得出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，并通过计算出的方向和位置坐标操控设备瞄准锁定跟踪使用者注视点目标。本专利技术实施方式还提供一种视线跟踪瞄准操控方法，采用本专利技术所述的视线跟踪瞄准操控系统，包括以下步骤：步骤(a)，通过所述系统的视线跟踪设备采集使用者的眼动数据，根据所述使用者的眼动数据计算使用者视线方向和注视点位置坐标；步骤(b)，通过所述系统的相对位置姿态获取单元获取所述系统的视线跟踪设备坐标系与所述瞄准操控设备坐标系的相对位置姿态；步骤(c)，由所述系统的瞄准操控设备根据所述视线方向及注视点位置坐标和相对位置姿态计算出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，操控设备瞄准锁定跟踪使用者注视点目标。由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的视线跟踪瞄准操控系统及方法，其有益效果为：通过设置相互通信连接的视线跟踪设备、相对位置姿态获取单元和瞄准操控设备相互配合，可以跟踪计算出使用者视线方向及注视点位置坐标，获取视线跟踪设备坐标系和瞄准操控设备坐标系之间的相对位置姿态，两者结合进而计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标。本专利技术的系统及方法在人与机器人协作，飞机、车辆、舰船、航天飞行器等的辅助操控，VR/AR全浸入式人机交互等多个领域有广泛应用。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的视线跟踪瞄准操控系统结构图；图2为本专利技术实施例提供的视线跟踪瞄准操控方法流程图；图3为本专利技术实施例提供的视线跟踪瞄准操控系统应用场景示意图。具体实施方式下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。如图1所示，本专利技术实施例提供一种视线跟踪瞄准操控系统，可以让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标，包括：视线跟踪设备，能跟踪计算在该视线跟踪设备坐标系下使用者视线方向及注视点位置坐标；相对位置姿态获取单元，分别与视线跟踪设备和瞄准操控设备通信连接，能获取所述视线跟踪设备坐标系和所述瞄准操控设备坐标系之间的相对位置姿态；瞄准操控设备，分别与所述视线跟踪设备和相对位置姿态获取单元通信连接，能根据所述视线跟踪设备提供的视线方向及注视点位置坐标和所述相对位置姿态获取单元提供的相对位置姿态计算得出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，并通过计算出的方向和位置坐标操控设备瞄准锁定跟踪使用者注视点目标,使用者注视点目标是指使用者注视点处的目标。上述系统还包括：瞄准校正单元，与所述瞄准操控设备通信连接，对使用者注视点目标进行标定校准。设置该瞄准校正单元能提高系统的视线跟踪瞄准锁定跟踪精度。上述系统中，视线跟踪设备包括：眼动数据采集装置和视线方向及注视点的位置坐标估算单元；其中，所述眼动数据采集装置，能采集使用者单眼或者双眼的眼动数据；所述的视线方向及注视点位置坐标估算单元，与所述眼动数据采集装置通信连接，能从所述眼动数据采集装置采集的眼动数据中提取与视线方向及注视点相关的眼动参数信息，并通过眼球模型和标定训练建立眼动参数信息和视线方向及注视点之间的映射关系，再结合眼动参数和映射关系计算得出使用者单眼或双眼视线方向和注视点目标在该视线跟踪设备坐标系下的位置坐标。上述系统中，若所述视线跟踪设备与所述瞄准操控设备的位置能相对移动，所述相对位置姿态获取单元采用：标定定位单元、惯性导航定位单元、卫星定位单元中的至少一种；若所述视线跟踪设备与所述瞄准操控设备的位置不能相对移动，所述相对位置姿态获取单元采用：测量确定单元或输入接收单元。具体的，当系统包括的视线跟踪设备与瞄准操控设备会有相对移动时，所述的相对位置姿态获取单元包括但不限于标定定位单元、惯性导航定位单元、卫星定位单元等相对位置姿态获取单元，且可以融合多个测算单元的数据，在室内外等范围内实现更高的测算精度和鲁棒性。当视线跟踪设备与瞄准操控设备安装固定在同一平台上无相对运动时，所述的视线跟踪设备与瞄准操控设备的相对位置姿态可以是在设计和生产安装时直接测量确定获得。上述系统中，标定定位单元包括：标记点装置和信号发射感知装置，分别安装在所述视线跟踪设备和所述瞄准操控设备上，其中一个设备上安装标记点装置，另一个设备安装信号发射感知装置。上述系统中，标记点装置为：按照一定结构排列安装在一个设备上的多个标定点装置，并已知各标定点装置在所安装的设备坐标系下的位置坐标；所述信号发射感知装置，能发射或接收信号，确定各标定点装置在该信号发射感知装置坐标系下的位置方向或坐标，该信号发射装置坐标系在所安装的设备平台坐标系下的位置姿态和旋转平移矩阵已知。优选的，上述标定定位单元采用摄像头标定、激光扫描标定、光源定位、声源定位、电磁信号源定位中的至少一种。具体的，所述的标定定位单元包括安装在某一设备上的标记点装置和安装在另一设备上的信号发射感知装置。所述的标记点装置是按照一定结构排列安装在设备上的多个标记点装置，已知各点在安装设备坐标系下的位置坐标。所述的安装在另一设备上的信号发射感知装置可以发射或接受一定信号，确定多个标记点装置在信号发射感知装置坐标系下的位置方向或坐标。该信号发射装置坐标系在安装设备平台坐标系下的位置姿态和旋转平移矩阵已知。所述的标定本文档来自技高网...

【技术保护点】
一种视线跟踪瞄准操控系统，其特征在于，包括：视线跟踪设备，能跟踪计算在该视线跟踪设备坐标系下使用者视线方向及注视点位置坐标；相对位置姿态获取单元，分别与视线跟踪设备和瞄准操控设备通信连接，能获取所述视线跟踪设备坐标系和所述瞄准操控设备坐标系之间的相对位置姿态；瞄准操控设备，分别与所述视线跟踪设备和相对位置姿态获取单元通信连接，能根据所述视线跟踪设备提供的视线方向及注视点位置坐标和所述相对位置姿态获取单元提供的相对位置姿态计算得出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，并通过计算出的方向和位置坐标操控设备瞄准锁定跟踪使用者注视点目标。

【技术特征摘要】
1.一种视线跟踪瞄准操控系统，其特征在于，包括：视线跟踪设备，能跟踪计算在该视线跟踪设备坐标系下使用者视线方向及注视点位置坐标；相对位置姿态获取单元，分别与视线跟踪设备和瞄准操控设备通信连接，能获取所述视线跟踪设备坐标系和所述瞄准操控设备坐标系之间的相对位置姿态；瞄准操控设备，分别与所述视线跟踪设备和相对位置姿态获取单元通信连接，能根据所述视线跟踪设备提供的视线方向及注视点位置坐标和所述相对位置姿态获取单元提供的相对位置姿态计算得出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，并通过计算出的方向和位置坐标操控设备瞄准锁定跟踪使用者注视点目标。2.根据权利要求1所述的一种视线跟踪瞄准操控系统，其特征在于，还包括：瞄准校正单元，与所述瞄准操控设备通信连接，对使用者注视点目标进行标定校准。3.根据权利要求1或2所述的一种视线跟踪瞄准操控系统，其特征在于，所述视线跟踪设备包括：眼动数据采集装置和视线方向及注视点的位置坐标估算单元；其中，所述眼动数据采集装置，能采集使用者单眼或者双眼的眼动数据；所述的视线方向及注视点位置坐标估算单元，与所述眼动数据采集装置通信连接，能从所述眼动数据采集装置提供的眼动数据中提取与视线方向及注视点相关的眼动参数信息，并通过眼球模型和标定训练建立眼动参数信息和视线方向及注视点之间的映射关系，结合眼动参数和映射关系计算得出使用者单眼或双眼视线方向和注视点目标在该视线跟踪设备坐标系下的位置坐标。4.根据权利要求1或2所述的一种视线跟踪瞄准操控系统，其特征在于，所述系统中，若所述视线跟踪设备与所述瞄准操控设备的位置能相对移动，所述相对位置姿态获取单元采用：标定定位单元、惯性导航定位单元、卫星定位单元中的至少一种；若所述视线跟踪设备与所述瞄准操控设备的位置不能相对移动，所述相对位置姿态获取单元采用：测量确定单元或输入接收单元。5.根据权利要求4所述的一种视线跟踪瞄准操控系统，其特征在于，所述标定定位单元包括：标记点装置和信号发射感知装置，分别安装在所述视线跟踪设备和所述瞄准操控设备上，其中一个设备上安装标记点装置，另一个设备安装信号发射感知装置。6.根据权利要求5所述的一种视线跟踪瞄准操控系统，其特征在于，所述标记点装置为：按照一定结构排列安装在一个设备上的多个标定点装置，并已知各标定点装置在所安装的设备坐标系下的位置坐标；所述信号发射感知装置，...

【专利技术属性】
技术研发人员：李斌，张义飞，邓宏平，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34