一种头戴式目视瞄准控制系统技术方案

本发明专利技术涉及穿戴式智能设备技术领域，具体涉及一种目视瞄准控制系统。一种头戴式目视瞄准控制系统，其技术方案是：目视检测跟踪装置佩戴于使用者头部，包括：位置跟踪器、眼睛摄像机、角膜反射红外光源、眼动处理模块、头带显示器以及光学系统；伺服云台上设有摄像头，并在控制板的控制下进行运动；数据处理与通信模块接收摄像头获取的场景图像信息，并将该场景图像信息发送至显示屏驱动板；数据处理与通信模块将注视点信息、头部位姿信息相融合，并将融合后的信息与摄像头获取的场景图像信息进行相应检测跟踪，检测跟踪结果发送至控制板，伺服云台进行目视运动的同步运动。本发明专利技术能够更加准确的控制伺服云台按照眼动的意图运动。

A head mounted visual aiming control system

The invention relates to the technical field of wearable intelligent equipment, in particular to a visual aiming control system. A head-mounted visual aiming control system has the following technical scheme: the visual detection and tracking device is worn on the user's head, including position tracker, eye camera, corneal reflection infrared light source, eye movement processing module, headband display and optical system; the servo platform is equipped with a camera and controlled by the control board. The data processing and communication module receives the scene image information captured by the camera and sends the scene image information to the display panel; the data processing and communication module integrates the focus information and head position information, and carries out the fusion information with the scene image information captured by the camera. The corresponding detection and tracking results are sent to the control board, and the servo platform synchronizes the visual movement. The invention can more accurately control the servo platform moving according to the eye movement intention.

【技术实现步骤摘要】
一种头戴式目视瞄准控制系统
本专利技术涉及穿戴式智能设备
，具体涉及一种目视瞄准控制系统。
技术介绍
穿戴式目视瞄准控制系统是一种便携式、易操作实现的辅助控制系统，用于获取实时场景中人眼的注视点位置，并同步使得所控制伺服云台能根据人眼的注视点位置进行运动作业。主要用于辅助操作者在复杂的操作环境(如户外作业)中进行多通道地与仪器设备进行交互，以在于利用人眼的注视特征完成多方式的交互操作，可用于军事、科考、医疗、建筑、维修等领域。目前世界上约44家眼动仪研发与生产单位对于穿戴式眼动检测设备进行研制，其中比较成熟的有美国ASL应用科学实验室、加拿大SR科学研究所，德国SMI传感运动仪器公司和瑞典的Tobii眼动仪公司。这些眼动检测设备基本上都能对人眼的相应数据进行采集，并将采集到的数据进行分析应用于相关研究领域。国内相关研究领域引进了一些桌面式和头戴式眼动设备，进一步开发自己的眼动测量与视线跟踪系统。现有的眼动检测系统中存在以下问题：1)穿戴式的头部位置控制系统，控制范围大，但控制精度不高；2)穿戴式的眼动控制系统对眼部数据采集的同时也采集场景中的图像信息，但并没有将眼动的信息和场景中的图形图像信息进行关联控制；3)已有的穿戴式眼动控制系统，应用于虚拟现实和增强现实的场景，所控制的场景是已有的场景模型，并没有实现对实时的真实场景控制。
技术实现思路
本专利技术的目的是：为解决便携式可穿戴的目视检测跟踪问题，提供一种头戴式目视瞄准控制系统，通过目视瞄准对伺服云台运动进行控制。本专利技术的技术方案是：一种头戴式目视瞄准控制系统，它包括：目视检测跟踪装置、伺服云台、数据处理与通信模块以及电池；目视检测跟踪装置包括：穿戴于使用者头部的带子；安装在带子上，用于获取使用者头部位姿的位置跟踪器；安装在带子上，用于连接头带固定板以及头带固定连接件的头部固定器；固定连接在头带固定连接件上的外罩；固定在外罩内的眼睛摄像机、角膜反射红外光源、眼动处理模块、头带显示器以及光学系统，其中，角膜反射红外光源用于照射使用者瞳孔形成参考光斑，眼睛摄像机用于获取使用者眼部的图像信息，眼动处理模块与眼睛摄像机连接，用于对采集到的眼部图像进行初步处理得到注视点信息，头带显示器与光学系统相配合，用于向使用者显示伺服云台视野范围内实时获取的场景图像信息，头带显示器由显示屏驱动板进行驱动；伺服云台上设有用于获取场景图像信息的摄像头，伺服云台与控制板连接，在控制板的控制下进行六个自由度的运动；电池用于向数据处理与通信模块、目视检测跟踪装置供电；数据处理与通信模块与眼动处理模块、位置跟踪器、显示屏驱动板、摄像头、控制板连接；数据处理与通信模块接收摄像头获取的场景图像信息，并将该场景图像信息发送至显示屏驱动板，使用者通过显示器进行观看；眼动处理模块将注视点信息、位置跟踪器将使用者头部位姿信息发送至数据处理与通信模块，数据处理与通信模块将注视点信息、头部位姿信息相融合，并将融合后的信息与摄像头获取的场景图像信息进行相应检测跟踪，检测跟踪结果发送至控制板，由控制板驱动伺服云台完成目视运动的同步运动。使用者眼部不停地对显示器中的图像信息进行注视，随着人眼观看注视点及头部位姿的变化，数据处理与通信模块将该变化转换为伺服云台运动的信息，从而完成目视瞄准控制伺服云台的运动。进一步的，连接头带固定板与头部固定器之间活动连接，在头带连接部分，可以对外罩及其包含部分进行旋转位置调整，工作状态，可将外罩旋转至眼睛正前方，非工作状态可将外罩旋转至头顶部位。进一步的，为保证使用者面部与外罩贴合时的舒适度，外罩与使用者脸部贴合处设有海绵垫层，通过调整海绵垫层的厚度可以对眼部和光学系统之间的距离进行微调。上述方案中，具体的，角膜反射红外光源分布在使用者眼部一周。上述方案中，具体的，眼睛摄像机、角膜反射红外光源与眼动处理模块集成化为一体，安装在光学系统上，并与头带显示器保持设定距离，使用时，集成化部分对使用者眼部信息进行采集，同时使用者也能很好的观看到头带显示器中显示的图形图像信息。有益效果：本专利技术以穿戴的方式利用目视检测跟踪装置获取使用者眼部的注视点信息、以及头部的位姿信息，并且将伺服云台视野范围内实时获取的场景图像信息传输到头带显示器中显示，通过将注视点信息、头部的位姿信息与目标物的位置信息相关联，更加准确的确定注视点信息、头部的位姿信息，从而控制伺服云台按照眼动的意图实现运动。附图说明图1为本专利技术的整体结构示意图；图2为本专利技术的可穿戴部分的结构示意图；图3为本专利技术中目视检测跟踪装置的局部结构示意图；图4为图3的剖视图；图5为本专利技术中伺服云台的结构示意图。具体实施方式参见附图1，一种头戴式目视瞄准控制系统，它包括：目视检测跟踪装置、伺服云台18、数据处理与通信模块13以及电池14；参见附图2-4，目视检测跟踪装置采用单眼的控制方式，包括：穿戴于使用者头部的带子15；安装在带子15上，用于获取使用者头部位姿的位置跟踪器16；安装在带子15上，用于连接头带固定板2以及头带固定连接件3的头部固定器1；固定连接在头带固定连接件3上的外罩11；固定在外罩11内的眼睛摄像机4、角膜反射红外光源5、眼动处理模块6、头带显示器9以及光学系统10，其中，角膜反射红外光源5用于照射使用者瞳孔形成参考光斑，便于更好的提取眼部信息特征从而进行人眼注视点的估计，眼睛摄像机4用于获取使用者眼部的图像信息，眼动处理模块6与眼睛摄像机4连接，用于对采集到的眼部图像进行初步处理得到注视点信息，头带显示器9与光学系统10相配合，用于向使用者显示伺服云台18视野范围内实时获取的场景图像信息，头带显示器9由显示屏驱动板7进行驱动；显示屏驱动板7安装在驱动板固定壳8内；参见附图5，伺服云台18上设有用于获取场景图像信息的摄像头17，伺服云台18与控制板19连接，在控制板19的控制下进行六个自由度的运动；伺服云台18运动时，摄像头17保持相对静止；电池14用于向数据处理与通信模块13、目视检测跟踪装置供电，由使用者随身携带或穿戴；数据处理与通信模块13由使用者随身携带或穿戴；数据处理与通信模块13与眼动处理模块6、位置跟踪器16、显示屏驱动板7、摄像头17、控制板19连接；数据处理与通信模块13接收摄像头17获取的场景图像信息，并将该场景图像信息发送至显示屏驱动板7，使用者通过显示器9进行观看；眼动处理模块6将注视点信息、位置跟踪器16将使用者头部位姿信息发送至数据处理与通信模块13，数据处理与通信模块13将注视点信息、头部位姿信息相融合，并将融合后的信息与摄像头17获取的场景图像信息进行相应检测跟踪，检测跟踪结果发送至控制板19，由控制板19将跟踪结果转换为伺服云台18运动信息，驱动伺服云台18完成目视运动的同步运动。使用者眼部不停地对显示器9中的图像信息进行注视，随着人眼观看注视点及头部位姿的变化，数据处理与通信模块13将该变化转换为伺服云台18运动的信息，从而完成目视瞄准控制伺服云台的运动。进一步的，连接头带固定板2与头部固定器1之间活动连接，在头带连接部分，可以对外罩11及其包含部分进行旋转位置调整，工作状态，可将外罩11旋转至眼睛正前方，非工作状态可将外罩11旋转至头顶部位。进一步的，为保证使用者面部与外罩贴合本文档来自技高网...

【技术保护点】
1.一种头戴式目视瞄准控制系统，它包括：目视检测跟踪装置、伺服云台(18)、数据处理与通信模块(13)以及电池(14)，其特征在于：所述目视检测跟踪装置包括：穿戴于使用者头部的带子(15)；安装在所述带子(15)上，用于获取使用者头部位姿的位置跟踪器(16)；安装在所述带子(15)上，用于连接头带固定板(2)以及头带固定连接件(3)的头部固定器(1)；固定连接在所述头带固定连接件(3)上的外罩(11)；固定在所述外罩(11)内的眼睛摄像机(4)、角膜反射红外光源(5)、眼动处理模块(6)、头带显示器(9)以及光学系统(10)，其中，所述角膜反射红外光源(5)用于照射使用者瞳孔形成参考光斑，所述眼睛摄像机(4)用于获取使用者眼部的图像信息，所述眼动处理模块(6)与所述眼睛摄像机(4)连接，用于对采集到的眼部图像进行初步处理得到注视点信息，所述头带显示器(9)与所述光学系统(10)相配合，用于向使用者显示所述伺服云台(18)视野范围内实时获取的场景图像信息，所述头带显示器(9)由显示屏驱动板(7)进行驱动；所述伺服云台(18)上设有用于获取场景图像信息的摄像头(17)，所述伺服云台(18)与控制板(19)连接，在所述控制板(19)的控制下进行六个自由度的运动；所述电池(14)用于向所述数据处理与通信模块(13)、所述目视检测跟踪装置供电；所述数据处理与通信模块(13)与所述眼动处理模块(6)、所述位置跟踪器(16)、所述显示屏驱动板(7)、所述摄像头(17)、所述控制板(19)连接；所述数据处理与通信模块(13)接收所述摄像头(17)获取的场景图像信息，并将该场景图像信息发送至所述显示屏驱动板(7)，使用者通过所述显示器(9)进行观看；所述眼动处理模块(6)将注视点信息、所述位置跟踪器(16)将使用者头部位姿信息发送至所述数据处理与通信模块(13)，所述数据处理与通信模块(13)将所述注视点信息、所述头部位姿信息相融合，并将融合后的信息与所述摄像头(17)获取的场景图像信息进行相应检测跟踪，检测跟踪结果发送至所述控制板(19)，由所述控制板(19)驱动所述伺服云台(18)完成目视运动的同步运动。...

【技术特征摘要】
1.一种头戴式目视瞄准控制系统，它包括：目视检测跟踪装置、伺服云台(18)、数据处理与通信模块(13)以及电池(14)，其特征在于：所述目视检测跟踪装置包括：穿戴于使用者头部的带子(15)；安装在所述带子(15)上，用于获取使用者头部位姿的位置跟踪器(16)；安装在所述带子(15)上，用于连接头带固定板(2)以及头带固定连接件(3)的头部固定器(1)；固定连接在所述头带固定连接件(3)上的外罩(11)；固定在所述外罩(11)内的眼睛摄像机(4)、角膜反射红外光源(5)、眼动处理模块(6)、头带显示器(9)以及光学系统(10)，其中，所述角膜反射红外光源(5)用于照射使用者瞳孔形成参考光斑，所述眼睛摄像机(4)用于获取使用者眼部的图像信息，所述眼动处理模块(6)与所述眼睛摄像机(4)连接，用于对采集到的眼部图像进行初步处理得到注视点信息，所述头带显示器(9)与所述光学系统(10)相配合，用于向使用者显示所述伺服云台(18)视野范围内实时获取的场景图像信息，所述头带显示器(9)由显示屏驱动板(7)进行驱动；所述伺服云台(18)上设有用于获取场景图像信息的摄像头(17)，所述伺服云台(18)与控制板(19)连接，在所述控制板(19)的控制下进行六个自由度的运动；所述电池(14)用于向所述数据处理与通信模块(13)、所述目视检测跟踪装置供电；所述数据处理与通信模块(13)与所述眼动处理模块...

【专利技术属性】
技术研发人员：王建中，白柯萌，施家栋，刘弘扬，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11