一种基于可穿戴式装备的目标态势信息智能获取系统技术方案

本发明专利技术提出一种基于可穿戴式装备的目标态势信息智能获取系统，包括目标态势信息智能获取模组A1和可穿戴装备基础支撑模组A2，其中目标态势信息智能获取模组A1由信息采集感知模块M1、信息计算处理模块M2、信息融合显示模块M3组成，利用基于轻量级架构的目标检测与识别方法P1、目标相对距离的自适应计算校准方法P2和不可见目标相对距离和方位角计算方法P3，实时地将观测者视野内的可见目标的定位框、相对距离和类别等态势信息穿透式虚实融合呈现，并将可见和不可见目标的相对方位和距离等态势信息叠加式标注辅助呈现。本发明专利技术能够帮助观测者获取更精准的目标态势信息并减轻认知负荷、解放双手和减少动作环节，辅助其在复杂场景中快速判断和迅速决策。

【技术实现步骤摘要】
一种基于可穿戴式装备的目标态势信息智能获取系统
本专利技术涉及一种可穿戴式装备及信息智能处理系统，特别是一种基于可穿戴式装备的目标态势信息智能获取系统。
技术介绍
目标相对于观测者的准确距离、方位以及多目标分布等态势信息的采集、感知、获取和呈现在军事和民用场景中均具有广泛的应用需求。例如，①军事领域：野外战、巷战或室内战等战场环境中执行解救人质、斩首行动、渗透侦查等任务时需要实时、准确地掌握敌我力量(包括可见、不可见目标)的分布态势；②民用领域：船舱、矿井等具有阻隔视线和广域通信信号的隔断空间中的人员分布态势。目前，主要是借助手持终端或配备VR/AR眼镜的智能头盔等可穿戴设备及信息智能处理方法来获取目标态势信息。基于GPS/北斗信号的手持终端目标定位和显示技术能够直观、清晰、实时地展示目标的地理位置和观测者与目标之间的相对距离和方位，但是一方面手持终端使用者在获取目标态势信息时需要依靠单手或双手从而不可避免地影响手头上的动作和操作；另一方面，现有手持终端目标定位和显示技术尚未集成AR模块以实现虚实融合功能。虚实融合功能目前往往通过配备AR眼镜的智能头盔来实现，该技术方案可以不占用双手仅依靠观测者的头颈自然动作借助可穿戴式装备来获取被观测对象的状态信息。虚实融合现有技术通常是将虚拟物体“嵌入”到图像中而不是利用穿透式显示方式和人眼观测到的真实世界融合在一起，针对目标态势信息(包括方位、距离、类别等)的实时、精准感知并穿透式虚实融合呈现技术，特别是对观测者不可见目标的态势信息呈现技术还未见报道。<br>
技术实现思路
本专利技术的目的在于提供一种基于可穿戴式设备，并且融合了虚实融合功能的目标态势信息采集系统。实现本专利技术目的的技术解决方案为：一种基于可穿戴式装备的目标态势信息智能获取系统，包括目标态势信息智能获取模组A1和可穿戴装备基础支撑模组A2，所述目标态势信息智能获取模组A1包含信息采集感知模块M1、信息计算处理模块M2、信息融合显示模块M3，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组A2包括头盔本体M4、嵌入式计算单元M5、无线通信终端M6、电源M7，为目标态势信息智能获取模组A1提供结构、算力、通信和能源支撑。本专利技术与现有技术相比，具有以下优点：(1)本专利技术能够帮助使用者不依赖于手持终端而靠可穿戴式头显实时获取单个或多个目标的信息，从而解放双手并减少动作环节；(2)本专利技术能够获取该观测者视野内外的可见和不可见目标的态势信息，可以获取更精准信息以减轻认知负荷，辅助使用者在复杂场景中快速判断决策和迅速执行动作。下面结合附图对本专利技术作进一步详细描述。附图说明图1是本专利技术的系统总体架构图。图2是本专利技术中的基于轻量级集成架构的目标检测与识别方法P1流程图。图3是本专利技术中的目标相对距离的自适应计算校准方法P2流程图。图4是本专利技术实施例中不可见目标相对于观测者的距离和方位角计算方法示意图。图5是本专利技术实施例中可见及不可见目标态势信息呈现示意图。图6是本专利技术的目标态势整体信息呈现效果图。具体实施方式一种基于可穿戴式装备的目标态势信息智能获取系统，包括目标态势信息智能获取模组A1和可穿戴装备基础支撑模组A2，所述目标态势信息智能获取模组A1包含信息采集感知模块M1、信息计算处理模块M2、信息融合显示模块M3，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组A2包括头盔本体M4、嵌入式计算单元M5、无线通信终端M6、电源M7，为目标态势信息智能获取模组A1提供结构、算力、通信和能源支撑。所述目标态势信息智能获取模组A1中的采集感知模块M1包含可见光图像感知模块M11、地理位置信号采集模块M12、方位角信号采集模块M13，为信息处理模块M2提供图像、位置坐标和方位角信息；所述可见光图像感知模块M11采用双目摄像头，地理位置信号采集模块M12采集观测者的位置信息以及不可见目标队形的位置信息，方位角信号采集模块M13使用陀螺仪，可见光图像感知模块M11、地理位置信号采集模块M12、方位角信号采集模块M13设置在头盔本体M4上。所述可见光图像感知模块M11上设置有“眼动”注意力跟踪装置，该装置获取目标区域图像的方法为：首先，识别眼部图像上的瞳孔中心和角膜反射中心，提取所拍图像中的瞳孔和角膜，把角膜反射中心作为眼睛跟踪相机和眼球相对位置的基点，瞳孔中心位置坐标表示凝视点位置；然后，用光斑和瞳孔的相对位置确定视线方向；具体为：相对位置通过视线映射函数模型确定视线方向，视线映射函数模型如下：其中，(Px,Py)为注视点坐标，(Vx,Vy)为瞳孔反射光斑向量；之后，根据视线方向，利用瞳孔角膜反射技术获得观测者注视点中心，利用注视点中心进行区域扩展，得到目标区域图像。所述的信息计算处理模块M2包括图像预处理模块M21、目标检测与识别模块M22、相对距离和绝对方位角计算模块M23和相对方位角计算模块M24；所述图像预处理模块M21接收并处理信息采集感知模块M1输出的观测者视野内的可见目标原始图像，并将降噪、清晰化后的优化处理后的图像输入到目标检测与识别模块M22；目标检测与识别模块M21利用基于轻量级集成架构的目标检测与识别方法P1在嵌入式计算单元M5上实时运算并输出目标定位框和类别信息；所述相对距离和绝对方位角计算模块M23和相对方位角计算模块M24用于接收并处理信息采集感知模块M1输出的观测者的位置信息、不可见目标对象的位置信息和观测者自身头盔方位角信息。所述相对距离和绝对方位角计算模块M23根据观测者的位置信息和通过无线通信终端M6从其他观测者处获取的不可见目标对象的位置信息计算得到与不可见目标对象的相对距离和绝对方位角；随后利用相对方位角计算模块M24利用不可见目标相对距离和方位角计算方法并结合陀螺仪M13获取的观测者自身头盔方位角信息换算得到观测者和不可见目标之间的距离和相对方位角；所述不可见目标相对距离和方位角计算方法P3利用相对距离和绝对方位角计算模块M23得到的不可见目标对象的相对距离和绝对方位角，结合结合陀螺仪M13的方位角信息，通过坐标计算和换算快速算法，实时获取不可见目标相对于观测者的距离和方位角。所述信息融合显示模块M3包括可见目标态势穿透式虚实融合显示模块M31、不可见目标态势叠加式标注显示模块M32和AR眼镜模块M33；所述可见目标态势穿透式虚实融合显示模块M31，接收融合信息计算处理模块M2输出的可见目标的定位框、类别和相对距离值的态势信息后输出至AR眼镜模块M33做穿透式虚实融合呈现，并将态势信息共享给不可见目标态势叠加式标注显示模块M32；所述不可见目标态势叠加本文档来自技高网...

【技术保护点】
1.一种基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，包括目标态势信息智能获取模组[A1]和可穿戴装备基础支撑模组[A2]，所述目标态势信息智能获取模组[A1]包含信息采集感知模块[M1]、信息计算处理模块[M2]、信息融合显示模块[M3]，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组[A2]包括头盔本体[M4]、嵌入式计算单元[M5]、无线通信终端[M6]、电源[M7]，为目标态势信息智能获取模组[A1]提供结构、算力、通信和能源支撑。/n

【技术特征摘要】
1.一种基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，包括目标态势信息智能获取模组[A1]和可穿戴装备基础支撑模组[A2]，所述目标态势信息智能获取模组[A1]包含信息采集感知模块[M1]、信息计算处理模块[M2]、信息融合显示模块[M3]，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组[A2]包括头盔本体[M4]、嵌入式计算单元[M5]、无线通信终端[M6]、电源[M7]，为目标态势信息智能获取模组[A1]提供结构、算力、通信和能源支撑。


2.如权利要求1所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述目标态势信息智能获取模组[A1]中的采集感知模块[M1]包含可见光图像感知模块[M11]、地理位置信号采集模块[M12]、方位角信号采集模块[M13]，为信息处理模块[M2]提供图像、位置坐标和方位角信息；所述可见光图像感知模块[M11]采用双目摄像头，地理位置信号采集模块[M12]采集观测者的位置信息以及不可见目标队形的位置信息，方位角信号采集模块[M13]使用陀螺仪，可见光图像感知模块[M11]、地理位置信号采集模块[M12]、方位角信号采集模块[M13]设置在头盔本体[M4]上。


3.如权利要求2所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述可见光图像感知模块[M11]上设置有“眼动”注意力跟踪装置，该装置获取目标区域图像的方法为：
首先，识别眼部图像上的瞳孔中心和角膜反射中心，提取所拍图像中的瞳孔和角膜，把角膜反射中心作为眼睛跟踪相机和眼球相对位置的基点，瞳孔中心位置坐标表示凝视点位置；
然后，用光斑和瞳孔的相对位置确定视线方向；具体为：相对位置通过视线映射函数模型确定视线方向，视线映射函数模型如下：



其中，(Px,Py)为注视点坐标，(Vx,Vy)为瞳孔反射光斑向量；
之后，根据视线方向，利用瞳孔角膜反射技术获得观测者注视点中心，利用注视点中心进行区域扩展，得到目标区域图像。


4.如权利要求1所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述的信息计算处理模块[M2]包括图像预处理模块[M21]、目标检测与识别模块[M22]、相对距离和绝对方位角计算模块[M23]和相对方位角计算模块[M24]；
所述图像预处理模块[M21]接收并处理信息采集感知模块M1输出的观测者视野内的可见目标原始图像，并将降噪、清晰化后的优化处理后的图像输入到目标检测与识别模块[M22]；目标检测与识别模块[M21]利用基于轻量级集成架构的目标检测与识别方法P1在嵌入式计算单元[M5]上实时运算并输出目标定位框和类别信息；
所述相对距离和绝对方位角计算模块[M23]和相对方位角计算模块[M24]用于接收并处理信息采集感知模块[M1]输出的观测者的位置信息、不可见目标对象的位置信息和观测者自身头盔方位角信息。


5.如权利要求3所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述相对距离和绝对方位角计算模块[M23]根据观测者的位置信息和通过无线通信终端M6从其他观测者处获取的不可见目标对象的位置信息计算得到与不可见目标对象的相对距离和绝对方位角；
随后利用相对方位角计算模块[M24]利用不可见目标相对距离和方位角计算方法并结合陀螺仪[M13]获取的观测者自身头盔方位角信息换算得到观测者和不可见目标之间的距离和相对方位角；
所述不可见目标相对距离和方位角计算方法P3利用相对距离和绝对方位角计算模块[M23]得到的不可见目标对象的相对距离和绝对方位角，结合结合陀螺仪[M13]的方位角信息，通过坐标计算和换算快速算法，实时获取不可见目标相对于观测者的距离和方位角。


6.如权利要求1所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述信息融合显示模块[M3]包括可见目标态势穿透式虚实融合显示模块[M31]、不可见目标态势叠加式标注显示模块[M32]和AR眼镜模块[M33]；
所述可见目标态势穿透式虚实融合显示模块[M31]，接收融合信息计算处理模块[M2]输出的可见目标的定位框、类别和相...

【专利技术属性】
技术研发人员：倪勇，卢凯良，刘扬，刘学，陈彦璋，
申请(专利权)人：中国船舶重工集团公司第七一六研究所，
类型：发明
国别省市：江苏;32