目标跟踪方法和系统技术方案

本发明专利技术适用于航空技术领域，提供了一种目标跟踪方法和系统。该方法包括：获取人员头部姿态信息，根据头部姿态信息生成图像采集指令，图像采集指令用于控制伺服云台连接双目图像采集设备在预设区域内采集双目目标图像；获取双目目标图像并进行目标识别得到目标信息；根据目标信息实时计算目标的中心像素偏差，根据中心像素偏差生成伺服控制指令，伺服控制指令用于控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪。本发明专利技术对人员头部运动进行随动跟踪，快速检测预定目标，精准测量目标距离，增加了头盔显示瞄准系统的智能化和自动化，降低人员操作负担。

Target tracking method and system

【技术实现步骤摘要】
目标跟踪方法和系统
本专利技术属于航空
，尤其涉及一种目标跟踪方法和系统。
技术介绍
在航空领域，头盔显示系统与头盔瞄准系统共同构成了头盔综合显示瞄准系统(HelmetIntegratedDisplaySightingSystem，HIDSS)。从发展历史看，世界的头盔综合显示瞄准系统经历了头盔瞄准具、头盔显示系统和头盔综合显示瞄准系统三个发展阶段。早期的头盔瞄准具主要采用准直光学原理，将瞄准光环或十字标线等简单的瞄准符号投影在人员右眼前方单目镜上或头戴护目镜上，采用机械联杆装置使头盔与座舵顶相连从而得出瞄准线位置，本阶段的头盔瞄准具主要缺点是重量过大，人员无法长时间佩戴，不符合人机工程要求。随着头盔瞄准具和头盔显示系统的日益完善，最终发展出头盔综合显示瞄准系统，帮助人员完成目标跟踪、空中格斗、对地攻击、协同作战等任务。如今头盔综合显示瞄准系统已经成为武装直升机和战斗机人员不可缺少的重要装备。但现有的头盔综合显示瞄准系统仍然存在目标定位速度慢、精度低，灵巧性不足，智能化和自动化程度不够高等问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种目标跟踪方法和系统，以解决现有的头盔综合显示瞄准系统存在目标定位速度慢、精度低，灵巧性不足，智能化和自动化程度不够高的问题。本专利技术实施例的第一方面提供了一种目标跟踪方法，包括：获取人员头部姿态信息，根据所述头部姿态信息生成图像采集指令，所述图像采集指令用于控制伺服云台连接双目图像采集设备在预设区域内采集双目目标图像；>获取所述双目目标图像并进行目标识别得到目标信息；根据所述目标信息实时计算目标的中心像素偏差，根据所述中心像素偏差生成伺服控制指令，所述伺服控制指令用于控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪。可选的，所述获取所述双目目标图像并进行目标识别得到目标信息，包括：获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别，得到目标类型和置信度信息；基于SGBM(双目立体匹配)匹配算法对所述双目目标图像进行图像融合得到目标视差图；根据所述视差图确定目标的位置信息和距离信息。可选的，所述获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别，包括：获取多张目标图像，对每张目标图像进行目标标注得到目标图像训练集；将所述目标图像训练集输入到原始YOLO网络模型进行目标检测，根据检测结果更新原始YOLO网络模型的权重文件；在所述权重文件满足预设条件时建立预设YOLO网络模型；将所述双目目标图像输入预设YOLO网络模型进行目标识别，并通过NMS(Non-MaximumSuppression，非极大值抑制)算法对识别结果的重叠检测框进行删减。可选的，所述基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图，包括：获取所述双目图像采集设备进行双目标定得到的内参数矩阵和畸变矩阵；利用Rodrigues函数的旋转向量对所述内参数矩阵进行校正得到重投影矩阵，对所述畸变矩阵进行校准得到重映射矩阵；将所述双目目标图像的双目灰度图像与所述重映射矩阵进行图像匹配得到第一匹配结果；基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图。可选的，所述基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图，包括：对双目灰度图像分别进行水平Sobel处理、图像映射处理和采样处理并得到预处理双目图像；对双目灰度图像进行梯度代价计算，对预处理双目图像进行SAD(SumofAbsoluteDifference，绝对差值和)代价计算，根据两个计算结果进行能量函数路径积累得到左右目标图像的预设匹配点；根据所述预设匹配点、重投影矩阵以及第一匹配结果进行视差检测得到目标视差图。可选的，在根据所述目标信息实时计算目标的中心像素偏差之前，还包括：获取人员的语音信息，基于预设TensorFlow系统对所述语音信息进行语音识别；根据识别结果进入自主跟踪模式，所述自主跟踪模式包括根据所述目标信息实时计算目标的中心像素偏差，根据中心像素偏差生成伺服控制指令。可选的，所述获取人员的语音信息，基于预设TensorFlow系统对所述语音信息进行语音识别，包括：建立语音样本集，将所述语音样本集进行频域转换并得到用于计算倒谱特征的MFCC(MelFrequencyCepstrumCoefficient，Mel倒谱系数)特征向量集；建立依次包括全连接层网络、Bi-RNN网络和至少两个全连接层的初始TensorFlow系统；将所述MFCC特征向量集输入到所述初始TensorFlow系统进行语音模型训练得到预设TensorFlow系统；获取人员的语音信息，基于所述预设TensorFlow系统对所述语音信息进行语音识别。本专利技术实施例的第二方面提供了一种目标跟踪系统，包括：姿态感应模块、双目图像采集设备、伺服云台和实现如实施例的第一方面提供的任一项所述目标跟踪方法的步骤的信息处理模块；所述姿态感应模块、双目图像采集设备和伺服云台均与所述信息处理模块连接；所述姿态感应模块用于采集人员头部姿态信息发送给所述信息处理模块；所述伺服云台用于接收所述信息处理模块生成的图像采集指令或伺服控制指令，根据所述图像采集指令控制所述双目图像采集设备在预设区域内采集双目目标图像，或根据所述伺服控制指令控制所述双目图像采集设备对目标进行实时跟踪。可选的，所述目标跟踪系统还包括：用于采集人员的语音信息的语音采集模块；所述语音采集模块与所述信息处理模块连接；所述信息处理模块还用于：获取所述语音信息，并基于预设TensorFlow系统对所述语音信息进行语音识别；根据识别结果进入自主跟踪模式，所述自主跟踪模式包括根据所述目标信息实时计算目标的中心像素偏差，根据中心像素偏差生成伺服控制指令。可选的，所述目标跟踪系统还包括：AR(AugmentedReality，增强现实)显示模块；所述AR显示模块与所述信息处理模块连接；所述AR显示模块用于获取所述信息处理模块识别的目标信息，将所述目标信息显示在人员可见的预设位置。本专利技术实施例与现有技术相比存在的有益效果是：本实施例可以应用在头盔显示瞄准系统中，通过人员头部姿态信息控制双目图像采集设备在预设区域内采集双目目标图像，实现了对人员头部运动进行随动跟踪，并及时获取目标图像；然后对双目目标图像进行目标识别得到目标信息，根据目标信息实时计算目标的中心像素偏差，快速检测预定目标，精准测量目标距离，还可以根据中心像素偏差控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪，增加了头盔显示瞄准系统的智能化和自动化，降低人员操作负担。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：/n获取人员头部姿态信息，根据所述头部姿态信息生成图像采集指令，所述图像采集指令用于控制伺服云台连接双目图像采集设备在预设区域内采集双目目标图像；/n获取所述双目目标图像并进行目标识别得到目标信息；/n根据所述目标信息实时计算目标的中心像素偏差，根据所述中心像素偏差生成伺服控制指令，所述伺服控制指令用于控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪。/n

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：
获取人员头部姿态信息，根据所述头部姿态信息生成图像采集指令，所述图像采集指令用于控制伺服云台连接双目图像采集设备在预设区域内采集双目目标图像；
获取所述双目目标图像并进行目标识别得到目标信息；
根据所述目标信息实时计算目标的中心像素偏差，根据所述中心像素偏差生成伺服控制指令，所述伺服控制指令用于控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪。


2.如权利要求1所述的目标跟踪方法，其特征在于，所述获取所述双目目标图像并进行目标识别得到目标信息，包括：
获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别，得到目标类型和置信度信息；
基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图；
根据所述视差图确定目标的位置信息和距离信息。


3.如权利要求2所述的目标跟踪方法，其特征在于，所述获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别，包括：
获取多张目标图像，对每张目标图像进行目标标注得到目标图像训练集；
将所述目标图像训练集输入到原始YOLO网络模型进行目标检测，根据检测结果更新原始YOLO网络模型的权重文件；
在所述权重文件满足预设条件时建立预设YOLO网络模型；
将所述双目目标图像输入预设YOLO网络模型进行目标识别，并通过NMS算法对识别结果的重叠检测框进行删减。


4.如权利要求2所述的目标跟踪方法，其特征在于，所述基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图，包括：
获取所述双目图像采集设备进行双目标定得到的内参数矩阵和畸变矩阵；
利用Rodrigues函数的旋转向量对所述内参数矩阵进行校正得到重投影矩阵，对所述畸变矩阵进行校准得到重映射矩阵；
将所述双目目标图像的双目灰度图像与所述重映射矩阵进行图像匹配得到第一匹配结果；
基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图。


5.如权利要求4所述的目标跟踪方法，其特征在于，所述基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图，包括：
对双目灰度图像分别进行水平Sobel处理、图像映射处理和采样处理并得到预处理双目图像；
对双目灰度图像进行梯度代价计算，对预处理双目图像进行SAD代价计算，根据两个计算结果进行能量函数路径积累得到左右目标图像的预设匹配点；

【专利技术属性】
技术研发人员：张龙杰，谢晓方，孙涛，贺英政，王诚成，刘厚君，孙晨峰，李威，栗泽宏，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：山东;37