一种基于多路提取与智能识别自主引导的复合跟踪系统及方法技术方案

本发明专利技术公开了一种基于多路提取与智能识别自主引导的复合跟踪系统及方法，涉及目标跟踪领域，该系统包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块和伺服驱动模块；伺服稳定平台用于带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块用于控制伺服稳定平台的转动；目标识别模块、目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理并输至综合控制模块；综合控制模块用于接收图像处理后的信息，对伺服稳定平台进行控制，进而对电视传感器和/或红外传感器进行控制。本发明专利技术能够在目标丢失后快速捕捉目标，重新对目标进行稳定跟踪。

【技术实现步骤摘要】
一种基于多路提取与智能识别自主引导的复合跟踪系统及方法
本专利技术涉及目标跟踪领域，具体涉及一种基于多路提取与智能识别自主引导的复合跟踪系统及方法。
技术介绍
光电跟踪系统通常包括指向器和综合显控模块，光电指向器安装在舱(室)外的高点处，通常包括电视传感器、红外传感器等光电传感器及方位俯仰陀螺、方位俯仰电机、方位俯仰测角编码器和伺服稳定平台；综合显控模块安装在驾驶室内，综合显控模块通常包括综合控制机箱、操控面板和显示面板。综合控制机箱主要由综合控制模块、图像处理单元、目标识别单元、伺服驱动模块、供电单元、视频编码单元、显控单元组成；操控面板主要由摇杆、按键组成。光电指向器安装在高点处，其内部的光电传感器用于对目标进行成像并发送给综合控制机箱，综合控制机箱用于向光电指向器发送指令，调整光电传感器的状态使其对准目标，以得到较好的成像结果，在成像时，白天主要通过电视传感器搜索和观察目标，夜间通过红外传感器搜索和观察目标。电视和红外的图像属性存在较大差距，电视图像一般呈现清晰细腻特点，可对目标进行清晰识别，但受光照条件影本文档来自技高网...

【技术保护点】
1.一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块、伺服驱动模块；/n所述电视传感器、红外传感器均设置在伺服稳定平台上，通过伺服稳定平台的转动带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块均与伺服稳定平台，用于控制伺服稳定平台的转动；/n所述目标识别模块用于接收电视传感器、红外传感器发送的视频图像信号，并对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；/n所述目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理，输出...

【技术特征摘要】
1.一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块、伺服驱动模块；
所述电视传感器、红外传感器均设置在伺服稳定平台上，通过伺服稳定平台的转动带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块均与伺服稳定平台，用于控制伺服稳定平台的转动；
所述目标识别模块用于接收电视传感器、红外传感器发送的视频图像信号，并对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；
所述目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理，输出脱靶信号至综合控制模块；同时还用于接收目标识别模块传输至综合控制模块的相关信息；
所述综合控制模块用于接收目标跟踪模块的脱靶量信息、目标识别模块的识别信息、伺服稳定平台的伺服信息，并生成驱动指令发送至伺服驱动模块；
所述伺服驱动模块用于接收综合控制模块的驱动指令，对伺服稳定平台进行闭环伺服控制，对电视传感器和/或红外传感器进行变倍调焦控制。


2.如权利要求1所述的一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：所述系统还包括显控模块和操控面板，所述综合控制模块用于向显控模块反馈状态信息，所述显控模块用于接收操控面板的摇杆与按键的信号，转换为控制指令，发送到综合控制模块。


3.如权利要求1所述的一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：所述目标识别模块还包括轨迹预测单元，轨迹预测单元用于预估目标物的运动轨迹。


4.一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：包括以下步骤：
A、电视传感器和/或红外传感器采集相应的视频图像信息并发送至目标识别模块和图像处理模块；
B、目标识别模块对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块；
C、综合控制模块将相应的信息输送至显控模块，显控模块向综合控制模块输出综合控制信号；
D、综合控制模块对获取的信号进行解算并输出控制信号至伺服驱动模块；
E、伺服驱动模块控制伺服稳定平台转动，以改变电视传感器和/或红外传感器的视场。


5.如权利要求4所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：所述目标识别模块用于对目标跟踪模块进行辅助跟踪，辅助跟踪的方法如下：
目标识别模块，获取视频图像信号并进行识别，输出识别信息即目标类型和位置信息，计算并输出偏差量至综合控制模块，偏差量即当前目标的位置与传感器视场中心的偏差，其数据发送频率为1s/次；
目标跟踪模块获取图像信号进行处理，输出脱靶信号至综合控制模块，综合控制模块计算偏差量，根据偏差量计算控制信息并发送至伺服驱动模块控制伺服稳定平台转动；
判断目标跟踪模块是否丢失目标，若是，综合控制模块将目标识别模块发送的目标类型和位置信息发送至目标跟踪模块，目标跟踪模块接收引导并更新波门，重新输出脱靶信息并计算偏差量；否则，继续获取图像信息并进行处理。


6.如权利要求4所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：步骤B中，目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块具体包括以下步骤：
S1、获取相应的视频图像信息，所述视频图像信息包括电视图像和/或红外图像；
S2、读取视频图像信息的图像帧；
S3、选取匹配区域；
S4、设置波门；
S4、对电视图像和/或红外图像，同时分别使用相关跟踪算法、神经网络跟踪算法和形心跟踪算法对波门内图像进行计算；
S5、判断相关跟踪算法、神经网络跟踪算法和形心跟踪算法的计算结果是否满足跟踪精度要求，若满足要求的算法为三种，转入步骤S6；若满足要求的算法为两种，转入步骤S7；
S6、针对各自算法的精度值，设置相应权重进行融合，将融合后的结果作为均值脱靶量作为最终结果进行输出，转入步骤S8；同时，用均值作为最终使用的位置偏差值，并据此重新设置相关跟踪、形心跟踪、神经网络跟踪的参考窗和搜索窗，使之重合，实时校正跟踪窗口的中心；
S7、以满足要求的算法结果作为最终结果进行输出，转入步骤S8；
S8、分别对电视图像和红外图像进行三种跟踪算法的结果进行多模融合，输出电视通道的脱靶量融合结果Et和红外通道的脱靶量融合结果Ei；
S9、将电视图像多模融合偏差数据、红外图像多模融合偏差数据输出至综合控制模块；
S10、综合控制模块对电视图像多模融合偏差数据、红外图像多模融合偏差数据进行双通道偏差融合处理并输出；
S11、根据双通道偏差融合结果控制伺服电机进行复合闭环继续跟踪。


7.如权利要求6所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：步骤S3中所述选择匹配区域具体步骤为：
设V代表一帧全视场的图像，Vc为视场中心点；F为该帧图像中待确定的匹配区域，Fc为匹配区域的中心点，S代表前一帧的匹配子图在V中的对应位置，Sc是前一帧的匹配子图的中心点；
现有独立的相关跟踪器中，没有将伺服控制系统的特性结合起来考虑，不论S在V中处于什么位置，通常会让F包含S并且对称于S，即Fc与Sc重合；但是实际上，当相关算法在一帧图像中找到匹配子图后，伺服系...

【专利技术属性】
技术研发人员：洪川，张华，程维福，柯洋，李明，
申请(专利权)人：武汉华之洋科技有限公司，
类型：发明
国别省市：湖北;42