一种机载光电平台中的实时目标跟踪系统及方法技术方案

本发明专利技术提供了一种机载光电平台中的实时目标跟踪系统及方法，属于智能视频处理技术领域，系统包括图像采集模块、图像解码模块、数据通信模块及目标跟踪模块。图像采集模块负责可见光图像以及红外图像数据的采集，完成采集后，红外图像数据与可见光图像数据输入图像缓存模块，数据通信模块负责与DSP芯片之间的指令信息和图像信息传递、与上位机以及后端伺服控制系统的通信，目标跟踪模块接收上位机指令、读取缓存好的红外图像数据与可见光图像数据，并输出相应处理结果，即目标方位信息，最后，将目标位置信息传递给后端伺服控制系统。本发明专利技术易于实现，能够在采集到图像后，立即在机载光电平台中进行实时目标跟踪处理，精度高、稳定性强、输出延迟低，可以代替人工实现对伺服系统的智能控制。

【技术实现步骤摘要】
一种机载光电平台中的实时目标跟踪系统及方法
本专利技术涉及智能视频处理领域，具体涉及的是一种机载光电平台中的实时目标跟踪系统及方法。
技术介绍
目标跟踪是指给出视频某一帧图像中目标的位置，然后算法连续计算出后续帧中目标位置的任务。目标跟踪技术有广泛的应用场景。在现代机载光电平台中，目标跟踪系统具有重要的作用。传统机载光电平台不具备目标跟踪系统，由人工手动控制光电吊舱的运动，来追踪目标，对目标进行持续观察。现代机载光电平台中，智能目标跟踪系统负责连续给出选定的目标的位置信息，以即时调整光电吊舱的方位、俯仰角度，使目标始终处于视频画面中心，便于使用者观察。现有目标跟踪系统一般先将视频数据传回本地高性能计算机或服务器，然后再进行目标跟踪处理，最后将结果回传。这种处理方式视频数据传输难度大、对硬件计算能力要求高，不能满足实时目标跟踪的要求。现有的一些机载目标跟踪系统通常难以同时处理一路以上图像数据，不满足实时性要求，或在满足实时性要求的情况下，不能保证良好的目标跟踪质量。
技术实现思路
本专利技术的技术解决问题：克服现有技术的不足，提供一种机载光电平台中的实时目标跟踪系统及方法，基于FPGA芯片加DSP芯片的硬件平台实现，具有体积小、功耗低等特点，直接安装在机载光电平台后端，在现场直接进行实时目标跟踪处理，能够以极低的延迟连续给出目标位置，指导后端的光机伺服控制系统随动运动。本专利技术所采用的技术解决方案是：一种机载光电平台中的实时目标跟踪系统，包括图像采集模块、图像解码模块、数据通信模块和目标跟踪模组合决策视觉块。针对多核DSP芯片具有多个独立内核的结构特点，进行并行优化，实现了稳定准确的实时目标跟踪。本专利技术的主要创新在于目标跟踪模块中使用的组合决策目标跟踪算法，以及算法在特定处理器上的调度实现。所述图像采集模块包括：可见光图像传感器和红外图像传感器，可见光图像传感器与红外图像传感器同光轴安装；光轴校准误差在2像素以内；红外图像数据与可见光图像数据采用SDI协议传输；红外图像传感器与可见光图像传感器分别采集红外波段与可见光波段的目标图像数据，供目标跟踪使用；所述图像解码模块包括：两个SDI接收芯片、SRAM阵列、FPGA芯片和在FPGA芯片中运行的红外图像数据与可见光图像数据流解码算法，SDI接收芯片从图像采集模块接收到的SDI红外图像数据与可见光图像数据转换为并行数据流传输给FPGA芯片，FPGA芯片中的红外图像数据与可见光图像数据流解码算法从红外图像数据与可见光图像数据流中解码出有效红外图像数据与可见光图像数据，所述数据流中包括有效数据、消隐数据、帧同步、行同步数据，并利用SRAM阵列进行数据缓存；所述数据通信模块包括：串口通信芯片，在FPGA芯片中实现的数据通信程序，数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA芯片与DSP芯片之间的数据交互，包括从FPGA芯片传输至DSP芯片的红外图像数据与可见光图像数据、上位机控制指令，和从DSP芯片传输至FPGA芯片的目标跟踪结果；所述目标跟踪模块包括：多核DSP芯片及目标跟踪算法，DSP芯片上运行的目标跟踪算法根据从数据通信模块接收到的红外图像数据与可见光图像数据、上位机控制指令进行目标跟踪运算，自动解算图像中指定目标的位置，得到目标跟踪结果，并传输给数据通信模块输出；为实时完成指令响应、数据通信与目标跟踪工作，将多核DSP芯片上的工作分割为目标跟踪及系统控制两个任务，其中0～n-1核完成目标跟踪任务，最后一个n核完成系统控制任务；所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置；单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务进行并行优化，实现了实时目标跟踪。本专利技术的主要创新在于目标跟踪模块中使用的组合决策目标跟踪算法，以及算法在特定处理器上的调度实现。所述目标跟踪模块中，基于红外与可见光图像的组合决策视觉目标跟踪算法，实现步骤如下：(1)根据目标初始位置，及初始红外图像数据与可见光图像数据，采集初始红外图像数据与可见光图像数据中的目标图像块作为正负训练样本，提取样本特征，分别构建决策模型Dv、Dir；(2)接收到新一帧的红外图像数据与可见光图像数据后，从目标在上一帧中位置周围采集候选样本，利用决策模型判断候选样本是否为目标，确定新一帧中目标位置；(3)根据损失函数确定哪一决策模型给出的结果为最优决策结果，组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，消除产生次优结果的决策模型中的错误信息，使产生次优结果的决策模型能够在后续目标跟踪过程中给出更准确的目标跟踪结果，提升算法鲁棒性。所述步骤(1)-(3)进一步实现如下：(1)在提取样本特征时，将样本图像块分割成不重叠的小区域，分别根据梯度方向统计区域内像素点处的梯度幅值，组成一个27位的原始特征向量C，之后采用下式计算标准化算子，然后对C进行标准化处理，得到的标准化算子N(i,j)：N(i,j)＝(||C(i,j)||2+||C(i+1,j)||2+||C(i-1,j)||2+||C(i,j+1)||2+||C(i,j-1)||2)2其中C(i,j)为第i行j列的图像区域特征向量，采用以下公式进行标准化处理，得到最终的特征向量F(i,j)，每个图像块的特征向量共同组成目标的特征表示矩阵X；F(i,j)＝max(α,C(i,j)/N(i,j))其中α为一个截取项，用于消除特征矩阵中值过大的噪声项，使得提取到的图像特征能够更鲁棒的表示目标；(2)采集初始目标图像块，采用缩放、旋转、平移、翻转、仿射变换方式，生成一批目标图像正样本，记为Tp，同时在图像的背景区域随机提取一些与目标图像重合较少或者不重合的图像块，作为负样本Tn；利用多种变换得到的正样本进行训练，极大的增强了决策模型对相应变换的鲁棒性；(3)在新一帧图像中，从目标上一帧位置周围随机采样，得到一批候选样本，均匀采样得到一批候选样本，共同组成候选目标样本，随机采样可以增加跟踪算法对于目标随机快速运动的鲁棒性，均匀采样可保证目标向任意方向运动后，仍能够被准确的捕捉到；(4)针对可见光图像和红外图像，分别构建决策模型Dv、Dir，其中θv，θir为模型参数，x样本的特征。每一帧中，计算得到两个结果，分别记为Rv、Rir：根据损失函数确定哪一决策模型给出的结果为最优决策结果，作为输出，同时用最优决策结果去修正产生次优结果的决策模型，使产生次优结果的决策模型在后续帧中能有更好的表现；每个决策结果在第n帧中，都能够计算得到一个损失函数为提升判断的准确性，采用累积损失函数，判断最优决策结果：其中为模型D的损失函数，这里D∈Dv,Dir，D*为最优决策模型，Δn为累积损失函数的时间窗长度；在目标跟踪过程中，组合两个决策模型的决策结果，选择其中最优结果作为输出，并利用最优结果，修正更新次优决策模型，纠正次优决策模型运行过程中引入的错误信本文档来自技高网...

【技术保护点】
一种机载光电平台中的实时目标跟踪系统，其特征在于：包括图像采集模块、图像解码模块、数据通信模块和目标跟踪模组合决策视觉块：所述图像采集模块包括：可见光图像传感器和红外图像传感器，可见光图像传感器与红外图像传感器同光轴安装；红外图像数据与可见光图像数据采用SDI协议传输；红外图像传感器与可见光图像传感器分别采集红外波段与可见光波段的目标图像数据，供目标跟踪使用；所述图像解码模块包括：两个SDI接收芯片、SRAM阵列、FPGA芯片和在FPGA芯片中运行的红外图像数据与可见光图像数据流解码算法，SDI接收芯片从图像采集模块接收到的SDI红外图像数据与可见光图像数据转换为并行数据流传输给FPGA芯片，FPGA芯片中的红外图像数据与可见光图像数据流解码算法从红外图像数据与可见光图像数据流中解码出有效红外图像数据与可见光图像数据，所述数据流中包括有效数据、消隐数据、帧同步、行同步数据，并利用SRAM阵列进行数据缓存；所述数据通信模块包括：串口通信芯片，在FPGA芯片中实现的数据通信程序，数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA芯片与DSP芯片之间的数据交互，包括从FPGA芯片传输至DSP芯片的红外图像数据与可见光图像数据、上位机控制指令，和从DSP芯片传输至FPGA芯片的目标跟踪结果；所述目标跟踪模块包括：多核DSP芯片及目标跟踪算法，DSP芯片上运行的目标跟踪算法根据从数据通信模块接收到的红外图像数据与可见光图像数据、上位机控制指令进行目标跟踪运算，自动解算图像中指定目标的位置，得到目标跟踪结果，并传输给数据通信模块输出；为实时完成指令响应、数据通信与目标跟踪工作，将多核DSP芯片上的工作分割为目标跟踪及系统控制两个任务，其中0～n‑1核完成目标跟踪任务，最后一个n核完成系统控制任务；所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置；单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务进行并行优化，实现了实时目标跟踪。...

【技术特征摘要】
1.一种机载光电平台中的实时目标跟踪系统，其特征在于：包括图像采集模块、图像解码模块、数据通信模块和目标跟踪模组合决策视觉块：所述图像采集模块包括：可见光图像传感器和红外图像传感器，可见光图像传感器与红外图像传感器同光轴安装；红外图像数据与可见光图像数据采用SDI协议传输；红外图像传感器与可见光图像传感器分别采集红外波段与可见光波段的目标图像数据，供目标跟踪使用；所述图像解码模块包括：两个SDI接收芯片、SRAM阵列、FPGA芯片和在FPGA芯片中运行的红外图像数据与可见光图像数据流解码算法，SDI接收芯片从图像采集模块接收到的SDI红外图像数据与可见光图像数据转换为并行数据流传输给FPGA芯片，FPGA芯片中的红外图像数据与可见光图像数据流解码算法从红外图像数据与可见光图像数据流中解码出有效红外图像数据与可见光图像数据，所述数据流中包括有效数据、消隐数据、帧同步、行同步数据，并利用SRAM阵列进行数据缓存；所述数据通信模块包括：串口通信芯片，在FPGA芯片中实现的数据通信程序，数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA芯片与DSP芯片之间的数据交互，包括从FPGA芯片传输至DSP芯片的红外图像数据与可见光图像数据、上位机控制指令，和从DSP芯片传输至FPGA芯片的目标跟踪结果；所述目标跟踪模块包括：多核DSP芯片及目标跟踪算法，DSP芯片上运行的目标跟踪算法根据从数据通信模块接收到的红外图像数据与可见光图像数据、上位机控制指令进行目标跟踪运算，自动解算图像中指定目标的位置，得到目标跟踪结果，并传输给数据通信模块输出；为实时完成指令响应、数据通信与目标跟踪工作，将多核DSP芯片上的工作分割为目标跟踪及系统控制两个任务，其中0～n-1核完成目标跟踪任务，最后一个n核完成系统控制任务；所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置；单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务进行并行优化，实现了实时目标跟踪。2.根据权利要求1所述的机载光电平台中的实时目标跟踪系统，其特征在于：所述目标跟踪模块中，基于红外与可见光图像的组合决策视觉目标跟踪算法，实现步骤如下：(1)根据目标初始位置，及初始红外图像数据与可见光图像数据，采集初始红外图像数据与可见光图像数据中的目标图像块作为正负训练样本，提取样本特征，分别构建决策模型Dv、Dir；(2)接收到新一帧的红外图像数据与可见光图像数据后，从目标在上一帧中位置周围采集候选样本，利用决策模型判断候选样本是否为目标，确定新一帧中目标位置；(3)根据损失函数确定哪一决策模型给出的结果为最优决策结果，组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，消除产生次优结果的决策模型中的错误信息，使产生次优结果的决策模型能够在后续目标跟踪过程中给出更准确的目标跟踪结果，提升算法鲁棒性。3.根据权利要求2所述的机载光电平台中的实时目标跟踪系统，其特征在于：所述步骤(1)-(3)进一步实现如下：(1)在提取样本特征时，将样本图像块分割成不重叠的小区域，分别根据梯度方向统计区域内像素点处的梯度幅值，组成一个27位的原始特征向量C，之后采用下式计算标准化算子，然后对C进行标准化处理，得到的标准化算子N(i,j)：N(i,j)＝(||C(i,j)||2+||C(i+1,j)||2+||C(i-1,j)||2+||C(i,j+1)||2+||C(i,j-1)||2)2其中C(i,j)为第i行j列的图像区域特征向量，采用以下公式进行标准化处理，得到最终的特征向量F(i,j)，每个图像块的特征向量共同组成目标的特征表示矩阵X；F(i,j)＝max(α,C(i,j)/N(i,j))其中α为一个截取项，用于消除特征矩阵中值过大的噪声项，使得提取到的图像特征能够更鲁棒的表示目标；(2)采集初始目标图像块，采用缩放、旋转、平移、翻转、仿射变换方式，生成一批目标图像正样本，记为Tp，同时在图像的背景区域随机提取一些与目标图像重合较少或者不重合的图像块，作为负样本Tn；利用多种变换得到的正样本进行训练，极大的增强了决策模型对相应变换的鲁棒性；(3)在新一帧图像中，从目标上一帧位置周围随机采样，得到一批候选样本，均匀采样得到一批候选样本，共同组成候选目标样本，随机采样可以增加跟踪算法对于目标随机快速运动的鲁棒性，均匀采样可保证目标向任意方向运动后，仍能够被准确的捕捉到；(4)针对可见光图像和红外图像，分别构建决策模型Dv、Dir，其中θv，θir为模型参数，x样本的特征，每一帧中，计算得到两个结果，分别记为Rv、Rir：根据损失函数确定哪一决策模型给出的结果为最优决策结果，作为输出，同时用最优决策结果去修正产生次优结果的决策模型，使产生次优结果的决...

【专利技术属性】
技术研发人员：张弘，王悦人，李伟鹏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11