一种机载红外小目标检测识别实时处理系统和方法技术方案

本发明专利技术提供了一种机载红外小目标检测识别实时处理系统及方法，属于红外目标识别技术领域。系统包括主处理器DSP、协处理器FPGA、Rapid IO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片、ASIC非均匀校正芯片SoC；主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机，另一端通过Rapid IO交换机连接协处理器FPGA，协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC。本发明专利技术提高了数据吞吐量和处理能力，并具有较低的功耗和体积，适合机载条件红外小目标的识别。

A real-time processing system and method for airborne infrared small target detection and recognition

The invention provides a real-time processing system and method for airborne infrared small target detection and recognition, which belongs to the infrared target recognition technology field. The system includes the main processor DSP, the coprocessor FPGA, the Rapid IO switch, the PCIE switch, the image rotation chip ASIC, the multilevel filter chip ASIC, the connected region marking chip, and the ASIC non-uniform correction chip SoC. One end of the main processor DSP connects the airborne imager and the upper computer through the PCIE switch, and the other end passes through Rapid. The switch connection coprocessor FPGA, the coprocessor FPGA connects the image rotation chip ASIC, the multistage filter chip ASIC, the connected region marking chip ASIC, and the non-uniform correction chip SoC. The invention improves data throughput and processing power, and has low power consumption and volume, and is suitable for airborne small infrared target recognition.

【技术实现步骤摘要】
一种机载红外小目标检测识别实时处理系统和方法
本专利技术属于红外目标
，具体涉及一种机载红外小目标检测识别实时处理系统和方法。
技术介绍
随着现代航天、航空事业的蓬勃发展，机载条件下的实时目标检测识别技术一直是重要研究方向。由于飞行器飞行速度快、机载环境有限等约束，处理器需具备处理速度快、体积小和功耗低等特点，因此研究机载目标检测识别实时处理系统和方法具有重要意义。传统红外探测器一般采用红外焦平面和多个元器件构成，红外图像在成像过程中不可避免会产生非均匀性，影响后续目标检测识别。同时，在飞行器高速飞行过程中，光学窗口与气流之间的相互作用形成复杂的流场，气流在光学窗口表面附近产生边界层，边界层内具有很大速度梯度的各层产生强烈的摩擦，从而使光学窗口处于严重的气动热环境下，产生热辐射噪声；光学头罩与气流形成的复杂流场，也会对成像探测器产生传输畸变，引起被观测图像的偏移、抖动和模糊，严重降低了图像质量。由于在机载条件下目标距离较远，经红外成像后目标所占像素少、特征少，容易淹没在环境背景杂波中，因此对机载条件下的红外小目标(25像素以内)检测识别具有较大难度。目标检测识别包括图像预处理、背景干扰抑制、特征提取和检测识别等步骤，这些处理步骤计算量大，耗时长，目前业界普遍采用通用型处理器(DSP、GPU、FPGA等)，这些处理器虽然具有较好的处理速度，但体积和功耗大，面对目标检测识别的大量运算量，也难以适应机载条件下实时检测识别。
技术实现思路
针对现有技术的以上缺陷或不足，本专利技术提出了一种机载红外小目标检测识别实时处理系统和方法，有效解决了机载条件下，要求实时处理系统体积小、功耗低和处理能力强的问题。一种机载红外小目标检测识别实时处理系统，包括主处理器DSP、协处理器FPGA、RapidIO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片、ASIC非均匀校正芯片SoC；主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机，另一端通过RapidIO交换机连接协处理器FPGA，协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC；主处理器DSP用于通过PCIE交换机从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息，对机载飞行参数信息解析得到飞行器姿态信息，将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA；协处理器FPGA用于调用非均匀校正芯片SoC进行非均匀性校正，再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转，旋转后的红外图像回传给主处理器DSP；主处理器DSP用于对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像，将待处理图像传送给协处理器FPGA；协处理器FPGA用于调用多级滤波芯片ASIC对待处理图像进行多级滤波，再对滤波图像进行分割，最后调用连通区域标记ASIC完成连通域标记，将连通域标记后的图像回传给主处理器DSP；主处理器DSP用于在连通域标记后的图像中检测识别目标。进一步地，所述主处理器DSP按照如下方式进行气动热辐射效应校正：(21)图像滤波：令设校正和旋转后的红外图像为s，滤波图像表示为以滤波图像u为变量的能量函数最小化问题的解：其中λ为光滑参数，Dx和Dy为图像s的x和y方向上的一阶梯度算子，Ax和Ay分别表示图像x和y方向上光滑参数对角矩阵；(22)将滤波图像输入到梯度拟合的校正模型中求解热辐射场b：其中，E(b)为梯度拟合差，热辐射场b表示为(xi,yi)为像素i的坐标，a为多项式系数的向量形式，K为多项式最高阶；可通过最小二乘法求得热辐射估计场；(23)求取校正和旋转后的红外图像为s与热辐射场b的差值。进一步地，所述求解热辐射场b采用多次低阶梯度拟合的方式求解，所述低阶梯度拟合的具体实施方式为：对滤波图像使用梯度拟合低阶热辐射场得到初校正图像，梯度拟合阶数范围为2≤K≤3；计算低阶热辐射场中心坐标(x,y)，分别统计滤波图像和初校正图像在热辐射场中心的图像反差值Constrast，图像反差值Constrast定义为图像块每个灰度值与周围邻近个像素灰度差的平方和，公式如下：Constrast＝∑δ(xi,yi)2Pδ(xi,yi)其中，δ(xi,yi)为图像坐标(xi,yi)相邻像素近灰度差，Pδ(xi,yi)为相邻像素间的灰度差为δ的像素分布概率；若图像反差值Constrast大于阈值Tthresh，则说明初校正后的图像仍有较高的气动热辐射噪声，则再次执行低阶梯度拟合，否则，将初校正结果作为最终结果。进一步地，所述多级滤波芯片ASIC包括三个滤波通道和延迟电路；其中，第一滤波通道包括依次连接的第一1×3均值滤波器、第一寄存器、第一减法器、第二1×3均值滤波器；第二滤波通道包括依次连接的第一1×5均值滤波器、第三1×3均值滤波器、第二1×5均值滤波器、第二寄存器、第二减法器、第四1×3均值滤波器；第三滤波通道包括依次连接的第三1×5均值滤波器、第五1×3均值滤波器、第四1×5均值滤波器、第五1×5均值滤波器、第三寄存器、第三减法器、第六1×3均值滤波器；第一1×3均值滤波器的输出端连接第一1×5均值滤波器的输入端，第三1×3均值滤波器的输出端连接第三1×5均值滤波器的输入端；延迟电路包括依次连接的第一延迟器、第二延迟器和第三延迟器，第一延迟器的输出端连接第一减法器的输入端，第二延迟器的输出端连接第二减法器的输入端，第三延迟器的输出端连接第三减法器的输入端。进一步地，所述主处理器DSP还用于判断上一帧是否检测到目标，若没有，则将待处理图像传送给协处理器FPGA；否则，将提取以上一帧目标位置为中心的区域作为待处理图像传送给协处理器FPGA。进一步地，所述主处理器DSP为多核处理器。一种机载红外小目标检测识别实时处理方法，包括以下步骤：主处理器DSP从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息，对机载飞行参数信息解析得到飞行器姿态信息，将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA；协处理器FPGA调用非均匀校正芯片SoC进行非均匀性校正，再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转，旋转后的红外图像回传给主处理器DSP；主处理器DSP对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像，将待处理图像传送给协处理器FPGA；协处理器FPGA调用多级滤波芯片ASIC对待处理图像进行多级滤波，再对滤波图像进行分割，最后调用连通区域标记ASIC完成连通域标记，将连通域标记后的图像回传给主处理器DSP；主处理器DSP在连通域标记后的图像中检测识别目标。本专利技术包括硬件处理板卡设计和目标检测识别流程设计，针对机载红外图像进行红外图像非均匀性校正、气动热辐射校正、多级滤波以及目标检测识别等处理，并采取流水线和多核并行的处理方式，显著提高整个系统的处理速度。总体而言，按照本专利技术点的以上技术方案与现有技术相比，主要具有以下技术优点：1.本专利技术系统包括的机载红外小目标检测识别方法，将红外小目标检测识别分解为若干个互相独立的低层图像处理，通过协处理器FPGA的流水线设计以及红外图像非均匀性校正S本文档来自技高网...

【技术保护点】
1.一种机载红外小目标检测识别实时处理系统，其特征在于，包括主处理器DSP、协处理器FPGA、Rapid IO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC；主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机，另一端通过Rapid IO交换机连接协处理器FPGA，协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC；主处理器DSP用于通过PCIE交换机从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息，对机载飞行参数信息解析得到飞行器姿态信息，将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA；协处理器FPGA用于调用非均匀校正芯片SoC进行非均匀性校正，再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转，旋转后的红外图像回传给主处理器DSP；主处理器DSP用于对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像，将待处理图像传送给协处理器FPGA；协处理器FPGA用于调用多级滤波芯片ASIC对待处理图像进行多级滤波，再对滤波图像进行分割，最后调用连通区域标记ASIC完成连通域标记，将连通域标记后的图像回传给主处理器DSP；主处理器DSP用于在连通域标记后的图像中检测识别目标。...

【技术特征摘要】
1.一种机载红外小目标检测识别实时处理系统，其特征在于，包括主处理器DSP、协处理器FPGA、RapidIO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC；主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机，另一端通过RapidIO交换机连接协处理器FPGA，协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC；主处理器DSP用于通过PCIE交换机从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息，对机载飞行参数信息解析得到飞行器姿态信息，将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA；协处理器FPGA用于调用非均匀校正芯片SoC进行非均匀性校正，再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转，旋转后的红外图像回传给主处理器DSP；主处理器DSP用于对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像，将待处理图像传送给协处理器FPGA；协处理器FPGA用于调用多级滤波芯片ASIC对待处理图像进行多级滤波，再对滤波图像进行分割，最后调用连通区域标记ASIC完成连通域标记，将连通域标记后的图像回传给主处理器DSP；主处理器DSP用于在连通域标记后的图像中检测识别目标。2.根据权利要求1所述的机载红外小目标检测识别实时处理系统，其特征在于，所述主处理器DSP按照如下方式进行气动热辐射效应校正：(21)图像滤波：令设校正和旋转后的红外图像为s，滤波图像表示为以滤波图像u为变量的能量函数最小化问题的解：其中λ为光滑参数，Dx和Dy为图像s的x和y方向上的一阶梯度算子，Ax和Ay分别表示图像x和y方向上光滑参数对角矩阵；(22)将滤波图像输入到梯度拟合的校正模型中求解热辐射场b：其中，E(b)为梯度拟合差，热辐射场b表示为(xi,yi)为像素i的坐标，a为多项式系数的向量形式，K为多项式最高阶；可通过最小二乘法求得热辐射估计场；(23)求取校正和旋转后的红外图像为s与热辐射场b的差值。3.根据权利要求2所述的机载红外小目标检测识别实时处理系统，其特征在于，所述求解热辐射场b采用多次低阶梯度拟合的方式求解，所述低阶梯度拟合的具体实施方式为：对滤波图像使用梯度拟合低阶热辐射场得到初校正图像，梯度拟合阶数范围为2≤K≤3；计算低阶热辐射场中心坐标(x,y)，分别统计滤波图像和初校正图像在热辐射场中心的图像反差值Constrast，图像反差值Constrast定义为图像块每个灰度值与周围邻近个像素灰度差的平方和，公式如下：Constrast＝∑δ(xi,yi)2Pδ(xi,yi)其中，δ(xi,yi)为图像坐标(xi,yi)相邻像素近灰度差，Pδ(xi,yi)为相邻像素间的灰度差为δ的像素分布概率；若图像反差值Constrast大于阈值Tthresh，则说明初校正后的图像仍有较高的气动热辐射噪声，则再次执行低阶梯度拟合，否则，将初校正结果作为最终结果。4.根据权利要求2所述的机载红外小目标检测识别实时处理系统，其特征在于，所述多级滤波芯片ASIC包括三个滤波通道和延迟电路；其中，第一滤波通道包括依次连接的第一1×3均值滤波器、第一寄存器、第一减法器、第二1×3均值滤波器；第二滤波通道包括依次连接的第一1×5均值滤波器、第三1×3均值滤波器、第二1×5均值滤波器、第二寄存器、第二减法器、第四1×3均值滤波器；第三滤波通道包括依次连接的第...

【专利技术属性】
技术研发人员：张天序，陈泉，余峰，苏益波，张培阳，周灿新，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42