基于概率密度统计的小型化实时目标跟踪处理系统技术方案

本发明专利技术属于嵌入式计算机视频处理技术领域，特别是涉及一种基于概率密度统计的小型化实时目标跟踪处理系统。本发明专利技术提出一种小型化低功耗的实时图像跟踪处理系统，采用FPGA作为系统控制和图像处理的核心，充分发挥FPGA硬件化并行化处理的特性完成外部红外及白光相机图像采集控制、滤波预处理及目标跟踪的迭代搜索全部过程并达到50fps的实时处理速度，而不使用CPU或DSP处理器；使用串行总线接收主控端发送的控制指令在白光1X、白光2X和红外显示三种显示模式及观察模式和跟踪模式两种工作状态之间切换，并实时发送检测出的目标位置信息；采用了一种易于FPGA并行实现的基于概率密度统计的线性目标跟踪算法，通过一次遍历即可实现对目标的检测；同时系统采用了多功能模块叠层的架构保证系统具有较小的体积。

【技术实现步骤摘要】
基于概率密度统计的小型化实时目标跟踪处理系统
：本专利技术属于嵌入式计算机视频处理
，特别是涉及一种基于概率密度统计的小型化实时目标跟踪处理系统。
技术介绍
：实时图像跟踪处理技术在导弹末端制导，火炮光瞄控制器、特种狙击枪目标自动锁定等领域中有着广泛的应用，但是一方面由于视频图像信号维度高，对其处理所需要的计算复杂度高，另一方面，由于空间的限制，这类系统往往对安装位置及体积大小有较高的要求。故在目标跟踪系统，尤其是嵌入式实时目标跟踪系统中，对图像序列的实时处理能力及小型化程度一直是影响系统性能的核心因素。刘伟，基于DM6437硬件平台的智能目标跟踪系统设计，西安文理学院学报：自然科学版，Vol.18No.2,2015,p37-41中提出了一种智能目标视频跟踪系统的设计方法，其硬件平台采用DM6437开发板，软件采用均值漂移算法，利用颜色信息、形状信息实现了在简单背景下对遥控小车的跟踪。但是采用开发板作为核心处理单元构建的跟踪系统结构略显粗糙，其移植性较差，体积较大，不能满足对体积限制约束较大的应用场合；而且文中所采用的为标清复合视频，其分辨率较低，对于对图像分辨率要求较高的应用场合也不合适；此外，文章采用基于指令顺序执行的处理器，这种串行处理架构运算效率较低，无法实现并行加速，当图像分辨率较高或运算复杂时无法达到实时的处理速度。
技术实现思路
：本专利技术的目的是：解决现有图像跟踪系统体积较大，并行化程度低，在图像分辨率较大时无法实现实时跟踪的问题。本专利技术的技术方案是：本专利技术提出一种小型化低功耗的实时图像跟踪处理系统，采用FPGA作为系统控制和图像处理的核心，充分发挥FPGA硬件化并行化处理的特性完成外部红外及白光相机图像采集控制、滤波预处理及目标跟踪的迭代搜索全部过程并达到50fps的实时处理速度，而不使用CPU或DSP处理器；使用串行总线接收主控端发送的控制指令在白光1X、白光2X和红外显示三种显示模式及观察模式和跟踪模式两种工作状态之间切换，并实时发送检测出的目标位置信息；采用了一种易于FPGA并行实现的基于概率密度统计的线性目标跟踪算法，通过一次遍历即可实现对目标的检测；同时系统采用了多功能模块叠层的架构保证系统具有较小的体积。基于概率密度统计的小型化实时目标跟踪处理系统，系统包含三个子模块，分别为电源模块PSM，视频处理模块VPM和输入输出接口模块IOM；其中电源模块PSM完成电源二次转换，按照需要给红外相机及白光相机、彩色屏以及输入输出接口模块IOM和视频处理模块VPM供电，并产生系统复位信号；输入输出接口模块IOM提供红外相机及白光相机、彩色屏的工作模式配置接口和外部控制板的通信接口；视频处理模块VPM完成红外及白光相机的视频解码、跟踪切换、叠加显示控制及图像跟踪处理功能；三个子模块之间采用板间连接器直接连接；本系统具有白光1X显示、白光2X显示和红外显示三种显示模式；系统具有观察模式和跟踪模式两种工作状态。白光1X显示是将3G-SDI格式的白光相机从输出图像中心区域裁剪子图，将其按照BT.656协议重新组织为画面进行显示；白光2X显示是将3G-SDI格式的白光相机从输出图像中心区域裁剪子图，将其插值放大到720*576的大小并按照BT.656协议重新组织为画面进行显示；红外显示是将PAL-D格式的红外相机直接解码为BT.656协议的图像进行显示。显示模式可根据主控指令在白光1X显示、白光2X显示和红外显示之间切换。工作状态如下：系统上电时，默认处于观察模式；观察模式：上电，默认白光1X模式输出，图像上叠加角度字符、方位字符、距离字符、气象信息字符以及显示锁定标志，显示锁定标志的符号为“+”，默认为图像中心，该位置根据主控板指令进行调节；跟踪模式：当检测到操作人员发出的锁定信号后进入跟踪模式：第一步，记录锁定目标坐标，将锁定标志变为红点标志，使得红点标志压住图像上的目标,此后，图像跟踪系统要能够一直跟踪目标，使得红点标志始终压住目标，并转入第二步；在跟踪过程中若目标脱离锁定，则向主控板发送跟踪观察切换指令，并返回观察模式；第二步：主控板发送标志显示指令，在指示坐标位置显示红色“T”形标志；第三步：当红色“T”形标志与红点标志连续三帧图像重合时，“T”形标志变为蓝色，并向主控板发出目标瞄准信号，若两个标志脱离重合但红点标志未丢失，则瞄准信号置无效，“T”形标志变为红色，并返回第三步起始状态；若目标丢失，则置瞄准信号无效，向主控板发送跟踪观察切换指令并返回观察模式。目标跟踪的方法：根据采用FPGA实现图像处理的特点，以选定目标中心周边20X20矩形区域的统计直方图概率分布为特征，对视频中每一帧图像进行匹配运算，概率统计特性最为一致的区域即为跟踪目标，具体如下：STEP1：利用手动方式十字记号对准目标区域，得到当前目标中心；STEP2：提取目标感兴趣区域ROI，利用该区域计算彩色图像的直方图函数；STEP3：利用上一步得到的彩色图像直方图函数对目标图像整体区域进行概率反向投影，得到反投影图像；STEP4：计算当前区域的概率均值，利用均值漂移的方式得到概率最大的中心区域，得到新的目标感兴趣区域ROI；STEP5：如果没有得到目标感兴趣区域ROI则认为跟踪失败，返回STEP1重新对准目标；STEP6：认为当前的目标感兴趣区域ROI为目标所在的区域，完成目标跟踪；STEP7：对下一帧返回Step2进行跟踪。本专利技术具有的优点是：充分利用了FPGA并行化硬件化的处理特点，实现对视频的采集、滤波预处理、目标检测及显示输出同步进行，保证视频从输入到输出具有极小延时；采用了红外及白光双光源相机，能够保证跟踪系统全天候工作；设计了多种显示模式，显示模式可以根据操控端指令快速自动切换，并且能够实现对图像中感兴趣区域的细节信息放大；将系统功能分布到各个功能子模块中，模块间通过叠层结构联系在一起，使得系统具有较小的体积。附图说明：图1为小型化实时目标跟踪处理系统结构图图2为小型化实时目标跟踪处理系统内部架构图图3为小型化实时目标跟踪处理系统工作过程示意图具体实施方式:本专利技术所述的基于概率密度统计的小型化实时目标跟踪处理系统实现方法已经在某型特种狙击枪光瞄系统中应用，狙击手用其完成对选定目标的自动标示、定位、追踪及偏差估计等功能，提高射击的精度及命中率。实现细节具体如下：系统组成：系统采用叠层结构设计，包含三个子模块，分别为电源模块(PSM)，视频处理模块(VPM)和输入输出接口模块(IOM)；其中电源模块PSM完成电源二次转换，按照需要给红外及白光相机、彩色屏以及输入输出接口模块IOM和视频处理模块VPM供电，并产生系统复位信号；IOM模块提供红外及白光相机、彩色屏的工作模式配置接口和外部控制板的通信接口；VPM模块完成红外及白光相机的视频解码、跟踪切换、叠加显示控制及图像跟踪处理功能；三个子模块之间采用板间连接器连接，生产无需导线焊接，符合小型化要求；其中，视频处理模块(VPM)采用FPGA实现，FPGA型号使用Xilinx公司的XC6SLX100芯片，红外相机视频解码芯片使用ADV7180B，白光3G-SDI相机视频解码芯片使用GV7601-IBE3，图像缓存使用2片MT47H128M16HG-3IT型D本文档来自技高网...

【技术保护点】
1.基于概率密度统计的小型化实时目标跟踪处理系统，其特征是，系统包含三个子模块，分别为电源模块PSM，视频处理模块VPM和输入输出接口模块IOM；其中电源模块PSM完成电源二次转换，按照需要给红外相机及白光相机、彩色屏以及输入输出接口模块IOM和视频处理模块VPM供电，并产生系统复位信号；输入输出接口模块IOM提供红外相机及白光相机、彩色屏的工作模式配置接口和外部控制板的通信接口；视频处理模块VPM完成红外及白光相机的视频解码、跟踪切换、叠加显示控制及图像跟踪处理功能；三个子模块之间采用板间连接器直接连接；本系统具有白光1X显示、白光2X显示和红外显示三种显示模式；系统具有观察模式和跟踪模式两种工作状态。

【技术特征摘要】
1.基于概率密度统计的小型化实时目标跟踪处理系统，其特征是，系统包含三个子模块，分别为电源模块PSM，视频处理模块VPM和输入输出接口模块IOM；其中电源模块PSM完成电源二次转换，按照需要给红外相机及白光相机、彩色屏以及输入输出接口模块IOM和视频处理模块VPM供电，并产生系统复位信号；输入输出接口模块IOM提供红外相机及白光相机、彩色屏的工作模式配置接口和外部控制板的通信接口；视频处理模块VPM完成红外及白光相机的视频解码、跟踪切换、叠加显示控制及图像跟踪处理功能；三个子模块之间采用板间连接器直接连接；本系统具有白光1X显示、白光2X显示和红外显示三种显示模式；系统具有观察模式和跟踪模式两种工作状态。2.如权利要求1所述的基于概率密度统计的小型化实时目标跟踪处理系统，其特征是，白光1X显示是将3G-SDI格式的白光相机从输出图像中心区域裁剪子图，将其按照BT.656协议重新组织为画面进行显示；白光2X显示是将3G-SDI格式的白光相机从输出图像中心区域裁剪子图，将其插值放大到720*576的大小并按照BT.656协议重新组织为画面进行显示；红外显示是将PAL-D格式的红外相机直接解码为BT.656协议的图像进行显示。3.如权利要求2所述的基于概率密度统计的小型化实时目标跟踪处理系统，其特征是，显示模式可根据主控指令在白光1X显示、白光2X显示和红外显示之间切换。4.如权利要求1所述的基于概率密度统计的小型化实时目标跟踪处理系统，其特征是，工作状态如下：系统上电时，默认处于观察模式；观察模式：上电，默认白光1X模式输出，图像上叠加角度字符、方位字符、距离字符、气象信息字符以及显示锁定标志，显示锁定标志的符号为“+”，默认为图像中心，该位置根据主控板...

【专利技术属性】
技术研发人员：王闯，刘硕，贺莹，李博，贾超群，王海鹏，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：陕西,61