双模视频目标识别跟踪系统技术方案

双模视频目标识别跟踪系统属于电子学领域中的视频图像处理技术，该系统包括第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；该系统可以同时采集红外相机和可见相机的视频信号，并集成了两片DSP，第一DSP负责处理可见相机的图像数据，第二DSP负责处理红外相机的图像数据，并从第一DSP获得可见相机的处理结果，最优化判断最终的目标脱靶量，通过串口输出跟踪结果。本发明专利技术可以同时处理两个波段相机的视频信号，并且两个DSP可以相互通讯并对两个结果进行最优化判断，获得更为稳定的计算结果。

【技术实现步骤摘要】

本专利技术属于电子学领域中的视频图像处理技术，涉及一种双模视频目标识别跟踪系统。
技术介绍
视频跟踪系统是一种实时图像处理系统，具有对视频图像中的目标进行识别跟踪的能力，被广泛应用于军事和民用领域，尤其是军事上，如光学自动跟踪系统，导弹自动跟踪系统，一般都是与伺服控制系统配合使用，通过计算获得目标位置(即脱靶量)，输出送给伺服控制系统，进行目标的自动跟踪。目标识别跟踪的好坏与相机采集目标信号的波段宽度有很大关系，现有的视频跟踪系统一般只具备一台相机的视频处理能力，要么可见光， 要么红外，并且，目标识别能力差，跟踪稳定性低。
技术实现思路
本专利技术的目的是提供一种双模视频目标识别跟踪系统，其可以同时采集处理红外和可见光两台相机的视频信号，融合两台相机的处理结果，使目标的识别能力更强，跟踪稳定性更高，跟踪的鲁棒性提高。为了实现上述目的，本专利技术的技术方案如下双模视频目标识别跟踪系统，包括第一接口转换模块、第一 FPGA (Field Programmable Gate Array，现场可编程门阵列)、第一数据存储器、第一 DSP (Digital Signal Processing，数字信号处理器)、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二 DSP、第二程序存储器、串口模块和信号转换模块；所述第一接口转换模块与可见相机连接，所述第一 FPGA分别与第一接口转换模块、第一数据存储器、第一 DSP 连接，第一 FPGA通过第一接口转换模块对可见相机的图像数据进行实时采集，并通过第一数据存储器对采集的可见相机的图像数据进行实时存储，同时将采集的可见相机的图像数据传送给第一 DSP ；所述第一程序存储器与第一 DSP连接，其用于存储第一 DSP的程序代码；所述第一 DSP用于可见相机的图像处理、提取目标和计算目标位置，并将计算结果通过多通道缓冲串口传送给第二 DSP;所述第二接口转换模块与红外相机连接，所述第二 FPGA 分别与第二接口转换模块、第二数据存储器、第二 DSP连接，第二 FPGA通过第二接口转换模块对红外相机的图像数据进行实时采集，并通过第二数据存储器对采集的红外相机的图像数据进行实时存储，同时将采集的红外相机的图像数据传送给第二 DSP ；所述第二程序存储器与第二 DSP连接，其用于存储第二 DSP的程序代码；所述第二 DSP与串口模块连接，其用于红外相机的图像处理，计算红外图像中的目标位置，并通过多通道缓冲串口接收第一 DSP传来的可见图像中的目标计算结果，进入计算结果的加权融合，并将加权融合后的数据传送给串口模块；所述串口模块与信号转换模块连接，其用于接收第二 DSP传来的数据，并通过信号转换模块转换为差分信号后输出给外系统。本专利技术是一种可以同时采集两台不同波段相机即红外相机和可见光相机输出的两路CameraLink格式视频图像的视频跟踪系统，并具有对采集的视频图像进行处理，识别目标(如飞机、导弹等)，实时跟踪目标，通过串口向外系统提供脱靶量(即目标在图像中的坐标位置)的功能。本专利技术通过两片FPGA管理接口转换模块和数据存储器实现了图像数据的实时采集和存储，其中第一FPGA负责可见光相机的视频采集和存储；第二FPGA负责红外相机的视频采集和存储。采用两片DSP作为图像处理的核心平台，其中第一 DSP实现可见光相机的图像处理，提取目标并计算目标位置，并将计算结果通过多通道缓冲串口(McBSP) 传给第二 DSP ；而第二 DSP负责红外相机的图像处理，计算红外视频图像中的目标位置，并通过McBSP接收第一 DSP传来的可见光视频中的目标计算结果，进入结果的加权融合，通过串口模块将跟踪结果-脱靶量(即目标在图像中的坐标位置)输出给外系统，一般为伺服跟踪系统，用于进行目标的自动跟踪，同时此串口模块为双向的还具备接收外系统通讯命令的功能。本专利技术的有益效果是该系统体积小集成度高、运算速度快，实时性好、并在同一台视频跟踪系统中实现了红外图像和可见图像的并行处理和计算结果的融合，提高了目标跟踪的稳定性。具体体现在如下四点1)采用两片DSP做核心处理器并行处理，可以同时处理两个波段相机的图像数据，满足50Hz实时性要求；2)采用两片FPGA管理系统，可以实现两个相机图像的同时采集和存储互不干扰；3)通过McBSP将两个相机的计算结果进行互传，提高了系统跟踪目标的鲁棒性， 提高了持续跟踪目标的能力；4)整个系统为嵌入式系统，具有小型化、集成化、自动化程度高的特点；而且系统可以输出标准差分串口数据信号供外系统如伺服跟踪系统进行串口通讯。附图说明图1是本专利技术双模视频目标识别跟踪系统的结构框图。图2是本专利技术双模视频目标识别跟踪系统的电路原理图。图3是本专利技术第一 DSP的可见光目标识别跟踪软件流程图。图4是本专利技术第二 DSP的软件流程图。具体实施例方式下面结合附图和实施例对本专利技术做进一步详细说明。如图1所示，本专利技术的双模视频目标识别跟踪系统包括第一接口转换模块、第一 FPGA、第一数据存储器、第一 DSP、第一程序存储器、第二接口转换模块、第二 FPGA、第二数据存储器、第二 DSP、第二程序存储器、串口模块和信号转换模块。下面对该嵌入式跟踪系统所采用的主要芯片说明如下两片输入接口转换模块采用芯片DS90CI^88，将相机数字口输出的CameraLink格式的数据信号转换成TTL信号；负责图像采集和系统管理的两芯片FPGA，采用高性能的XILINX公司的V2P4，具有40万的系统门，800多个逻辑单元，500K的RAM，观个18 X 18bit乘法器，高达300MHz的系统带宽；两片数据存储器SDRAM采用ISSI公司的高速存储芯片IS42S16400，具有64Mb的存储空间， 方便图像数据的存储和读取；本专利技术系统的核心处理器DSP，两片都采用Ti公司高性能的DSP (TMS320C6416)主频IG Hz，运算速度可达8000MIPS，最高速指令周期时间为1.0ns，每周期可执行8条32bit指令，具有VelociTI. 2先进VLIW结构内核，8个独立的功能单元，6 个ALU(32、40bit)，每个单元每周期都可完成一个32bit、两个Wbit或者4个^it算术运算。2个乘法器支持每周期完成4个16X16BU乘法(结果是32bit)或者8个8X8bit乘法(结果是16bit)，可以编排并行流水汇编，达到了算法的实时性要求；程序存储器FLASH 芯片采用两片AiC9LV800DB，分别与第一 DSP和第二 DSP相连，每片具有4M的存储空间用于程序代码的存储；串口模块采用16C650具有32个Bytes的FIFO空间；串口数据通过信号转换芯片MAX488后转为差分信号。如图2所示，本专利技术双模视频目标识别跟踪系统的工作过程是首先系统上电，第一 DSP通过地址线All 译码后从第一 FALSH中读取第一 DSP的程序代码通过数据线 Dll 加载到第一 DSP中，同样第二 DSP通过地址线A21 译码后从第二 FALSH中读取第二 DSP的程序代码通过数据线D21 加载到第二 DSP中，程序开始执行。下面简单介绍本系统的数据走向和工作流程，可见相机输出的数字图像信号为CameraLink格本文档来自技高网...

【技术保护点】
１．双模视频目标识别跟踪系统，其特征在于，该系统包括第一接口转换模块、第一ＦＰＧＡ、第一数据存储器、第一ＤＳＰ、第一程序存储器、第二接口转换模块、第二ＦＰＧＡ、第二数据存储器、第二ＤＳＰ、第二程序存储器、串口模块和信号转换模块；所述第一接口转换模块与可见相机连接，所述第一ＦＰＧＡ分别与第一接口转换模块、第一数据存储器、第一ＤＳＰ连接，第一ＦＰＧＡ通过第一接口转换模块对可见相机的图像数据进行实时采集，并通过第一数据存储器对采集的可见相机的图像数据进行实时存储，同时将采集的可见相机的图像数据传送给第一ＤＳＰ；所述第一程序存储器与第一ＤＳＰ连接，其用于存储第一ＤＳＰ的程序代码；所述第一ＤＳＰ用于可见相机的图像处理、提取目标和计算目标位置，并将计算结果通过多通道缓冲串口传送给第二ＤＳＰ；所述第二接口转换模块与红外相机连接，所述第二ＦＰＧＡ分别与第二接口转换模块、第二数据存储器、第二ＤＳＰ连接，第二ＦＰＧＡ通过第二接口转换模块对红外相机的图像数据进行实时采集，并通过第二数据存储器对采集的红外相机的图像数据进行实时存储，同时将采集的红外相机的图像数据传送给第二ＤＳＰ；所述第二程序存储器与第二ＤＳＰ连接，其用于存储第二ＤＳＰ的程序代码；所述第二ＤＳＰ与串口模块连接，其用于红外相机的图像处理，计算红外图像中的目标位置，并通过多通道缓冲串口接收第一ＤＳＰ传来的可见图像中的目标计算结果，进入计算结果的加权融合，并将加权融合后的数据传送给串口模块；所述串口模块与信号转换模块连接，其用于接收第二ＤＳＰ传来的数据，并通过信号转换模块转换为差分信号后输出给外系统。...

【技术特征摘要】

【专利技术属性】
技术研发人员：赵建，孙海江，张艳超，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：82