一种面向实时目标识别的异构处理机并行协调处理方法技术

本发明专利技术公开了一种面向实时目标识别的异构处理机并行协调处理方法。该方法基于高效的互联结构以及高低速、多总线数据同步传输设计，对复杂算法进行分解，合理分配到相应的软硬件资源上，通过DSP作为主控器件，根据实际需求适时的调用各个异构器件，使得各个异构器件能够协调同步有序工作，解决同构结构处理系统存在的计算复杂、耗时长、功耗大等问题。

A parallel coordination processing method for heterogeneous processors for real time target recognition

The present invention discloses a parallel processing method of heterogeneous processor for real time target recognition. Based on the interconnection structure of efficient and high speed, multi bus synchronous data transmission design the method to decompose the complex algorithm, the rational allocation of hardware resources to the corresponding, as the main control device by DSP, according to the actual demand of heterogeneous devices to call all the time, so that the heterogeneous devices can coordinated work orderly, solving calculation the isomorphic structure of the processing system is complicated, time-consuming, high power consumption etc..

【技术实现步骤摘要】
一种面向实时目标识别的异构处理机并行协调处理方法
本专利技术属于导航制导、图像识别和图像处理的交叉科学
，更具体地，涉及一种实时目标识别的异构处理机并行协调处理方法。
技术介绍
运动目标检测、跟踪与识别是计算机视觉、目标检测与跟踪、导航制导等应用领域的重要研究问题。运动目标检测主要有静平台和动平台两种模式。静平台情况下的运动目标检测与识别技术已经比较成熟，动平台情况下的运动目标检测与识别技术还在发展之中。对于静平台运动目标检测任务，图像背景保持不变，背景模型通常已知，运动目标检测相对容易。动平台运动目标检测要比静平台运动目标检测复杂得多，平台的运动分为滚动、转动和平动。在平台滚动的情况下，序列图像会存在明显的旋转效果。因此必须对序列图像进行旋转预处理，消除平台滚动带来的问题。平台的转动和平动会导致图像背景的表观变化，同时待检测的目标也在运动，整幅图像的前景运动和平台运动产生的背景变化混合在一起，只有很好地把这两种运动分开，才能够准确的检测出运动目标并实现跟踪任务，这给背景的补偿问题提出了很大的挑战。传统的实时目标检测与识别多采用DSP或者多DSP(也叫DSPs)来进行算法的处理，流程如图1所示。将图像的旋转、降采样及边缘检测、多级滤波、视觉非线性分割、连通区域标记、特征提取与匹配等一系列的算法均在一个DSP上顺序执行。这样不仅加大了程序的复杂度，由顺序执行带来的实时性差是无法避免的，同时由于DSP处理器的通用性有限，使得它在图像处理与目标检测识别算法优化方面存在瓶颈。因此，本领域亟需一种面向实时目标识别的异构处理机的并行协调处理方法。
技术实现思路
针对现有技术的缺陷，本专利技术旨在提供一种解决同构结构处理系统存在的计算复杂、耗时长、功耗大等问题的处理方法。为了实现上述目的，本专利技术提供了一种面向实时目标识别的异构处理机并行协调处理方法，包括如下步骤：(1)序列图像输入到FPGA中缓存；图像采集装置采集目标图像的惯导信息并输入到DSP；(2)DSP接收惯导信息，从中获取旋转角度参数；同时，DSP判断是否接收到后续处理步骤的出错反馈信号；若接收到出错反馈信号，DSP对FPGA进行复位，并跳到步骤(3)；若没有接收到出错反馈信号，DSP根据图像的旋转角度参数来判断是否需要控制FPGA调用旋转ASIC芯片进行图像的旋转；若需要进行图像旋转则跳到步骤(3)，若不需要旋转则跳到步骤(4)；(3)DSP调用FPGA调用旋转ASIC芯片，对图像进行旋转操作，并将旋转处理完成后的图像数据写往外部的DPRAM，同时FPGA读取DPRAM里面经过旋转处理后的图像，进行校验，若旋转结果正确，跳到步骤(4)；当旋转芯片无法正常工作或旋转结果不正确时，跳到步骤(2)(4)若旋转ASIC对图像进行旋转操作成功，FPGA对旋转处理后的图像进行预处理；若之前图像不需要旋转操作，FPGA对缓存的原始图像进行预处理；(5)DSP调用FPGA调用多级滤波ASIC对步骤(4)中经过预处理之后的图像进行多级滤波处理；多级滤波ASIC处理完后的图像写往外部的DPRAM，同时FPGA读取DPRAM里面经过多级滤波处理后的图像，然后FPGA将经过多级滤波处理后的图像数据进行缓存并传送到DSP中；(6)DSP对步骤(5)中经过多级滤波处理后的图像进行非线性分割处理；非线性分割处理后的图像由DSP调用FPGA进行形态学滤波处理；(7)DSP调用FPGA，将步骤(6)中经非线性分割、形态学滤波处理后的图像传送到轮廓跟踪与标记ASIC芯片，进行轮廓跟踪与标记处理，标记完后的图像缓存到FPGA并传送给DSP；(8)DSP获取标记完后的图像的处理结果及几何特征，并调用模式分类器进行后续目标分类；最后将处理完的图像传送到PAL视频输出进行显示，即目标的实时识别与跟踪结果。进一步地，使用FPGA内部的FIFO资源以及DPRAM资源，还使用两个外部的DPRAM存储芯片，通过对数据的缓存使得在处理某一帧图片的某一步骤的同时，还能够并行处理其他帧的其他步骤。进一步地，所述并行处理的方法如下：当第一帧图像数据旋转完成，进行FPGA的图像预处理时，第二帧图像便进入到旋转芯片进行旋转；由于FPGA的处理速度较快，第一帧图像预处理完成时，第二帧图像还未旋转完成，此时对第一帧图像数据进行缓存，待第二帧图像旋转完成后再由FPGA进行第二帧图像的预处理；当FPGA进行第二帧图像的预处理时，FPGA同时读取第一帧图像的缓存数据进行下一步处理。进一步地，FPGA的各个独立模块都是并行执行的。进一步地，FPGA、DSP、各ASIC之间均通过FIFO构建的交换式网络进行数据传输，每个输入FIFO的选择端均用使能信号选择其中的一个三态门接通，以实现一个输出接口的数据同时传输到多个输入FIFO中。与现有技术相比，本专利技术的效果如下：(1)将复杂算法进行分解，由DSP作为主控芯片，合理的通过FPGA来调用专用集成芯片来实现某些特定的算法功能；同时DSP与FPGA之间的通信互联，可以及时的反馈各个芯片是否正常工作，DSP由此发出指令来终止或者继续系统的工作。这样一来，就可以避免由前一个芯片无法正常工作而导致的错误蔓延。(2)本专利技术将完成图像目标识别所需要的复杂算法分解成一个个的基本计算模块，用旋转ASIC芯片来实现旋转算法、用多级滤波ASIC芯片来实现多级滤波算法、用FPGA预处理模块来实现形态学滤波、用标记ASIC来完成对分割后图像的标记等，最终的特征匹配算法由DSP来实现。这样合理的分工以及协调调度既保证了系统的实时性，又降低了系统的整体功耗，同时降低了对DSP和FPGA等处理芯片对运算能力的要求。(3)流水线操作与并行操作相结合。由DSP作为主控芯片，合理的通过FPGA来调用专用集成芯片来实现某些特定的算法功能的关键就是适时调用各个模块，对图像的处理采用流水线操作，图像数据依次有序地经过各个处理单元处理，各处理单元协同工作，以保证每一个时刻都有多帧图像在流水线上被有序地处理。这种异构器件的流水线结合并行操作的特点，大大地提高了系统的实时性。附图说明图1是传统算法处理流程图；图2是异构处理机处理流程图；图3是数据的同步处理结构图；图4是高带宽动态全互联结构图；图5是并行处理流水图；图6(a)是实施例中建筑物红外图像；图6(b)是实施例中飞机红外图像；图6(c)是实施例中舰船红外图像；图6(d)是实施例中装甲车红外图像；图7(a)是实施例中建筑物识别结果图；图7(b)是实施例中飞机识别结果图；图7(c)是实施例中舰船识别结果图；图7(d)是实施例中装甲车识别结果图；图8(a)是图像采集装置成像后的原始人手的红外图像；图8(b)是图8(a)经过校正SOC后的图像；图9(a)是图像采集装置成像后的原始建筑物的红外图像；图9(b)是图9(a)经过旋转ASIC后的图像；图10(a)是图像采集装置成像后的原始舰船的红外图像；图10(b)是图10(a)经过多级滤波ASIC进行多级滤波后的图像。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方本文档来自技高网...

【技术保护点】
一种面向实时目标识别的异构处理机并行协调处理方法，其特征在于，包括如下步骤：(1)序列图像输入到FPGA中缓存；图像采集装置采集目标图像的惯导信息并输入到DSP；(2)DSP接收惯导信息，从中获取旋转角度参数；同时，DSP判断是否接收到后续处理步骤的出错反馈信号；若接收到出错反馈信号，DSP对FPGA进行复位，并跳到步骤(3)；若没有接收到出错反馈信号，DSP根据图像的旋转角度参数来判断是否需要控制FPGA调用旋转ASIC芯片进行图像的旋转；若需要进行图像旋转则跳到步骤(3)，若不需要旋转则跳到步骤(4)；(3)DSP调用FPGA调用旋转ASIC芯片，对图像进行旋转操作，并将旋转处理完成后的图像数据写往外部的DPRAM，同时FPGA读取DPRAM里面经过旋转处理后的图像，进行校验，若旋转结果正确，跳到步骤(4)；当旋转芯片无法正常工作或旋转结果不正确时，跳到步骤(2)(4)若旋转ASIC对图像进行旋转操作成功，FPGA对旋转处理后的图像进行预处理；若之前图像不需要旋转操作，FPGA对缓存的原始图像进行预处理；(5)DSP调用FPGA调用多级滤波ASIC对步骤(4)中经过预处理之后的图像进行多级滤波处理；多级滤波ASIC处理完后的图像写往外部的DPRAM，同时FPGA读取DPRAM里面经过多级滤波处理后的图像，然后FPGA将经过多级滤波处理后的图像数据进行缓存并传送到DSP中；(6)DSP对步骤(5)中经过多级滤波处理后的图像进行非线性分割处理；非线性分割处理后的图像由DSP调用FPGA进行形态学滤波处理；(7)DSP调用FPGA，将步骤(6)中经非线性分割、形态学滤波处理后的图像传送到轮廓跟踪与标记ASIC芯片，进行轮廓跟踪与标记处理，标记完后的图像缓存到FPGA并传送给DSP；(8)DSP获取标记完后的图像的处理结果及几何特征，并调用模式分类器进行后续目标分类；最后将处理完的图像传送到PAL视频输出进行显示，即目标的实时识别与跟踪结果。...

【技术特征摘要】
1.一种面向实时目标识别的异构处理机并行协调处理方法，其特征在于，包括如下步骤：(1)序列图像输入到FPGA中缓存；图像采集装置采集目标图像的惯导信息并输入到DSP；(2)DSP接收惯导信息，从中获取旋转角度参数；同时，DSP判断是否接收到后续处理步骤的出错反馈信号；若接收到出错反馈信号，DSP对FPGA进行复位，并跳到步骤(3)；若没有接收到出错反馈信号，DSP根据图像的旋转角度参数来判断是否需要控制FPGA调用旋转ASIC芯片进行图像的旋转；若需要进行图像旋转则跳到步骤(3)，若不需要旋转则跳到步骤(4)；(3)DSP调用FPGA调用旋转ASIC芯片，对图像进行旋转操作，并将旋转处理完成后的图像数据写往外部的DPRAM，同时FPGA读取DPRAM里面经过旋转处理后的图像，进行校验，若旋转结果正确，跳到步骤(4)；当旋转芯片无法正常工作或旋转结果不正确时，跳到步骤(2)(4)若旋转ASIC对图像进行旋转操作成功，FPGA对旋转处理后的图像进行预处理；若之前图像不需要旋转操作，FPGA对缓存的原始图像进行预处理；(5)DSP调用FPGA调用多级滤波ASIC对步骤(4)中经过预处理之后的图像进行多级滤波处理；多级滤波ASIC处理完后的图像写往外部的DPRAM，同时FPGA读取DPRAM里面经过多级滤波处理后的图像，然后FPGA将经过多级滤波处理后的图像数据进行缓存并传送到DSP中；(6)DSP对步骤(5)中经过多级滤波处理后的图像进行非线性分割处理；非线性分割处理后的图像由DSP调用FPGA进行形态学滤波处理；(7)DSP调用FPGA，将步骤(6)中经非线性分割、形态学滤...

【专利技术属性】
技术研发人员：张天序，李欢，郑畅，张培阳，向叮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42