一种基于FPGA的实时目标追踪系统和方法技术方案

本发明专利技术公开了一种基于FPGA的实时目标追踪系统，包括均值滤波器、运动补偿器、动态块检测模块、建议框搜索模块以及目标匹配模块，目标追踪方法为，均值滤波器将视频数据分成多个图像块并计算图像块的均值，由运动补偿器、动态块检测模块处理后得到高可能性图像块，目标匹配模块对建议框搜索模块优化后的高可能性图像块进行匹配计算后得到最终的追踪目标，本发明专利技术在系统的架构上进行了优化，同时在整个的计算过程中采用多种并行计算，提高处理速度，可以达到实时追踪的目的。

【技术实现步骤摘要】
一种基于FPGA的实时目标追踪系统和方法
本专利技术涉及视觉应用领域，特别是一种基于FPGA的实时目标追踪系统和方法。
技术介绍
实时目标跟踪系统广泛应用于人机交互、安全监控、增强现实等领域，为了获得良好的追踪性能和对复杂的外界环境有较强的鲁棒性，跟踪系统需要进行复杂的处理过程和巨大的计算成本，而某些特定的平台对于系统功耗要求较高，难以实现实时追踪。目前现有的目标跟踪方案，虽然对跟踪算法和特定的架构进行了联合优化，但是由于处理速度较慢，跟踪性能仍未达到实时，因此迫切需要一种高性能和高能量效率的系统，实现实时的目标跟踪和高能量效率。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种基于FPGA的实时目标追踪系统和方法，使得系统处理数据速度更迅速，硬件开销更小，在实时性、准确度、功耗等多方面达到一个较好的平衡。本专利技术解决其问题所采用的技术方案是：一种基于FPGA的实时目标追踪系统，包括FPGA芯片，所述FPGA芯片内包括：均值滤波器，用于对动态摄像头的视频数据进行均值处理并得到动态摄像头的视频数据均值，以及对静态摄像头的视频数据进行均值处理并得到静态摄像头的视频数据均值；运动补偿器，用于对动态摄像头的视频数据均值进行补偿并得到运动矢量补偿的视频帧；动态块检测模块，用于对静态摄像头的视频数据均值以及运动矢量补偿的视频帧进行处理并得到高可能性图像块；建议框搜索模块，用于对高可能性图像块进行优化；目标匹配模块，用于对优化后的高可能性图像块进行匹配并得到目标对象位置和大小；所述均值滤波器分别和运动补偿器、动态块检测模块连接，所述运动补偿器和动态块检测模块连接，所述动态块检测模块、建议框搜索模块以及目标匹配模块三者数据连接。进一步，还包括用于缓存数据的第一数据缓存器、第二数据缓存器，所述均值滤波器通过第一数据缓存器分别与运动补偿器、动态块检测模块连接，所述第二数据缓存器分别与动态块检测模块、建议框搜索模块以及目标匹配模块连接，所述目标匹配模块与第一数据缓存器连接，所述目标匹配模块将输出的匹配结果存储到第一数据缓存器中，所述第二数据缓存器存储动态块检测模块生成的高可能性图像块，所述目标匹配模块读取第二数据缓存器中优化后的高可能性图像块并进行处理。采用第一数据缓存器、第二数据缓存器对中间数据进行存储，可以减少数据从片外到片内带来的额外功耗和通信的带宽需求。进一步，所述第一数据缓存器、第二数据缓存器采用用于缓存中间数据的分布式片上缓存方式。进一步，所述均值滤波器包括用于处理视频数据的并行连接的处理单元，所述处理单元并行处理视频数据。均值滤波器采用多个处理单元对视频数据进行并行处理，可以提高计算任务的处理速度，同时降低时延，减少资源消耗。一种基于FPGA的实时目标追踪方法，包括以下步骤：A、均值滤波器将视频数据划分成图像块并对每一个图像块进行均值计算；B、运动补偿器接收均值滤波器经过计算后的动态摄像头的视频数据均值，在经过计算后传输到动态块检测模块，同时均值滤波器将计算后的静态摄像头的视频数据均值传输到动态块检测模块；C、动态块检测模块对视频数据均值进行计算后得到高可能性图像块；D、建议框搜索模块对高可能性图像块进行调整优化；E、目标匹配模块根据目标对象模型匹配每一个优化后的高可能性图像块后确定出目标对象的位置和大小。进一步，所述步骤A中均值滤波器将视频数据划分成图像块并对每一个图像块进行均值计算，均值滤波器模块将视频数据中的每一帧图像均分成大小为S*S的图像块，每一个图像块与相邻的图像块之间都有25％的重叠，并计算每一个图像块的均值，然后根据摄像头类型将视频数据均值选择性的传输到动态块检测模块以及运动补偿器中，其中图像块的大小S*S根据跟踪对象大小进行设置。分成多个图像块有利于后续的检测和匹配。进一步，所述步骤B中运动补偿器接收均值滤波器经过计算后的动态摄像头的视频数据均值，在经过计算后传输到动态块检测模块，运动补偿器利用Arps算法计算运动矢量补偿的视频帧，然后运动补偿器将运动矢量补偿的视频帧传输到动态块检测模块。对于静态摄像头和动态摄像头而言，其数据的流向是不同的，动态摄像头的视频数据均值在传输到动态块检测模块之间需要进行补偿，以便后续能更加准确的分析得到目标对象。进一步，所述步骤C中动态块检测模块对视频数据均值进行计算并得到高可能性图像块，其中，当动态块检测模块接收到的是静态摄像头的视频数据均值时，把静态摄像头的视频数据均值信息与前一帧的均值信息进行比较后得到高可能性图像块；当动态块检测模块接收到的是运动补偿器传输来的运动矢量补偿的视频帧时，根据前后帧间的图像块的均值的差与预先设定的阀值进行比较后得到高可能性图像块。动态块检测模块处理视频数据后会得到一些高可能性图像块，以便于目标匹配模块进行最后的匹配计算。进一步，所述步骤D中建议框搜索模块对高可能性图像块进行调整优化，具体步骤为：通过对每个高可能性图像块的对比，对高可能性图像块的大小进行迭代调整，从而优化高可能性图像块的大小。通过建议框搜索模块对高可能性图像块进行优化，以便后续的匹配计算。进一步，所述步骤E中目标匹配模块根据目标对象模型匹配每一个优化后的高可能性图像块后确定出目标对象的位置和大小，具体步骤为：对高可能性图像块以及目标对象进行建模，计算目标图像模型与所有高可能性图像块的模型之间的L1距离，选出L1距离最小的高可能性图像块，将其作为跟踪对象输出，得到目标对象的位置和大小。由于目标匹配模块是通过建模的方式来得到最终的目标对象的，所以计算的过程相对准确，计算速度快，得到的目标对象也较为准确。本专利技术的有益效果是：本专利技术采用的一种基于FPGA的实时目标追踪系统，通过均值滤波器对视频数据进行处理后得到图像块并计算图像块的均值，然后由运动补偿器以及动态块检测模块对视频数据均值进行处理得到高可能性图像块，经建议框搜索模块优化后送入到目标匹配模块中，最后由目标匹配模块进行分析计算后得到最终的目标对象，本专利技术的系统经过优化，对目标的跟踪计算速度较快，能够快速的得到目标对象；本专利技术的一种基于FPGA的实时目标追踪方法，首先是均值滤波器将视频数据分成多个图像块，并对每一个图像块进行均值处理，然后根据摄像头的类型将视频数据均值送到不同的模块中，对于动态摄像头的视频数据均值，将其送入到运动补偿器中进行运动矢量补偿的视频帧的计算，然后再将计算得到的运动矢量补偿的视频帧传输到动态块检测模块中进行检测，得到高可能性图像块；而对于静态摄像头，则直接将视频数据均值传输到动态块检测模块进行识别得到高可能性图像块，动态块检测模块将所有的高可能性图像块传输到建议框搜索模块中进行优化，最后由目标匹配模块对优化后的高可能性图像块进行匹配计算即可得到最终的目标对象，本方法优化了整个计算过程，计算的速度较快，对目标的跟踪可以达到实时的效果。附图说明下面结合附图和实例对本专利技术作进一步说明。图1是本专利技术一种基于FPGA的实时目标追踪系统的结构框图；图2是本专利技术一种基于FPGA的实时目标追踪系统的硬件架构图；图3是划分图像块的示意图；图4是均值滤波器的结构示意图；图5是本专利技术的系统应用于目标跟踪时的示意图；图6是本专利技术一种基于FPGA的实时目标追踪方法的流程框图；图7为本专利技术一种基于FPGA的实本文档来自技高网...

【技术保护点】
1.一种基于FPGA的实时目标追踪系统，包括FPGA芯片，其特征在于：所述FPGA芯片内包括：均值滤波器(1)，用于对动态摄像头的视频数据进行均值处理并得到动态摄像头的视频数据均值，以及对静态摄像头的视频数据进行均值处理并得到静态摄像头的视频数据均值；运动补偿器(2)，用于对动态摄像头的视频数据均值进行补偿并得到运动矢量补偿的视频帧；动态块检测模块(3)，用于对静态摄像头的视频数据均值以及运动矢量补偿的视频帧进行处理并得到高可能性图像块；建议框搜索模块(4)，用于对高可能性图像块进行优化；目标匹配模块(5)，用于对优化后的高可能性图像块进行匹配并得到目标对象位置和大小；所述均值滤波器(1)分别和运动补偿器(2)、动态块检测模块(3)连接，所述运动补偿器(2)和动态块检测模块(3)连接，所述动态块检测模块(3)、建议框搜索模块(4)以及目标匹配模块(5)三者数据连接。

【技术特征摘要】
1.一种基于FPGA的实时目标追踪系统，包括FPGA芯片，其特征在于：所述FPGA芯片内包括：均值滤波器(1)，用于对动态摄像头的视频数据进行均值处理并得到动态摄像头的视频数据均值，以及对静态摄像头的视频数据进行均值处理并得到静态摄像头的视频数据均值；运动补偿器(2)，用于对动态摄像头的视频数据均值进行补偿并得到运动矢量补偿的视频帧；动态块检测模块(3)，用于对静态摄像头的视频数据均值以及运动矢量补偿的视频帧进行处理并得到高可能性图像块；建议框搜索模块(4)，用于对高可能性图像块进行优化；目标匹配模块(5)，用于对优化后的高可能性图像块进行匹配并得到目标对象位置和大小；所述均值滤波器(1)分别和运动补偿器(2)、动态块检测模块(3)连接，所述运动补偿器(2)和动态块检测模块(3)连接，所述动态块检测模块(3)、建议框搜索模块(4)以及目标匹配模块(5)三者数据连接。2.根据权利要求1所述的一种基于FPGA的实时目标追踪系统，其特征在于：还包括用于缓存数据的第一数据缓存器(6)、第二数据缓存器(7)，所述均值滤波器(1)通过第一数据缓存器(6)分别与运动补偿器(2)、动态块检测模块(3)连接，所述第二数据缓存器(7)分别与动态块检测模块(3)、建议框搜索模块(4)以及目标匹配模块(5)连接，所述目标匹配模块(5)与第一数据缓存器(6)连接，所述目标匹配模块(5)将输出的匹配结果存储到第一数据缓存器(6)中，所述第二数据缓存器(7)存储动态块检测模块(3)生成的高可能性图像块，所述目标匹配模块(5)读取第二数据缓存器(7)中优化后的高可能性图像块并进行处理。3.根据权利要求2所述的一种基于FPGA的实时目标追踪系统，其特征在于：所述第一数据缓存器(6)、第二数据缓存器(7)采用用于缓存中间数据的分布式片上缓存方式。4.根据权利要求1所述的一种基于FPGA的实时目标追踪系统，其特征在于：所述均值滤波器(1)包括用于处理视频数据的并行连接的处理单元，所述处理单元并行处理视频数据。5.一种应用权利要求1至4任一所述的一种基于FPGA的实时目标追踪系统的方法，其特征在于：包括以下步骤：A、均值滤波器(1)将视频数据划分成图像块并对每一个图像块进行均值计算；B、运动补偿器(2)接收均值滤波器(1)经过计算后的动态摄像头的视频数据均值，在经过计算后传输到动态块检测模块(3)，同时均值滤波器(1)将计算后的静态摄像头的视频数据均值传输到动态块...

【专利技术属性】
技术研发人员：徐金龙，陈小柏，虞志益，
申请(专利权)人：佛山市顺德区中山大学研究院，广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东,44