一种面向运动背景的运动小目标实时检测跟踪装置及方法制造方法及图纸

本发明专利技术公开了一种面向运动背景的运动小目标实时检测跟踪装置及方法，装置包括用来拍摄复杂运动背景视频的图像传感器；对视频图像数据进行预处理及缓存的高速数据预处理模块；针对视频图像数据进行实时运动小目标检测跟踪的运动背景偏移量补偿模块、运动小目标检测模块和多目标相似度关联预测模块、转台跟踪控制模块、相机转台；获取系统工作状态及输入参数的核心控制模块及界面显示及用户控制。本发明专利技术所述装置及方法在边缘端完成复杂运动背景下运动小目标的采集、检测和跟踪，并根据图像传感器的输出数据流的特性优化设计处理逻辑及处理方法，可以实现复杂运动背景下运动小目标的实时检测及跟踪。标的实时检测及跟踪。标的实时检测及跟踪。

【技术实现步骤摘要】
一种面向运动背景的运动小目标实时检测跟踪装置及方法


[0001]本专利技术涉及小目标检测及跟踪
，尤其是涉及一种面向运动背景的运动小目标实时检测跟踪装置及方法。

技术介绍

[0002]运动背景去除和运动小目标检测跟踪在复杂运动背景图像的小目标检测过程中占据重要地位。边缘端实时图像处理可以在传感器端完成运动小目标的检测和跟踪，控制转台转动实现感兴趣目标的实时跟踪，实现更大范围的目标监视。
[0003]传统的边缘端目标检测及跟踪算法采用异构平台完成，采用FPGA平台实现图像的预处理，DSP平台实现目标检测及跟踪，MCU平台实现对转台的控制和处理结果的显示，这种处理方式涉及芯片之间的互相通信，降低了系统的处理速度和效率。

技术实现思路

[0004]本专利技术的目的在于提出一种面向运动背景的运动小目标实时检测跟踪装置及方法，在边缘端采用FPGA边缘加速处理器对图像传感器的输出数据流进行流水线并行加速处理，提高处理结果输出的实时性，同时在一个平台上完成图像预处理、检测、跟踪、转台控制及控制及显示，以解决传统技术存在的多平台系统导致的体积大、复杂程度高、处理速度慢的问题；本专利技术中处理器与传感器和转台集成，可以独立完成目标实时检测跟踪任务。
[0005]为实现本专利技术的目的，本专利技术提供的技术方案如下：第一方面本专利技术实施例提供了一种面向运动背景的运动小目标实时检测跟踪装置，所述装置包括：图像传感器、高速数据预处理模块、运动背景偏移量补偿模块、运动小目标检测模块、多目标相似度关联预测模块、转台跟踪控制模块、相机转台、核心控制模块和界面显示及用户控制模块，图像传感器、高速数据预处理模块、运动背景偏移量补偿模块、运动小目标检测模块、多目标相似度关联预测模块、转台跟踪控制模块和相机转台依次顺序相连；所述图像传感器采集视频图像数据后送入后续的模块进行图像处理，最终输出转台控制量送入相机转台转动持续跟踪目标；所述高速数据预处理模块与运动小目标检测模块相连，其提供运动小目标检测所需要的原始图像；所述核心控制模块与图像传感器、高速数据预处理模块、运动背景偏移量补偿模块、运动小目标检测模块、多目标相似度关联预测模块、转台跟踪控制模块、相机转台、界面显示及用户控制模块分别相连，其获取各个模块的工作状态和控制参数的写入。
[0006]第二方面与上述装置相对应地，本专利技术实施例提供了一种面向运动背景的运动小目标实时检测跟踪方法，包括如下步骤：步骤1：对图像传感器输出的图像数据进行缓存，输出当帧原始图像、前1帧原始图
像和前n+1帧原始图像；步骤2：计算背景偏移量，具体包括如下：步骤2.1：对原始图像的梯度进行计算，将计算完成后的梯度图像进行高斯滤波，通过非极大值抑制的方式查找图像角点；步骤2.2：对角点周围的31
×
31图像块采用FREAK特征描述子进行特征提取，FREAK特征描述子为512bit二进制序列；步骤2.3：将当帧的角点特征及前n帧邻域的角点特征，计算FREAK特征描述子的相似度，在两帧的角点位于邻域内且相似度大于设置阈值，则认为角点特征匹配；步骤2.4：使用匹配的角点位置每三组计算图像变换矩阵，用前n帧其余的角点位置使用图像转换矩阵预测当帧的角点位置，将预测的角点位置与当帧的角点位置进行距离计算并求均值，将多个转换矩阵所得到的距离均值进行排序，选择具有最小距离的转换矩阵作为背景偏移量，去除离散点的影响；步骤3：运动小目标检测，具体包括如下：步骤3.1：计算背景偏移量需要在整帧图像输入完成后获得，运动小目标检测采用前1帧原始图像和前n+1帧原始图像进行背景抑制，根据背景偏移量对前n+1帧原始图像对原始图像进行平移，将平移之后的前n+1帧原始图像和前1帧原始图像拉普拉斯增强后相减，完成背景的抑制；步骤3.2：将背景抑制之后的图像进行邻域阈值比较，对每个像素进行7
×
7邻域阈值比较，邻域最小值比阈值大则认为该像素为运动像素，提取运动像素；步骤3.3：对原始图像采用拉普拉斯边缘检测提取图像中所有的图像目标，图像目标包括运动目标和非运动目标；步骤3.4：将提取的运动像素和图像目标进行判断，图像目标中具有运动像素的目标则认为该目标为运动目标，对图像中的所有运动目标进行特征提取，得到运动目标及运动目标的特征；步骤4：多目标相似度关联预测，具体包括如下：步骤4.1：对前1帧的运动目标特征和前2帧的运动目标特征进行邻域搜索，目标特征缓存按照目标的质心位置放置目标特征，获得前1帧的运动目标特征后根据运动目标的质心位置在前2帧的运动目标特征缓存的对应位置的邻域取出邻域运动目标特征；步骤4.2：将前1帧的运动目标特征和前2帧的邻域运动目标特征进行相似度计算，根据目标的包围框计算出目标的面积，对目标的面积进行筛选，计算目标的质心距离进行排序，距离最近且面积变化小于50%的运动目标组成运动目标对；步骤4.3：将匹配完成的运动目标对进行目标编号的延续分配，获取前2帧运动目标特征中的目标编号，赋值到前1帧运动目标特征中，完成目标的持续跟踪；步骤4.4：通过前2帧运动目标特征和前1帧运动目标特征的质心位置差计算目标运动速度和运动方向，对目标的位置进行预测，写入运动目标特征缓存中用于下一帧的目标相似度计算；步骤5：根据运动目标特征进行转台转动控制，将特定目标调整至视野中央，保证运动目标的持续稳定跟踪；用户可手动选择需要跟踪的目标，或根据特定目标条件寻找符合条件的目标进行转动跟踪，目标条件包括目标的包围框面积和周长、目标运动速度以及
目标初始位置。
[0007]与现有技术相比，本申请的技术优势如下：本专利技术提出了一种面向运动背景的运动小目标实时检测跟踪装置，通过将图像传感器、边缘端处理器和转台集成于装置内，实现了边缘端的独立实时小目标检测跟踪，边缘端处理器采用FPGA平台独立完成实现，提高了系统的工作效率，降低了系统的复杂程度，有利于实现跟踪装置的轻量化和小型化；同时，本专利技术提出了应用上述装置的面向运动背景的运动小目标实时检测跟踪方法，通过对图像传感器输出进行流水处理，配合特征缓存的优化存储方式，有效的减少了图像处理的延迟，提高了处理输出结果的实时性。
附图说明
[0008]图1为本专利技术实施例提供的面向运动背景的运动小目标实时检测跟踪装置的结构示意图；图2为本专利技术实施例中高速数据预处理模块的内部结构示意图；图3为本专利技术实施例中运动背景偏移量补偿模块的内部结构示意图；图4为本专利技术实施例中运动小目标检测模块的内部结构示意图；图5为本专利技术实施例中多目标相似度关联预测模块的内部结构示意图；图6为本专利技术实施例中转台跟踪控制模块的内部结构示意图。
具体实施方式
[0009]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0010]本专利技术提出了一种面向运动背景的运动小目标实时检测跟踪装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向运动背景的运动小目标实时检测跟踪装置，其特征在于，所述装置包括：图像传感器（100）、高速数据预处理模块（200）、运动背景偏移量补偿模块（300）、运动小目标检测模块（400）、多目标相似度关联预测模块（500）、转台跟踪控制模块（600）、相机转台（700）、核心控制模块（800）和界面显示及用户控制模块（900），图像传感器（100）、高速数据预处理模块（200）、运动背景偏移量补偿模块（300）、运动小目标检测模块（400）、多目标相似度关联预测模块（500）、转台跟踪控制模块（600）和相机转台（700）依次顺序相连；所述图像传感器（100）采集视频图像数据后送入后续的模块进行图像处理，最终输出转台控制量送入相机转台（700）转动持续跟踪目标；所述高速数据预处理模块（200）与运动小目标检测模块（400）相连，其提供运动小目标检测所需要的原始图像；所述核心控制模块（800）与图像传感器（100）、高速数据预处理模块（200）、运动背景偏移量补偿模块（300）、运动小目标检测模块（400）、多目标相似度关联预测模块（500）、转台跟踪控制模块（600）、相机转台（700）、界面显示及用户控制模块（900）分别相连，其获取各个模块的工作状态和控制参数的写入。2.根据权利要求1所述的一种面向运动背景的运动小目标实时检测跟踪装置，其特征在于，所述图像传感器（100）采用可配置参数的图像传感器，通过核心控制模块（800）配置图像输出的曝光时间、分辨率和帧率，所述图像传感器（100）采用全局曝光的方式进行连续成像，成像完毕后通过串行接口逐个像素输出串行图像数据，送入高速数据预处理模块（200）。3.根据权利要求2所述的一种运动小目标实时检测跟踪装置，其特征在于，所述高速数据预处理模块（200）包括串并转换逻辑单元（201）和原始图像帧缓存逻辑单元（202），串并转换逻辑单元（201）将图像传感器（100）输出的串行高速图像数据流进行串并转换，转换为逐像素的并行图像数据，输出至原始图像帧缓存逻辑单元（202）进行缓存；原始图像帧缓存逻辑单元（202）缓存n+1帧原始图像，输出当帧原始图像至运动背景偏移量补偿模块（300）计算背景偏移量，在计算当帧背景偏移量的同时，输出前1帧原始图像和前n+1帧原始图像至运动小目标检测模块（400）对前1帧原始图像中的运动小目标进行检测；核心控制模块（800）与串并转换逻辑单元（201）相连，通过控制串并转换逻辑控制图像处理的开始与结束，同时获取原始图像及工作状态在界面显示及用户控制模块（900）上进行显示。4.根据权利要求3所述的一种面向运动背景的运动小目标实时检测跟踪装置，其特征在于，所述运动背景偏移量补偿模块（300）包括角点查找逻辑单元（301）、特征提取逻辑单元（302）、角点特征帧缓存逻辑单元（303）、特征匹配逻辑单元（304）、背景偏移量计算逻辑单元（305）和偏移量缓存逻辑单元（306）；所述角点查找逻辑单元（301）与高速数据预处理模块（200）及特征提取逻辑单元（302）相连，对输入的当帧原始图像，通过对原始图像的梯度进行计算，将计算完成后的梯度图像进行高斯滤波，通过非极大值抑制的方式查找图像角点，并将角点位置输出至特征提取逻辑单元（302）；所述特征提取逻辑单元（302）与高速数据预处理模块（200）、角点特征帧缓存逻辑单元（303）及特征匹配逻辑单元（304）相连，所述特征提取逻辑单元（302）输入角点查找逻辑单元（301）输出的角点坐标，从高速数据预处理模块（200）输出的当帧原始图像中对角点周围
邻域阈值比较，邻域最小值比阈值大则认为该像素为运动像素，比较完成后输出运动像素图像至运动目标特征提取逻辑单元（407）；所述拉普拉斯边缘检测逻辑单元（405）与核心控制模块（800）、高速数据预处理模块（200）和连通域标记逻辑单元（406）相连，对前1帧原始图像的目标边缘进行拉普拉斯检测分割，分割的阈值由核心控制模块（800）输入，并将分割后的目标二值图像送入连通域标记逻辑单元（406）中进行联通域标记，输出连通域标记后的目标图像至运动目标特征提取逻辑单元（407）；所述运动目标特征提取逻辑单元（407）与多目标相似度关联预测模块（500）相连，将图像邻域阈值比较逻辑单元（404）输出的运动目标图像和连通域标记逻辑单元（406）输出的目标图像进行逐像素对比，连通域标记逻辑单元（406）输出的目标图像的连通域的中具有图像邻域阈值比较逻辑单元（404）输出的运动像素图像则认为该目标为运动目标，并统计运动目标特征，输出至多目标相似度关联预测模块（500），运动目标特征包括目标的质心坐标和包围框。6.根据权利要求5所述的一种面向运动背景的运动小目标实时检测跟踪装置，其特征在于，所述多目标相似度关联预测模块（500）包括目标特征缓存逻辑单元（501）、运动目标邻域搜索逻辑单元（502）、目标相似度计算逻辑单元（503）、跟踪目标编号分配逻辑单元（504）和跟踪目标位置预测逻辑单元（505）；所述目标特征缓存逻辑单元（501）与运动小目标检测模块（400）及运动目标邻域搜索逻辑单元（502）相连，对前1帧的目标特征进行缓存，输出前2帧目标特征至运动目标邻域搜索逻辑单元（502），缓存的方式与角点特征帧缓存逻辑单元（303）的缓存方式相同，以运动目标特征中的质心的行列位置作为存储位置，运动目标特征包括运动小目标检测模块（400）输出的目标质心坐标和包围框，还包括待分配的目标编号、目标跟踪持续帧数、目标运动速度、目标运动方向和预测目标质心位置；所述运动目标邻域搜索逻辑单元（502）与核心控制模块（800）、运动小目标检测模块（400）和目标相似度计算逻辑单元（503）相连，根据运动小目标检测模块（400）输出的运动目标特征的质心位置，从目标特征缓存逻辑单元（501）前2帧目标特征的邻域中查找是否具有运动目标，将查找到的前2帧邻域目标特征送入目标相似度计算逻辑单元（503）计算目标相似度，核心控制模块（800）可以控制邻域搜索范围；所述目标相似度计算逻辑单元（503）根据运动目标邻域搜索逻辑单元（502）的运动目标特征和...

【专利技术属性】
技术研发人员：于靖一，窦润江，刘力源，王秀宇，徐江涛，吴南健，
申请(专利权)人：天津大学，
类型：发明
国别省市：