一种基于自适应组合滤波与多级检测的目标探测系统及方法技术方案

本发明专利技术涉及一种基于自适应组合滤波与多级检测的目标探测方法及系统，包括结合运动目标检测单元与显著目标检测单元的目标检测模块、基于卷积神经网络的目标识别模块、基于组合决策与多通道图像特征的目标跟踪模块；目标检测模块、目标识别模块与目标跟踪模块紧密配合，共同组成稳定可靠的目标探测系统。系统输出为检测出的候选目标位置信息、目标类别信息和目标跟踪得到的选定目标的位置信息。目标探测系统在高性能多核DSP芯片上实现，并针对多核DSP芯片进行了针对性的优化，实现了实时目标检测与目标跟踪，以及快速的目标识别功能。本发明专利技术实用性强、可行性高，能够方便的集成到各类有目标探测需求的解决方案中，实现智能的目标检出、识别与跟踪。

【技术实现步骤摘要】
一种基于自适应组合滤波与多级检测的目标探测系统及方法
本专利技术涉及模式识别与机器学习领域，具体涉及的是一种基于自适应组合滤波与多级检测的目标探测系统及方法。
技术介绍
人类在利用视觉对场景进行观察时，首先会从场景中找到一些感兴趣的目标，然后感知判断出其类别，之后会对最感兴趣的目标进行持续观察。在模式识别与机器学习领域，为模仿人类行为实现计算机视觉，这些任务被抽象成目标检测、目标识别与目标跟踪。目标检测是目标探测的第一步工作，即从场景中检测出需要进一步处理的目标，常用的目标检测方法有帧间差分、背景建模以及基于深度神经网络的方法。其中帧间差分法与背景建模法运算效率高，但模型过于简单，只能够处理背景固定不变的场景，且误检漏检率较高。基于深度神经网络的方法检测准确度高，但模型又过于复杂，难以在计算能力有限的硬件平台上实时实现。目标检测完毕后，对检测出的目标进行分类和识别，可以得到目标更高层的类别信息。传统的目标识别方法通过提取一些手工设计的图像特征，如人脸识别采用常哈尔特征，行人检测常采用梯度统计直方图特征。提取特征后，训练一个分类模型，如支撑向量机分类模型、逻辑回归分类模型。传统浅层方法通常识别率较低，不能满足实际工程需求。近年来，学者们提出了许多基于深度神经网络的目标识别方法，准确度高，能够识别特定类别的目标，在许多场景中已经有一些应用，但他们同样有模型复杂度高，运行依赖高性能硬件等缺点。目标探测的最后一步，是对选定的某一目标进行持续跟踪，使其始终处于视场的中心位置。最初一些基于运动预测与概率估计的方法被应用于目标跟踪，如基于卡尔曼滤波预测的目标跟踪，基于粒子滤波的目标跟踪。此类方法因其计算量小、易于实现等优点，在视频分辨率较低的时代被广泛的应用，但基于预测与估计的方法启发性较小，跟踪稳定性和精确度较低。随着图像采集技术的进步，现在视频图像的分辨率越来越高，图像能够很好的体现目标的轮廓、纹理等细节，学者们开始提出一些基于图像特征的目标跟踪方法，包括基于具有尺度旋转不变性的关键点特征的方法，基于颜色特征的方法，与基于梯度统计直方图的方法。这些特征有各自的优点和缺点。具有尺度旋转不变性的特征能够精细的表示图像中的局部区域，但是图像中其它区域包含的信息没有被很好的利用起来。梯度统计直方图采用密集表示，能够准确提取图像的梯度细节信息，但不能很好的分辨具有相似纹理的图像。颜色特征能够区分不同颜色的图像，而不能很好的表示图像的形状信息。上述特征的表示形式差别较大，现有方法中只能同时用到其中的一到两种特征，且特征并非有机结合，使得算法不能发挥综合特征的最大性能，得出的目标跟踪方法稳定性不够高，目标跟踪结果不够准确。且目标跟踪中存在着许多具有挑战的场景，现有的通过单一跟踪器进行目标跟踪的方法在运行过程中容易发生跟踪失败。
技术实现思路
本专利技术的技术解决问题：克服现有技术的不足，提供一种基于自适应组合滤波与多级检测的目标探测系统及方法，系统在高性能多核DSP芯片上实现，能够方便的集成到各种目标探测解决方案中，提供实时目标检测、目标跟踪与快速目标识别功能。本专利技术所采用的技术解决方案是：一种基于自适应组合滤波与多级检测的目标探测系统，包括目标检测模块、目标识别模块、目标跟踪模块；系统输入为图像数据和控制指令，图像数据和控制指令同时输入各个模块；所述目标检测模块有两个功能，首先是根据输入的图像数据以及控制指令，检测图像中存在的目标，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的精确目标位置信息，在图像中局部区域进行更精确的目标检测，检出候选目标，协助目标跟踪模块完成选定目标的重新找回；所述目标检测模块包括：运动目标检测单元与显著目标检测单元；运动目标检测单元通过光流法对相邻帧间图像中背景运动进行估计和配准，检测出图像中的运动目标；运动目标检测单元只能检出图像中的运动目标，显著目标检测单元能够检出图像中静止的显著目标；显著目标检测单元采用一组自适应的滤波器，首先将图像数据变倍到特定尺寸，转换为浮点图像数据，然后使用组合滤波器滤除背景区域的波段，留下显著目标的波段，然后对结果进行分割和形态学处理，之后进行筛选，然后检测出图像中静止的显著目标；最终目标检测模块将上述运动目标检测单元与显著目标检测单元得到的目标检测结果进行合并，降低误检、漏检率，得到最终目标检测结果即目标位置信息，输出至目标识别模块；所述目标识别模块有两个功能，首先是根据输入的图像数据以及目标检测模块输出的目标位置信息，分类判别图像中检出的目标的类别，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的目标类别信息，判断目标检测模块检出的候选目标类别是否与选定目标类别一致，协助目标跟踪模块完成选定目标的重新找回；所述目标识别模块采用基于卷积神经网络的多类目标识别算法，首先使用通用数据集并采集待识别的特定目标的数据集，按照类别进行标注，将数据集分为训练集、验证集和测试集，然后构建目标识别卷积神经网络模型，对神经网络进行训练，直到模型识别准确率满足工程需要为止，训练好的模型能够实现多个类别的特定目标的识别；目标识别模块接收来自外部的图像数据、控制指令与目标检测模块输出的目标检测结果，利用卷积神经网络对目标检测模块检测出的目标进行分类识别，输出目标的类别信息和从目标检测模块得到的目标位置信息至目标跟踪模块；所述目标跟踪模块包括：多通道目标跟踪单元与组合决策单元；多通道目标跟踪单元的输入是图像数据、目标检测模块的检测结果，目标识别模块的识别结果，以及选定要跟踪的目标的控制指令；接收到开始跟踪选定目标的指令后，多通道目标跟踪单元使用初始帧的图像数据，以及初始帧中选定目标的位置，构建三个基于多通道图像特征的目标跟踪算法的基本跟踪器，每个基本跟踪器采用不同的参数进行设置，以分别应对不同的场景达到最佳目标跟踪效果，三个基本跟踪器同时发生跟踪失败的概率极低；基本跟踪器中采用HOG特征、CN特征和角点特征3个通道加权融合构建目标特征模型，每种特征通过傅里叶变换转换到频域计算相关度，将卷积运算转化为点乘运算，从而减小计算量，加快计算速度；采用最大峰值比(MPR)判断目标特征模型权值系数是否需要更新，利用在线学习，选用固定学习因子对权值系数进行更新，完成目标模型更新过程；组合决策单元的输入为多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结果，组合决策单元根据每个目标跟踪结果的累积损失函数，进行判断，选择其中的最优结果，作为最终目标跟踪结果输出；同时，利用最优结果来更新得出最优结果的跟踪器，并对其他两个跟踪器进行校正，以保持稳定可靠的目标跟踪；同时目标跟踪模块会将选定目标的精确位置信息和类别信息反馈至目标检测模块与目标识别模块，以便在发生跟踪失败时，目标检测单元与目标识别单元协助目标跟踪单元，完成选定目标重新找回的工作，找回选定目标后，继续对其进行稳定跟踪。所述目标探测方法的运行步骤如下：(1)图像数据和控制指令首先输入目标检测模块，目标检测模块中的运动目标检测单元和显著目标检测单元分别在图像中进行目标检测，得到一组检测结果，之后目标检测模块对运动目标检测单元和显著目标检测单元得出的结果进行合并聚类，得出最终目标检测结果，即检出的目标位置信息，输出至目标识别模块。本文档来自技高网...

【技术保护点】
一种基于自适应组合滤波与多级检测的目标探测系统，其特征在于：包括目标检测模块、目标识别模块、目标跟踪模块；输入为图像数据和控制指令，图像数据和控制指令同时输入各个模块；所述目标检测模块有两个功能，首先是根据输入的图像数据以及控制指令，检测图像中存在的目标，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的精确目标位置信息，在图像中局部区域进行更精确的目标检测，检出候选目标，协助目标跟踪模块完成选定目标的重新找回；所述目标检测模块包括：运动目标检测单元与显著目标检测单元；运动目标检测单元通过光流法对相邻帧间图像中背景运动进行估计和配准，检测出图像中的运动目标；运动目标检测单元只能检出图像中的运动目标，显著目标检测单元能够检出图像中静止的显著目标；显著目标检测单元采用一组自适应的滤波器，首先将图像数据变倍到特定尺寸，转换为浮点图像数据，然后使用组合滤波器滤除背景区域的波段，留下显著目标的波段，然后对结果进行分割和形态学处理，之后进行筛选，检测出图像中静止的显著目标；最终目标检测模块将上述运动目标检测单元与显著目标检测单元得到的目标检测结果进行合并，降低误检、漏检率，得到最终目标检测结果即目标位置信息，输出至目标识别模块；所述目标识别模块有两个功能，首先是根据输入的图像数据以及目标检测模块输出的目标位置信息，分类判别图像中检出的目标的类别，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的目标类别信息，判断目标检测模块检出的候选目标类别是否与选定目标类别一致，协助目标跟踪模块完成选定目标的重新找回；所述目标识别模块采用基于卷积神经网络的多类目标识别算法，首先使用通用数据集并采集待识别的特定目标的数据集，按照类别进行标注，将数据集分为训练集、验证集和测试集，然后构建目标识别卷积神经网络模型，对神经网络进行训练，直到模型识别准确率满足工程需要为止，训练好的模型能够实现多个类别的特定目标的识别；目标识别模块接收来自外部的图像数据、控制指令与目标检测模块输出的目标检测结果，利用卷积神经网络对目标检测模块检测出的目标进行分类识别，输出目标的类别信息和从目标检测模块得到的目标位置信息至目标跟踪模块；所述目标跟踪模块包括：多通道目标跟踪单元与组合决策单元；多通道目标跟踪单元的输入是图像数据、目标检测模块的检测结果，目标识别模块的识别结果，以及选定要跟踪的目标的控制指令；接收到开始跟踪选定目标的指令后，多通道目标跟踪单元使用初始帧的图像数据，以及初始帧中选定目标的位置，构建三个基于多通道图像特征的目标跟踪算法的基本跟踪器，每个基本跟踪器采用不同的参数进行设置，以分别应对不同的场景达到最佳目标跟踪效果，三个基本跟踪器同时发生跟踪失败的概率极低；基本跟踪器中采用HOG特征、CN特征和角点特征3个通道加权融合构建目标特征模型，每种特征通过傅里叶变换转换到频域计算相关度，将卷积运算转化为点乘运算，从而减小计算量，加快计算速度；采用最大峰值比(MPR)判断目标特征模型权值系数是否需要更新，利用在线学习，选用固定学习因子对权值系数进行更新，完成目标模型更新过程；组合决策单元的输入为多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结果，组合决策单元根据每个目标跟踪结果的累积损失函数，进行判断，选择其中的最优结果，作为最终目标跟踪结果输出；同时，利用最优结果来更新得出最优结果的跟踪器，并对其他两个跟踪器进行校正，以保持稳定可靠的目标跟踪；同时目标跟踪模块会将选定目标的精确位置信息和类别信息反馈至目标检测模块与目标识别模块，以便在发生跟踪失败时，目标检测单元与目标识别单元协助目标跟踪单元，完成选定目标重新找回的工作，找回选定目标后，继续对其进行稳定跟踪。...

【技术特征摘要】
1.一种基于自适应组合滤波与多级检测的目标探测系统，其特征在于：包括目标检测模块、目标识别模块、目标跟踪模块；输入为图像数据和控制指令，图像数据和控制指令同时输入各个模块；所述目标检测模块有两个功能，首先是根据输入的图像数据以及控制指令，检测图像中存在的目标，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的精确目标位置信息，在图像中局部区域进行更精确的目标检测，检出候选目标，协助目标跟踪模块完成选定目标的重新找回；所述目标检测模块包括：运动目标检测单元与显著目标检测单元；运动目标检测单元通过光流法对相邻帧间图像中背景运动进行估计和配准，检测出图像中的运动目标；运动目标检测单元只能检出图像中的运动目标，显著目标检测单元能够检出图像中静止的显著目标；显著目标检测单元采用一组自适应的滤波器，首先将图像数据变倍到特定尺寸，转换为浮点图像数据，然后使用组合滤波器滤除背景区域的波段，留下显著目标的波段，然后对结果进行分割和形态学处理，之后进行筛选，检测出图像中静止的显著目标；最终目标检测模块将上述运动目标检测单元与显著目标检测单元得到的目标检测结果进行合并，降低误检、漏检率，得到最终目标检测结果即目标位置信息，输出至目标识别模块；所述目标识别模块有两个功能，首先是根据输入的图像数据以及目标检测模块输出的目标位置信息，分类判别图像中检出的目标的类别，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的目标类别信息，判断目标检测模块检出的候选目标类别是否与选定目标类别一致，协助目标跟踪模块完成选定目标的重新找回；所述目标识别模块采用基于卷积神经网络的多类目标识别算法，首先使用通用数据集并采集待识别的特定目标的数据集，按照类别进行标注，将数据集分为训练集、验证集和测试集，然后构建目标识别卷积神经网络模型，对神经网络进行训练，直到模型识别准确率满足工程需要为止，训练好的模型能够实现多个类别的特定目标的识别；目标识别模块接收来自外部的图像数据、控制指令与目标检测模块输出的目标检测结果，利用卷积神经网络对目标检测模块检测出的目标进行分类识别，输出目标的类别信息和从目标检测模块得到的目标位置信息至目标跟踪模块；所述目标跟踪模块包括：多通道目标跟踪单元与组合决策单元；多通道目标跟踪单元的输入是图像数据、目标检测模块的检测结果，目标识别模块的识别结果，以及选定要跟踪的目标的控制指令；接收到开始跟踪选定目标的指令后，多通道目标跟踪单元使用初始帧的图像数据，以及初始帧中选定目标的位置，构建三个基于多通道图像特征的目标跟踪算法的基本跟踪器，每个基本跟踪器采用不同的参数进行设置，以分别应对不同的场景达到最佳目标跟踪效果，三个基本跟踪器同时发生跟踪失败的概率极低；基本跟踪器中采用HOG特征、CN特征和角点特征3个通道加权融合构建目标特征模型，每种特征通过傅里叶变换转换到频域计算相关度，将卷积运算转化为点乘运算，从而减小计算量，加快计算速度；采用最大峰值比(MPR)判断目标特征模型权值系数是否需要更新，利用在线学习，选用固定学习因子对权值系数进行更新，完成目标模型更新过程；组合决策单元的输入为多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结果，组合决策单元根据每个目标跟踪结果的累积损失函数，进行判断，选择其中的最优结果，作为最终目标跟踪结果输出；同时，利用最优结果来更新得出最优结果的跟踪器，并对其他两个跟踪器进行校正，以保持稳定可靠的目标跟踪；同时目标跟踪模块会将选定目标的精确位置信息和类别信息反馈至目标检测模块与目标识别模块，以便在发生跟踪失败时，目标检测单元与目标识别单元协助目标跟踪单元，完成选定目标重新找回的工作，找回选定目标后，继续对其进行稳定跟踪。2.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述目标检测模块中，运动目标检测单元基于光流法对相邻帧间图像中背景运动进行估计和配准，来检测图像中的运动目标，包括以下步骤：(1)对输入的相邻两帧图像进行预处理；(2)粗校准两帧图像，计算得到整体环境偏移分量；(3)计算所述两帧图像的光流场；(4)利用光流场减去整体环境偏移分量，得到光流场运动幅度；(5)利用设定阈值将光流场运动幅度阈值化，得到去除整体环境偏移分量的运动目标区域和非运动区域；(6)精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵；(7)利用透视变换矩阵将前一帧图像变换到后一帧图像的坐标系下；(8)对步骤(7)处理得到的两帧图像进行差分，对差分得到的结果进行阈值分割，并使用形态学运算滤除噪声，得到多个连续运动目标区域；(9)对多个连续运动目标区域聚类，得到区域的中心坐标；(10)将中心坐标之间距离小于设定阈值的连续运动目标区域合并输出，得到检测到的运动目标。3.根据权利要求2所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：在步骤(2)中，使用相位相关法粗校准所述两帧图像，得到整体的环境偏移分量，首先对两幅图像进行傅里叶变换，计算两幅图像傅里叶变换的互功率谱，然后计算互功率谱的傅里叶反变换，找到傅里叶反变换尖峰，得到两幅图像间粗匹配的结果，作为整体的环境偏移分量。4.根据权利要求2所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：在步骤(3)中，使用Farneback稠密光流算法计算所述两帧图像的光流场，或光流算法根据任务需要进行更换。5.根据权利要求2所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：在步骤(6)中精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵的实现过程为：首先对所述两帧图像进行改良自FAST算法的ORB特征点的提取，各个计算特征点的特征值，利用所述运动目标区域与非运动区域，滤除所述图像运动目标区域的特征点，保留所述图像非运动区域的特征点，对特征点的特征值使用欧氏距离进行特征匹配，选取欧式距离最小的点作为匹配点对，进而实现精匹配，ORB特征可根据需要更换为其他特征点检测算法；然后使用RANSAC算法筛选匹配点对，进而得到前一帧到后一帧背景部分的透视变换矩阵。6.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述目标检测模块中，显著目标检测单元利用自适应的组合滤波器对图像中的显著目标进行检测，包括以下步骤：(1)对原始图像进行预处理，将所述原始图像变倍到设定尺寸，并进行浮点转换，得到浮点图像；(2)对浮点图像使用IIR滤波器进行两级带通滤波；(3)对带通滤波结果进行分割，得到分割结果；(4)对所述分割结果进行形态学处理，剔除噪声影响点；(5)对形态学处理后的结果进行聚类，得到聚类结果；(6)对聚类结果依据目标先验知识进行筛选，在筛选处理中，依据已知的特性进行筛选，并得到最终的检测结果；(7)根据每一帧中检测出的显著目标的数量、尺寸、与图像的灰度分布信息，对滤波器参数进行自适应调整。7.根据权利要求6所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述步骤(2)中，使用两级数字IIR滤波器进行带通滤波，带通滤波器由两个低通滤波器差分得到，数字IIR低通滤波器由正反两次滤波操作构成，并分别对水平方向及竖直方向进行，低通滤波器的正向滤波递推公式如下：x′n＝(1-a)×x′n-1+a×xn式中xn是第n点像素灰度值，x′n是第n点的正向滤波结果，a为滤波参数；反向滤波递推公式如下：x″n＝(1-a)x″n+1+a×x′n构建两个自适应的带通滤波器，根据不同场景调整滤波参数，对浮点图像进行两级带通滤波，得到滤除背景频段信息，得到滤波结果。8.根据权利要求7所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：初始一级带通滤波参数a的值分别为0.6与0.2，初始二级带通滤波参数a的值分别为0.3与0.1，可根据实际应用场景进行自适应调整，学习率为0.01。9.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述目标识别模块中，基于卷积神经网络多类目标识别算法，包括以下步骤：(1)使用现有通用数据集，并采集想要识别的特定目标图像数据集作为补充，按照类别进行标注，并按照已标注的数据集分成训练集、验证集、测试集，最后处理成卷积神经网络模型能够识别的数据类型；(2)构建识别卷积神经网络模型，设置最大迭代次数、学习率、测试频率，选择...

【专利技术属性】
技术研发人员：张弘，王悦人，杨一帆，李伟鹏，袁丁，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11