动态背景环境下雷达与视觉融合的目标检测与跟踪方法技术

本发明专利技术公开一种动态背景环境下雷达与视觉融合的目标检测与跟踪方法，该方法步骤包括：1)预先固定布置雷达以及图像采集装置，通过图像采集装置按照不同焦距、不同角度采集背景图像并建立背景图像库；2)当雷达探测到目标时，控制调整图像采集装置采集当前图像；3)查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；4)对前景图进行目标检测与跟踪。本发明专利技术能够适用于背景环境复杂、目标移动速度快、图像变焦等情况实现目标检测与跟踪，且具有实现方法简单、所需成本低、环境适应性强、检测与跟踪效果好的优点。

【技术实现步骤摘要】

本专利技术涉及动态目标检测与跟踪
，尤其涉及一种动态背景环境下雷达与视觉融合的目标检测与跟踪方法。
技术介绍
动态目标检测与跟踪通常分为静态背景环境和动态背景环境两类条件，其中针对动态背景环境条件，绝大多数都是单独利用视频功能对图像内容进行分析，分析方法主要有光流法、均值漂移、粒子滤波、卡尔曼滤波、TLD等。如中国专利申请201310059457.5公开一种基于视觉的无人机动态目标跟踪与定位方法，视频处理方法即是对图像中的动态目标进行检测与跟踪，检测部分采用的基础方法是帧差法，跟踪部分采用的方法是基于偏移的均值向量跟踪和卡尔曼先验预估的算法连续跟踪；但该方法是针对无人机应用的环境，即适用于摄像机云台转速较慢或者动态目标移动速度较慢，且背景较为简单、目标的尺寸与视场角固定的条件，不适用于云台转速较快或者焦距会发生改变、背景环境较为复杂等情况，因而具有局限性，且环境适应性较差。即目前动态背景环境下的行人目标检测与跟踪方法，具体存在以下问题：(1)单独利用视频功能对图像内容进行分析，使得实现的方法设计复杂、难度较高，同时环境适应性较差，容易受外部光照环境或者复杂背景环境的干扰，如当运动的目标与其周围的背景相似时，跟踪精度即会下降，甚至会完全失效，无法正确区分出目标；(2)对移动速度较慢的物体跟踪效果较好，当应用于移动速度较快的目标进行检测与跟踪时，移动速度较快的目标会导致相邻两帧的特征点匹配度较小，无法计算出当前图像的全局运动矢量，即无法通过相邻帧差减法提取前景区域，容易出现跟丢的现象；(3)目前通常都是在固定焦距的视场条件下完成目标检测与跟踪，一旦应用于图像传感器焦距可变的情况时，变焦过程也会导致相邻帧之间的特征点匹配度较小，较难计算出当前图像的全局运动矢量，容易丢失目标的关键特征，另外要获得比较好的效果，需要处理性能较高的硬件系统，且图像在变焦过程中还会发生剧烈形变，因而目前在变焦过程通常无法进行目标的检测和跟踪；(4)需要借助热成像设备等对图像信息进行分析，热成像设备昂贵，使得检测、跟踪成本较高。
技术实现思路
本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种能够适用于背景环境复杂、目标移动速度快、图像变焦等情况实现目标检测与跟踪，且实现方法简单、所需成本低、环境适应性强、检测与跟踪效果好的动态背景环境下雷达与视觉融合的目标检测与跟踪方法。为解决上述技术问题，本专利技术提出的技术方案为：一种动态背景环境下雷达与视觉融合的目标检测与跟踪方法，步骤包括：1)预先在待监测区域内固定布置雷达以及图像采集装置，并通过所述图像采集装置以不同焦距、不同角度采集背景图像并建立背景图像库；2)启动雷达实时探测目标，当探测到目标时，根据雷达的探测信息控制所述图像采集装置调整焦距、角度进行图像采集，得到当前图像；3)从所述背景图像库中查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；4)对提取得到的所述前景图进行目标检测与跟踪。作为本专利技术方法的进一步改进，所述步骤3)中查找与当前图像匹配的背景图像的具体步骤为：3.11)根据所述图像采集装置的当前焦距、角度从所述背景图像库中获取当前图像可能的背景图像；3.12)分别计算所述步骤3.11)获取到的各背景图像与当前图像的特征点，根据计算到的特征点获取各所述背景图像与当前图像的匹配值，并将最大匹配值所对应的背景图像作为与当前图像匹配的背景图像输出。作为本专利技术方法的进一步改进，所述步骤3.11)的具体步骤为：根据所述图像采集装置的当前焦距、角度，以及预先基于焦距、角度信息生成的对应所述背景图像库中各背景图像的索引表，定位到所述背景图像库中目标位置，获取所述目标位置处指定范围内背景图像作为当前图像可能的背景图像输出。作为本专利技术方法的进一步改进，所述步骤3)中提取当前图像所对应的前景图的具体步骤为：3.21)将当前图像与查找到的背景图像进行特征匹配，并估计当前图像的全局运动矢量，得到当前图像与背景图像之间的局部重叠区域；3.22)根据所述局部重叠区域将当前图像按照指定阈值生成二值图像，提取得到当前图像对应的初始前景图；3.23)由固定尺寸的滑动窗口对所述初始前景图中每一个连通域进行滑动操作，滑动操作后得到的前景图再经过放大调整后得到最终的前景图。作为本专利技术方法的进一步改进，所述步骤3.22)的具体步骤为：3.221)根据所述局部重叠区域通过帧间差分法计算当前图像与背景图像的重叠区域；3.222)将当前图像中所述重叠区域基于最大类间方差阈值法生成二值图像，对所述二值图像去除干扰噪声点，并对剩余的连通区域进行轮廊填充操作，将当前图像中非重叠区域设定为背景，得到初始前景图。作为本专利技术方法的进一步改进，所述步骤3.23)中放大调整的具体步骤为：计算待调整前景图的最小外接矩形的中心位置，以所述中心位置为中点取指定大小的区域作为调整后的前景图；所述步骤3.23)中滑动操作具体为根据所述滑动窗口内相邻连通域之间位置间距执行合并操作，以及根据各连通域的面积大小执行删除操作。作为本专利技术方法的进一步改进，其特征在于，所述步骤4)中目标检测的具体步骤为：4.11)循环遍历所述前景图中每一个连通域所对应的有效连通域，每次遍历时，获取一个有效连通域作为当前检测区域，转入执行步骤4.12)；4.12)对当前检测区域进行多尺度缩放，转入执行步骤4.13)；4.13)通过固定尺寸的检测窗口在当前检测区域上滑动，并分别计算所述检测窗口内的两类以上指定的特征量；4.14)分别对计算到的各所述特征量进行分类识别，并综合各分类识别结果确定是否检测到目标，如果是，退出目标检测，输出当前目标区域矩形并作为检测到的目标位置；否则存储当前目标区域矩形，转入执行步骤4.15)；4.15)判断是否达到图像最后一层，如果是，则合并重叠的目标区域矩形，得到最终的目标区域矩形输出并作为检测到的目标位置，否则取下一个有效连通域作为当前检测区域，返回执行步骤4.12)。作为本专利技术方法的进一步改进：所述特征量包括HOG特征量、MBLBP特征与PHOG特征的混合特征量；所述分类识别具体基于SVM分类器实现。作为本专利技术方法的进一步改进，所述步骤4)中目标跟踪的具体步骤为：4.21)以检测到的目标位置作为初始观测值，并作为当前观测值，转入执行步骤4.22)；4.22)通过Kalman滤波器按照当前观测值预估目标的下一个时刻位置；4.23)以预估得到的下一个时刻位置为中心的指定范围内矩形区域作为检测区域，对检测区域进行目标检测，若检测到目标，则由检测到的目标位置更新卡尔曼滤波器的观测值，返回执行步骤4.22)；否则保持当前观测值不变，返回步骤4.22)；直至退出跟踪。与现有技术相比，本专利技术的优点在于：1)本专利技术通过雷达实时提供目标探测信息，结合由图像采集装置预先以不同焦距、不同角度采集背景图像建立的背景图像库，可控制及时采集目标的当前图像并获取对应的背景图像，基于背景图像提取当前图像所对应的前景图，能够融合雷达与视觉信息实现动态目标的快速粗提取，实现方法简单，相较于需要使用热成像等设备所需成本低，且基于背景图像库，对于背景环境复杂、运动目标速度较快以及在图像变焦过程中，均能够实现动态背景条件下本文档来自技高网...

【技术保护点】
动态背景环境下雷达与视觉融合的目标检测与跟踪方法，其特征在于步骤包括：1)预先在待监测区域内固定布置雷达以及图像采集装置，并通过所述图像采集装置以不同焦距、不同角度采集背景图像并建立背景图像库；2)启动雷达实时探测目标，当探测到目标时，根据雷达的探测信息控制所述图像采集装置调整焦距、角度进行图像采集，得到当前图像；3)从所述背景图像库中查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；4)对提取得到的所述前景图进行目标检测与跟踪。

【技术特征摘要】
1.动态背景环境下雷达与视觉融合的目标检测与跟踪方法，其特征在于步骤包括：1)预先在待监测区域内固定布置雷达以及图像采集装置，并通过所述图像采集装置以不同焦距、不同角度采集背景图像并建立背景图像库；2)启动雷达实时探测目标，当探测到目标时，根据雷达的探测信息控制所述图像采集装置调整焦距、角度进行图像采集，得到当前图像；3)从所述背景图像库中查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；4)对提取得到的所述前景图进行目标检测与跟踪。2.根据权利要求1所述的动态背景环境下雷达与视觉融合的目标检测与跟踪方法，其特征在于，所述步骤3)中查找与当前图像匹配的背景图像的具体步骤为：3.11)根据所述图像采集装置的当前焦距、角度从所述背景图像库中获取当前图像可能的背景图像；3.12)分别计算所述步骤3.11)获取到的各背景图像与当前图像的特征点，根据计算到的特征点获取各所述背景图像与当前图像的匹配值，并将最大匹配值所对应的背景图像作为与当前图像匹配的背景图像输出。3.根据权利要求2所述的动态背景环境下雷达与视觉融合的目标检测与跟踪方法，其特征在于，所述步骤3.11)的具体步骤为：根据所述图像采集装置的当前焦距、角度，以及预先基于焦距、角度信息生成的对应所述背景图像库中各背景图像的索引表，定位到所述背景图像库中目标位置，获取所述目标位置处指定范围内背景图像作为当前图像可能的背景图像输出。4.根据权利要求3所述的动态背景环境下雷达与视觉融合的目标检测与跟踪方法，其特征在于，所述步骤3)中提取当前图像所对应的前景图的具体步骤为：3.21)将当前图像与查找到的背景图像进行特征匹配，并估计当前图像的全局运动矢量，得到当前图像与背景图像之间的局部重叠区域；3.22)根据所述局部重叠区域将当前图像按照指定阈值生成二值图像，提取得到当前图像对应的初始前景图；3.23)由固定尺寸的滑动窗口对所述初始前景图中每一个连通域进行滑动操作，滑动操作后得到的前景图再经过放大调整后得到最终的前景图。5.根据权利要求4所述的动态背景环境下雷达与视觉融合的目标检测与跟踪方法，其特征在于，所述步骤3.22)的具体步骤为：3.221)根据所述局部重叠区域通过帧间差分法计算当前图像与背景图像的重叠区域；3.222)将当前图像中所述重叠区域基于最大类间方差阈值法生成二值图像，对所述二值图像去除干扰噪声点，并对剩...

【专利技术属性】
技术研发人员：谭智仁，
申请(专利权)人：湖南华诺星空电子技术有限公司，
类型：发明
国别省市：湖南;43