一种运动目标实时检测方法及系统技术方案

本发明专利技术涉及一种运动目标实时检测方法及系统，属于图像处理技术领域。本发明专利技术首先将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；然后对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；再对得到的变换矩阵进行帧间差分，确定候选运动目标；最后根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。本发明专利技术采用多帧差分以及抗光照变化的互相关块匹配得到运动目标相机透视变换矩阵以及运动目标初始轮廓，通过小目标融合方法得到最终的检测结果，检测结果准确、可靠，克服了光照变化较大导致检测结果不准确的问题。

【技术实现步骤摘要】
一种运动目标实时检测方法及系统
本专利技术涉及一种运动目标实时检测方法及系统，属于图像处理

技术介绍
光电吊舱运动目标检测是指飞行器在飞行过程中对所拍摄的地面场景中的运动目标进行检测与跟踪。航拍视频中运动目标的检测与跟踪技术在军事上和民用上已经得到了广泛的应用，起到了较大的使用价值，其检测与跟踪方法只要包括三个部分，准确地检测出目标、有效地提取目标以及准确实时地跟踪目标。目标检测与跟踪方法比较经典的算法包括：基于背景运动补偿的运动目标检测方法、帧差法、光流法等。例如申请号为201710073834.9的专利申请文件，该文件公开了一种基于红外图像的动平台运动目标检测方法及系统，该方法通过提取红外序列图像的SURF特征点，对特征点进行匹配，计算放射矩阵，获得配准图像；之后采用线性回归修正配准图像的像素灰度值，进行帧间差分，获得可疑运动目标二值图像；再进行形态学滤波，对可疑目标边缘像素利用区域提速统计直方图校正，得到当前帧检测结果。上述目标检测与跟踪方法，检测出的运动目标可能存在背景噪声的干扰，尤其在背景光照变化较大，运动目标速度较慢，航拍相机姿态变化较大的情况下，检测的结果不是很理想，而且算法在嵌入式上的实现往往达不到实时处理的要求，从而限制了很多算法在光电吊舱这一类设备中的应用。
技术实现思路
本专利技术的目的是提供一种运动目标实时检测方法，以解决目前运动目标实时检测过程存在背景干扰大，检测结果不准确的问题；本专利技术还提供了一种运动目标实时检测系统。本专利技术为解决上述技术问题而提供一种运动目标实时检测方法，包括以下方案，方法方案一：该方法包括以下步骤：1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。本专利技术采用多帧差分以及抗光照变化的归一化互相关块匹配方法得到光电吊舱相机透视变换矩阵以及运动目标初始轮廓，通过小目标融合方法得到最终的检测结果。本专利技术克服了在背景光照变化较大，运动目标速度较慢，航拍相机姿态变化较大的情况下，检测结果不理想的问题，能够快速准确的实现对运动目标的检测。方法方案二：在方法方案一的基础上，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：其中，∑∑表示表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。方法方案三：在方法方案二的基础上，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。方法方案四、五、六：分别在方法方案一、二、三的基础上，所述步骤4)的融合过程为：判断两个候选目标之间距离是否小于设定阈值Tdistance、速度差是否小于设定速度、且运动方向一致；若均满足，将上述两个候选目标进行融合；判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。方法方案七、八、九：分别在方法方案四、五、六的基础上，融合后的目标框为两个目标的外接矩形。方法方案十、十一、十二：分别在方法方案四、五、六的基础上，当融合失败后，两个候选目标均保持原始状态。本专利技术还提供了一种运动目标实时检测系统，包括以下方案，系统方案一：该检测系统包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。系统方案二：在系统方案一的基础上，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：其中，∑∑表示表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。系统方案三：在系统方案一的基础上，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。系统方案四、五、六：在系统方案一、二、三的基础上，所述步骤4)的融合过程为：判断两个候选目标之间距离是否小于设定阈值Tdistance、速度差是否小于设定速度、且运动方向一致；若均满足，将上述两个候选目标进行融合；判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。系统方案七、八、九：分别在系统方案四、五、六的基础上，融合后的目标框为两个目标的外接矩形。系统方案十、十一、十二：分别在系统方案四、五、六的基础上，当融合失败后，两个候选目标均保持原始状态。系统方案十三、十四、十五：在系统方案四、五、六的基础上，所述的处理器为FPGA。本专利技术采用FPGA实现对块匹配以及RANSAC方法中可以并行加速的部分采用逻辑加速模块进行加速，从而提高运动目标的检测效率。附图说明图1是本专利技术运动目标检测方法的流程图；图2是本专利技术所采用的小目标融合流程图；图3是本专利技术所采用的图像配准流程图；图4是本专利技术运动目标检测系统架构图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步的说明。本专利技术针对现有检测方法在背景光照变化较大、运动目标速度较慢、航拍相机姿态变化较大的情况下，检测结果不够准确的问题提出了一种运动目标实时检测方法，该方法通过采用多帧差分以及抗光照变化的归一化互相关块匹配得到相机透视变换矩阵和运动目标初始轮廓，通过小目标融合方法得到最终的检测结果。下面以光电吊舱运动目标为例对本专利技术检测方法的具体实现过程进行详细说明，该方法的流程如图1所示，具体步骤如下。1.对输入图像采用归一化互相关块匹配方法计算匹配点坐标。由于光电吊舱自身的位置以及姿态变化，导致帧间图像出现透视变换以及光照变化，因此采用归一化互相关块匹配方法对前后多帧图像进行块匹配，得到匹配的坐标点对。具体而言，将输入的图像与前一帧图像相邻的局部区域做归一化互相关块匹配，匹配模板的大小可以根据系统的实际情况进行调试，增大搜索区域有利于吊舱在位置和姿态变化剧烈时保持好的匹配效果。本专利技术采用31×31匹配模板，局部搜索区域为21×21如图3所示，最终得到匹配坐标点对，归一化互相关测度可以定义如下形式：其中，∑∑表示表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值，常用的滤波方式还有SAD(Sumofabsolutondifferences)方法等。2.确定图像透视变换矩阵。采用RANSAC方法对块匹配得到的坐标点进行帧间运动信息估计，确定图像透视变换矩阵，同时可采用软硬件结合的方式进行加速。3.确定运动目标轮廓信息。根据步骤2得到的图像透视变换矩阵对光电吊舱图像进行透视变换，通过帧间差分方法得到运动目标的轮本文档来自技高网...

【技术保护点】
1.一种运动目标实时检测方法，其特征在于，该检测方法包括以下步骤：1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。

【技术特征摘要】
1.一种运动目标实时检测方法，其特征在于，该检测方法包括以下步骤：1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。2.根据权利要求1所述的运动目标实时检测方法，其特征在于，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：其中，∑∑表示表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。3.根据权利要求1所述的运动目标实时检测方法，其特征在于，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。4.根据权利要求1-3中任一项所述的运动目标实时检测方法，其特征在于，所述步骤4)的融合过程为：判断两个候选目标之间距离是否小于设定阈值Tdistance、速度差是否小于设定速度、且运动方向一致；若均满足，将上述两个候选目标进行融合；判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。5.根据权利要求4所述的运动目标实时检测方法，其特征在于，当融合失败后，两个候选目标均保持原始状态。6.一种运动目标实时检测系统，其特征在于，该检测系统包括存储...

【专利技术属性】
技术研发人员：陈水忠，董博宇，陈腾，
申请(专利权)人：中国航空工业集团公司洛阳电光设备研究所，
类型：发明
国别省市：河南,41