基于高层场景信息的地面运动目标检测方法技术

本发明专利技术公开了一种基于高层场景信息的地面运动目标检测方法，用于解决现有多目标检测方法存在虚警的技术问题。技术方案是首先采用帧差法提取初步的检测结果；再计算每个点的光流矢量，将当前帧的目标与其光流矢量叠加后判断它下一帧中的位置，实现对目标的关联，去除了一部分虚警；最后利用场景的高层信息基本矩阵F判断运动点和背景点，去除了大量的虚警。

Ground moving target detection method based on high level scene information

The invention discloses a ground moving target detection method based on high level scene information, which is used for solving the technical problem of false alarm existing in the existing multi-target detection method. The technical scheme is firstly adopted frame detection results preliminary extraction method; then calculate the optical flow vector of each point, the target and the optical flow vector superposition of the current frame after it in the next frame position, realize the correlation of target, the removal of a part of the false alarm; finally F judgment movement points and background with high level the basic information matrix of the scene, a large number of removal of false alarm.

【技术实现步骤摘要】
基于高层场景信息的地面运动目标检测方法
本专利技术涉及一种多目标检测方法，特别是涉及一种基于高层场景信息的地面运动目标检测方法。
技术介绍
多目标检测是计算机视觉领域中一项具有挑战性的任务。传统的运动检测大多基于帧差实现。然而由于场景的实际的三维场景，帧差会有视差，引起大量虚警。文献“GoyalH.FrameDifferencingwithSimulinkmodelforMovingObjectDetection[J].InternationalJournalofAdvancedResearchinComputerEngineering&Technology,2013,2(1).”公开了一种多目标检测方法(帧间差分法)。该方法假设场景中背景是水平的，通过差分，高出地平面的部分会检测出来。由于该方法没有考虑到仿射变换中场景的三维结构导致的视差，因此伴有大量的虚警，对于实际的三维场景不适用且包含少量噪声。
技术实现思路
为了克服现有多目标检测方法存在虚警的不足，本专利技术提供一种基于高层场景信息的地面运动目标检测方法。该方法首先采用帧差法提取初步的检测结果；再计算每个点的光流矢量，将当前帧的目标与其光流矢量叠加后判断它下一帧中的位置，实现对目标的关联，去除了一部分虚警；最后利用场景的高层信息基本矩阵F判断运动点和背景点，去除了大量的虚警。本专利技术解决其技术问题所采用的技术方案是：一种基于高层场景信息的地面运动目标检测方法，其特点是包括以下步骤：步骤一、帧差。针对不同高度的场景，使用不同的图像配准算法。对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas-Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点。通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：式中，Cp和Cn是前一帧和下一帧的特征点的像素坐标，C'p和C'n是转换后前一帧和下一帧的像素坐标，Ak-1和Ak+1是2*3的仿射变换矩阵。前一帧和下一帧仿射变换的图像分别差分当前帧，得到初步检测结果，如下：Dk＝||Sk-S'k-1||∪||Sk-S'k+1||(2)式中，Dk表示差分后图像，S'k-1和S'k+1是当前帧和下一帧仿射变换后的结果，Sk是当前帧图像。最后对差分图像进行二值化，阈值设为40。步骤二、光流关联。光流估计：经典光流法主要基于亮度恒定、像素微小运动和空间一致性的假设。在连续视频中，假设物体对应的像素灰度值不因运动发生变化，故有：I(x,y,t)＝I(x+dx,y+dy,t+dt)(3)式中，x和y为横纵坐标，I为图像灰度值。上式泰勒展开有:Ixdx+Iydy+Itdt＝0(4)式中，IxIyIt分别表示对应方向的梯度。转换为向量形式如下：式中，u和v分别为对应方向上的光流大小。上式可表示为：Ad＝b(6)采用最小二乘法求解的最小值得到光流失量d，如下：d＝(ATA)-1ATb(7)预测关联：首先，假设每个点在第k-1帧的坐标是(xk-1,yk-1)，根据步骤一的光流估计策略，获得一个光流矢量V，则目标在下一帧的位置预测如下：式中，是预测坐标，(Vx,Vy)是光流运动矢量。其次，对初次帧差获得的所有目标，通过光流预测它在下一帧的位置。对每个目标而言，如果它有足够多的点与下一帧中的某个目标相匹配，则他们为同一目标，决策函数定义如下:式中，是二次帧差检测的目标，Sk是点的状态方程，接下来计算目标匹配的置信度：式中，α是属于目标的点的总数，两个目标关联概率为：αρ＝α/β(11)式中，β是目标内所有点的数量总和，接受两个目标关联的概率设为ε＝0.8，如果两个目标和互相关联，则它们之间的关联关系定义为:对每个目标，定义一个关联集合A＝{Am,...,An}，式中Am表示对每个关联集合而言，只有当目标的关联集合的数目大于设定阈值时，将它作为候选目标。步骤三、基于高层信息的运动检测。采用sobel算子提取图像的特征点，根据最短距离完成对图像特征点的匹配。x＝(x,y)和x'＝(x',y')是图像中一对匹配点，将其转换为单应向量X＝[x,y,1]和X'＝[x',y',1]T，它们满足：X'TFX＝0(13)式中，F是为3*3的基本矩阵。使用归一化8点算法通过求解线性方程组来得到基本矩阵F。在实际的计算过程中匹配的特征点不会严格满足上式，因此，使用Sampson矫正，通过计算匹配的矫正量判断内外点，Samposon置信度K定义如下：K＝X'TFX/M(14)式中，(FX)1＝f11x+f12y+f13，(x,y)是X的像素点的坐标。类比确定(FX)2,(FTX')1,(FTX')2,从而确定了每个点的Sampson置信度。外点矩阵H和W分别为图像高和宽，其定义如下：每个候选目标的内外点比率计算如下：式中，是一个候选目标，是候选者的所有点的数量总和，运动目标决策函数M定义如下：式中，η是外点的概率阈值，只有当候选者的外点比率大于η时，才能判定其为一个运动的目标。本专利技术的有益效果是：该方法首先采用帧差法提取初步的检测结果；再计算每个点的光流矢量，将当前帧的目标与其光流矢量叠加后判断它下一帧中的位置，实现对目标的关联，去除了一部分虚警；最后利用场景的高层信息基本矩阵F判断运动点和背景点，去除了大量的虚警。下面结合具体实施方式对本专利技术作详细说明。具体实施方式本专利技术基于高层场景信息的地面运动目标检测方法具体步骤如下：1、帧差。针对不同高度的场景，使用不同的图像配准算法。对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas-Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点。通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：式中，Cp和Cn是前一帧和下一帧的特征点的像素坐标，C'p和C'n是转换后的像素坐标，其中Ak-1和Ak+1是2*3的仿射变换矩阵。前一帧和下一帧仿射变换的图像分别差分当前帧，得到初步检测结果，如下：Dk＝||Sk-S'k-1||∪||Sk-S'k+1||(20)式中，Dk表示差分后图像，S'k-1和S'k+1是当前帧和下一帧仿射变换后的结果，Sk是当前帧图像。最后对差分图像进行二值化，阈值设为40。2、光流关联。光流关联主要为两部分：光流估计，预测关联。1)光流估计：经典光流法主要基于亮度恒定、像素微小运动和空间一致性的假设。在连续视频中，假设物体对应的像素灰度值不因运动发生变化，故有：I(x,y,t)＝I(x+dx,y+dy,t+dt)(21)式中，x和y为横纵坐标，I为图像灰度值。上式泰勒展开有:Ixdx+Iydy+Itdt＝0(22)式中，IxIyIt分别表示对应方向的梯度。转换为向量形式如下：式中，u和v分别为对应方向上的光流大小。上式可表示为：Ad＝b(24)采用最小二乘法求解的最小值得到光流失量d，如下：d＝(ATA)-1ATb(25)2)预测关联：首先，假设每个点在第k-1帧的坐标是(xk-1,yk-1)，根据步骤一的光流估计策略，获得一个光流矢量V，本文档来自技高网...

【技术保护点】
一种基于高层场景信息的地面运动目标检测方法，其特征在于包括以下步骤：步骤一、帧差；针对不同高度的场景，使用不同的图像配准算法；对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas‑Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点；通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：

【技术特征摘要】
1.一种基于高层场景信息的地面运动目标检测方法，其特征在于包括以下步骤：步骤一、帧差；针对不同高度的场景，使用不同的图像配准算法；对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas-Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点；通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：式中，Cp和Cn是前一帧和下一帧的特征点的像素坐标，C'p和C'n是转换后前一帧和下一帧的像素坐标，Ak-1和Ak+1是2*3的仿射变换矩阵；前一帧和下一帧仿射变换的图像分别差分当前帧，得到初步检测结果，如下：Dk＝||Sk-S'k-1||∪||Sk-S'k+1||(2)式中，Dk表示差分后图像，S'k-1和S'k+1是当前帧和下一帧仿射变换后的结果，Sk是当前帧图像；最后对差分图像进行二值化，阈值设为40；步骤二、光流关联；光流估计：经典光流法主要基于亮度恒定、像素微小运动和空间一致性的假设；在连续视频中，假设物体对应的像素灰度值不因运动发生变化，故有：I(x,y,t)＝I(x+dx,y+dy,t+dt)(3)式中，x和y为横纵坐标，I为图像灰度值；上式泰勒展开有:Ixdx+Iydy+Itdt＝0(4)式中，IxIyIt分别表示对应方向的梯度；转换为向量形式如下：式中，u和v分别为对应方向上的光流大小；上式可表示为：Ad＝b(6)采用最小二乘法求解的最小值得到光流失量d，如下：d＝(ATA)-1ATb(7)预测关联：首先，假设每个点在第k-1帧的坐标是(xk-1,yk-1)，根据步骤一的光流估计策略，获得一个光流矢量V，则目标在下一帧的位置预测如下：式中，是预测坐标，(Vx,Vy)是光流运动矢量；其次，对初次帧差获得的所有目标，通过光流预测它在下一帧的位置；对每个目标而言，如果它有足够多的点与下一帧中的某个目标相匹配，则他们为同一目标，决策函数定义如下:

【专利技术属性】
技术研发人员：杨涛，任强，张艳宁，刘小飞，段文成，
申请(专利权)人：西北工业大学深圳研究院，西北工业大学，
类型：发明
国别省市：广东,44