移动摄像机下运动目标检测的快速运动补偿方法技术

本发明专利技术公开了一种移动摄像机下运动目标检测的快速运动补偿方法，该方法首先对相邻图像采用相位相关法进行粗匹配，得到相邻图像的偏移量；其次对图像进行一次补偿；然后采用KLT跟踪方法对两幅图像进行特征点匹配，再次对两幅图像之间的单应矩阵进行求解，实现对图像背景运动的二次补偿；最后采用多帧帧差的运动历史图像MHI方法对基于区域特征的目标进行分割从而得到运动目标。本发明专利技术利用快速运动补偿方法分两次对背景运动进行补偿，确保了移动摄像机下运动目标检测方法的准确性。

【技术实现步骤摘要】

本专利技术属于图像探测与处理领域，特别是一种移动摄像机下运动目标检测的快速运动补偿方法。
技术介绍
在搜索跟踪系统中，通常要求系统能将运动目标从序列图像中快速、准确地分割出来，以实现运动目标的检测与跟踪，为后续航迹关联、目标识别等技术提供了初步的信息。在视频监控系统中，场景通常是静止的，运动目标的检测能够简单快速地实现，但对硬件平台要求很高。对于一般情况下的车辆自动驾驶、手持式摄像机等相机运动的情况，由于相机运动情况不能确定，因此需要对相机运动进行补偿或标定。最基本的运动目标检测方法如帧差法、多帧累积差分法、光流法、块运动分析法等，对于简单静止背景下的运动目标检测有非常好的效果。但实际的运动目标检测场所往往在室外，背景常受光照变化和雨雪天气等影响，并且目标本身的运动也会导致其在二维图像上几何形态的变化，摄像机运动状态下对目标检测的提出了更高的要求，这些因素都使得运动目标的检测变得异常复杂。传统的运动补偿方法是采用特征点匹配的方法对相邻两帧图像进行特征点检测，然后通过特征点匹配的方法获得匹配点对，从而得到相邻两帧之间的变换矩阵，以进行运动补偿。这种方法计算量太大，不适用于实时性较高的场合，而且匹配时易产生较多错误点对，使得运动估计不够精确，进而影响了探测率。
技术实现思路
本专利技术的目的在于提供一种基于全局运动补偿和运动历史图像的移动摄像机下运动目标检测的快速运动补偿方法，能够有效改善传统运动补偿方法实时性不高的问题。实现本专利技术目的的技术解决方案为：一种移动摄像机下运动目标检测的快速运动补偿方法，包括以下步骤：步骤1，利用相位相关法，通过求取相位相关函数峰值位置得到两幅相邻图像的二维偏移量；步骤2，根据两幅相邻图像的偏移量，对两幅相邻图像进行一次补偿；步骤3，对一次补偿后的相邻图像采用经典的基于特征的KLT匹配方法进行特征点匹配；步骤4，分层求解两幅相邻图像对应的单应矩阵，然后对图像运动背景进行二次补偿；步骤5，对二次补偿后的相邻图像利用基于多帧帧差的运动历史图像跟踪方法进行分割得到最终运动检测目标。本专利技术与现有技术相比，其显著效果为：(1)本专利技术利用FMC方法分两次对背景运动进行补偿，确保了移动摄像机下运动目标检测方法的准确性；(2)本专利技术的快速运动补偿方法基于全局运动补偿和运动历史图像，即在忽略视差的情况下，认为相邻图像之间满足单应性矩阵约束，分两步对全局运动进行补偿，每次补偿所依据的算法复杂度小。(3)本专利技术提高了移动摄像机下运动目标检测方法的处理速度和系统性能。附图说明图1为本专利技术的移动摄像机下运动目标检测的快速运动补偿方法流程图。图2(a)、图2(b)分别为本专利技术实施例中视频序列中相邻的第k帧和第k+1帧的图像。图3为实施例中相位相关函数图像。图4为本专利技术实施例中第k帧图像经过两次运动补偿后的图像。图5为本专利技术实施例中运动历史图像分割后的二值化图像。图6为本专利技术实施例中根据图5检测出的运动目标图像。具体实施方式结合图1，本专利技术的一种移动摄像机下运动目标检测的快速运动补偿方法，步骤如下：步骤1：利用相位相关法，通过求取相位相关函数峰值位置得到两幅相邻图像的二维偏移量；具体为：车载、手持相机等运动摄像机所获得的视频序列，一般存在较大的位移变化，相位相关法可以对平移变换进行有效估计；f(x,y)为二维图像信号，其傅里叶变换对为(u,v)为相邻两帧间的平移量，根据傅里叶变换的时域特性利用图像互相关功率谱中的相位信息进行估计二维平移量；Ik(x,y)和Ik+1(x,y)是相邻的两帧图像，忽略相邻两帧之间的旋转变换，因此只存在平移变换，两帧间的平移量为(u,v)，其傅里叶变换分别为Fk(ξ,η)和Fk+1(ξ,η)，则两幅图像的互功率谱为为Fk(ξ,η)的共轭；然后通过傅里叶逆变换可得到相位相关函数为cps(ξ,η)＝δ(x-u,y-v)相位相关函数是一个在平移量(u,v)处的单位脉冲函数，它在(u,v)处不为0，而在其他位置都是0，通过求取峰值位置即得到两幅图像的偏移量。步骤2，根据两幅相邻图像的偏移量，对两幅相邻图像进行一次补偿，补偿后的图像之间存在较低程度的放射变换，可采用LK光流来精确估计。步骤3，对一次补偿后的相邻图像采用经典的基于特征的KLT匹配方法进行特征点匹配；具体为：经过一次补偿后的图像序列较大程度上消除了背景的运动，满足KLT方法要求图像运动速度较小的条件，采用经典的基于特征的KLT(Kanade-Lucas-Tomasi)匹配方法，通过一个偏移量来描述包含特征纹理信息的特征窗口W内的像素点变化，对于前一幅图像的任一特征点X，相邻图像上像素点满足J(X)＝I(X-d)，X＝[x,y]T，位移量d＝[dx,dy]T，I(X)和J(X)分别表示前后两帧图像，dx、dy分别为相邻图像像素点在横坐标、纵坐标方向上的位移量，用残差κ来衡量两个相邻图像上像素点之间匹配程度：ω(X)是加权函数；一次补偿之后，位移量d很小，利用泰勒展开，去掉高次项，将残差κ对d求导使得得到残差极小值的条件为Zd＝e其中Z是一个2×2矩阵，e是2×1矩阵。再通过求取残差κ的极小值得到最优匹配点列。步骤4：在RANSAC(RandomSampleConsensus)方法的基础上采用分层求解两幅图像对应的单应矩阵，然后对图像背景运动进行二次补偿；分层求解方法是一个逐层迭代过程，其流程如下：步骤4-1、初始化相邻图像内像素点为全部角点；步骤4-2、通过RANSAC方法计算全部角点的单应矩阵；步骤4-3、遍历全部角点的单应矩阵残差，若小于设定的第一阈值则置为局内点，否则置为局外点；步骤4-4、若筛选出的局内点的数目大于8，则证明单应矩阵有解，则重复步骤4-1～步骤4-3直到所有局内点的残差小于第一阈值为止。步骤5：对二次补偿后的图像利用基于多帧帧差的运动历史图像(MHI)方法，利用连续图像中目标轮廓在空间上的相关性，通过每帧图像对应的不同时刻将连续图像加权叠加而形成运动历史图像，再对之进行分割得到最终运动检测目标。MHI方法的核心在于图像通过系统时戳转换后对MHI进行不断更新，随着时间的推进，当前图像对应的轮廓总是有最大的灰度值，而过去的轮廓在当前MHI中的影响将会越来越小，当过去帧与当前帧的间隔超过一定阈值时，其影响将被清零；其步骤如下：步骤5-1、对二次补偿后的图像做相邻差分运算，通过D(t)＝|I(t)-I(t±△)|获得差分图像，其中，减号表示前一帧图像，加号表示后一帧图像，△表示差分间隔，I(t)和I(t±△)为已经补偿后的图像，D(t)为相邻图像差分值；前一帧图像的灰度值HF(x,y,t)表示为:w为时戳(衰减量)，离当前帧越远的图像，其影响将会越来越小，一般可取d＝255/L，L为MHI长度，t为当前运动图像时刻，D(x,y,t)为当前运动图像时刻相邻图像灰度差分值，T为设定的第二阈值；步骤5-2、利用中值滤波来去除因匹配误差或者背景微小运动而引起的噪声，选取前一帧图像灰度HF(t)和后一帧图像灰度HB(t)中的较小值作为最终运动目标图像灰度值，从而实现对目标图像的检测：M(t)＝min(medfilt(HF(t),medfilt(HB(t)))。图2(a)、(b)是本专利技术本文档来自技高网...

【技术保护点】
一种移动摄像机下运动目标检测的快速运动补偿方法，其特征在于，包括以下步骤：步骤1，利用相位相关法，通过求取相位相关函数峰值位置得到两幅相邻图像的二维偏移量；步骤2，根据两幅相邻图像的偏移量，对两幅相邻图像进行一次补偿；步骤3，对一次补偿后的相邻图像采用经典的基于特征的KLT匹配方法进行特征点匹配；步骤4，分层求解两幅相邻图像对应的单应矩阵，然后对图像运动背景进行二次补偿；步骤5，对二次补偿后的相邻图像利用基于多帧帧差的运动历史图像跟踪方法进行分割得到最终运动检测目标。

【技术特征摘要】
1.一种移动摄像机下运动目标检测的快速运动补偿方法，其特征在于，包括以下步骤：步骤1，利用相位相关法，通过求取相位相关函数峰值位置得到两幅相邻图像的二维偏移量；步骤2，根据两幅相邻图像的偏移量，对两幅相邻图像进行一次补偿；步骤3，对一次补偿后的相邻图像采用经典的基于特征的KLT匹配方法进行特征点匹配；步骤4，分层求解两幅相邻图像对应的单应矩阵，然后对图像运动背景进行二次补偿；步骤5，对二次补偿后的相邻图像利用基于多帧帧差的运动历史图像跟踪方法进行分割得到最终运动检测目标。2.根据权利要求1所述的移动摄像机下运动目标检测的快速运动补偿方法，其特征在于，步骤1中所述相位相关法是先对两幅相邻图像Ik(x,y)和Ik+1(x,y)求取互功率谱：cps(ξ,η)=Fk+1(ξ,η)Fk*(ξ,η)|Fk+1(ξ,η)Fk*(ξ,η)|=e-j2π(ξu+ηv)]]>(u,v)为相邻两帧间的偏移量，两幅相邻图像的傅里叶变换分别为Fk(ξ,η)和Fk+1(ξ,η)，为Fk(ξ,η)的共轭；然后通过傅里叶逆变换得到相位相关函数为cps(ξ,η)＝δ(x-u,y-v)；相位相关函数是一个在平移量(u,v)处的单位脉冲函数，它在(u,v)处不为0，而在其他位置都是0，通过求取峰值位置即得到两幅图像的偏移量。3.根据权利要求1所述的移动摄像机下运动目标检测的快速运动补偿方法，其特征在于：步骤3中对一次补偿后的相邻图像采用经典的基于特征的KLT匹配方法进行特征点匹配，具体为：采用经典的基于特征的KLT匹配方法，通过一个偏移量来描述包含特征纹理信息的特征窗口W内的像素点变化，对于前一幅图像的任一特征点X，相邻图像上像素点满
\t足J(X)＝I(X-d)，X＝[x,y]T，位移量d＝[dx,dy]T，I(X)和J(X)分别表示前后两帧图像，dx、dy分别为相邻图像像素点在横坐标、纵坐标方向上的位移量，用残差κ来衡量两个相邻图像上像素点之间匹配程度：κ=ΣW[J(X+d2)-I(X-d2)]2ω(X)]]>ω(X)是加权函数...

【专利技术属性】
技术研发人员：韶阿俊，钱惟贤，吕芳，孙爱娟，潘佳惠，汪鹏程，刘泽伟，张骏，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32