一种融合高斯混合模型和H-S光流法的视频前景目标提取方法技术

本发明专利技术公开了一种融合高斯混合模型和H‑S光流法的视频前景目标提取方法，包括以下步骤：将视频按照帧分割成一系列的原始图像，并进行灰度化等图像预处理；对每一帧图像分别用高斯混合模型和H‑S光流法进行处理，输出对应的第一前景掩模图像和第二前景掩模图像；对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；对第三前景掩模图像进行中值滤波除去噪声后，然后进行数学形态学图像处理，输出第四前景掩模图像；将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。本发明专利技术融合高斯混合模型和H‑S光流法，提高了动态背景下视频前景目标提取的效果，应用前景广阔。

A video foreground target extraction method based on Gauss mixture model and H-S optical flow method

The invention discloses a video foreground object extraction method which combines Gaussian mixture model and H_S optical flow method. The method comprises the following steps: dividing the video into a series of original images according to the frame, graying and other image preprocessing; processing each frame image with Gaussian mixture model and H_S optical flow method respectively, and outputting. The corresponding first foreground mask image and the second foreground mask image; the first foreground mask image and the second foreground mask image are fused based on wavelet transform to output the third foreground mask image; the third foreground mask image is filtered by median filtering to remove noise, and then the mathematical morphology image is processed. The fourth foreground mask image is output, and the foreground target image is extracted and the foreground target video is output by computing the fourth foreground mask image and the original image. The invention fuses Gaussian mixture model and H_S optical flow method, improves the effect of video foreground object extraction in dynamic background, and has broad application prospect.

【技术实现步骤摘要】
一种融合高斯混合模型和H-S光流法的视频前景目标提取方法
本专利技术涉及图像处理和计算机视觉
，具体涉及一种融合高斯混合模型和H-S光流法的视频前景目标提取方法。
技术介绍
视频前景目标的提取是计算机视觉领域的一项关键问题，在视频监控，运动物体捕捉等重要领域具有重要应用价值。传统的视频前景目标提取方法主要是针对静态背景情况，在动态背景的情况下，受到视频中动态纹理的干扰，不能取得良好的提取效果。前景目标提取主要将视频中每一帧图像运动的目标物体从原始图像中分离出来。对于目标物体区域，将像素点设为255；背景区域，将像素点设为0。前景目标提取根据视频背景的状态的不同，分为静态背景前景目标提取和动态背景前景目标提取两种。目前，静态背景下的前景目标提取技术已经相当成熟，已经有许多算法被研究出来，能够很好的提取出静态背景下的前景目标。然而，对于动态背景的情况，目前存在的许多算法都不足以较好的提取出视频中的前景目标。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，既可以在静态背景情况下又可以在动态背景下良好地提取出视频中的前景目标。本专利技术的目的可以通过采取如下技术方案达到：一种融合混合高斯模型和H-S光流法的视频前景目标的提取方法，所述的视频前景目标的提取方法包括以下步骤：S1、将视频按照帧分割成一系列的原始图像，并且进行灰度化等图像预处理；S2、对每一帧图像分别用高斯混合模型和H-S光流法进行处理，分别输出对应的第一前景掩模图像和第二前景掩模图像；S3、对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；S4、对小波融合后的第三前景掩模图像进行中值滤波除去噪声后，再对图像进行数学形态学图像处理，输出第四前景掩模图像；S5、将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。进一步地，所述的步骤S1包括以下步骤：S101、将视频图像从RGB色彩空间当中转换到亮度值空间，也就是获取图像的灰度图；S102、每一帧图像的信息，就包含在它的灰度值图像里面，为此建立一个统一的坐标系，用I(x,y,i)表示视频图像序列中对应的第i帧灰度图像(x,y)位置处的像素值。x与y分别代表一帧图像横纵轴上的坐标，i代表图像中的第i帧。进一步地，所述的步骤S2包括以下步骤：S201、进行基于高斯混合模型的视频前景目标提取，预先定义几个高斯模型并初始化，求出相对应参数；对每帧图像的每个像素用多个单模型描述：P(p)＝{[wn(x,y,i),un(x,y,i),σn(x,y,i)2]},n＝1,2,......,K其中，K表示高斯混合模型中包含单模型的个数，wn(x,y,i)表示每个模型在混合模型中的权重，un(x,y,i)、σn2(x,y,i)分别是第n个单高斯模型中某处像素的均值和方差；S202、对每一帧图像，如果图像在(x,y)处的像素值对于n＝1,2,......,K满足|I(x,y,i)-un(x,y,i)|≤λ·σn(x,y,i)，λ是一个常数，即新像素与该单模型匹配，如果，存在与新像素匹配的单模型，判断该点为背景，并进入步骤S203；不存在与新像素匹配的模型，判断该点为前景，并进入步骤S204；S203、修正与新像素匹配的单模型的权值，权值增量为dw＝α·(1-wm(x,y,i-1))，新的权值用以下迭代关系进行修正：wm(x,y,i)＝wm(x,y,i-1)+dw＝wm(x,y,i-1)+α·(1-wm(x,y,i-1))；其中α为参数估计的学习速率；S204、除去当前各个单模型中重要性最小的单高斯模型，而后增加一个新的单模型，新的单高斯模型的权重设定为一个比较小的值，均值为新像素值，方差设定为一个较大的值；S205、完成S203或者S204后，进行修正后的权值归一化处理；S206、判断每一帧图像中每个像素点属于背景还是前景，像素点为背景点时将该点像素值设定为0，像素点为前景目标点时将该点像素值设定为255，最后，输出高斯混合模型的第一前景掩模图像；S207、进行基于H-S光流法的视频前景目标提取，计算每帧图片的光流；根据光流基本方程：式中，表示梯度方向；U＝[u,v]T表示光流；其中，u,v分别代表每帧图片灰度值随着x,y的变化率；分别代表参考点的灰度值随着x,y,i的变化率；与H-S平滑性约束条件，即在给定的领域内其速度分量平方和积分最小：S＝∫∫(ux2+uy2+vx2+vy2)dxdy式中ux,uy,vx,vy分别代表u,v在x,y方向上的分量；计算出每帧图片灰度值随着x,y的变化率u,v，即可得到每帧图片的光流U＝[u,v]T；S208、针对光流场幅值计算光流幅度阈值，进行光流阈值分割，得到每帧图向的二值图；S209、判断每一帧图像中的背景区和前景区，光流场中光流幅值较大的像素区域则是前景目标所在的位置，设定为前景目标区域，其前景目标掩模图像的相应区域的像素值设定为255，从而得到H-S光流法输出的第二前景掩模图像。进一步地，所述步骤S3包括以下步骤：S301、分别将第一前景掩模图像和第二前景掩模图像进行小波融合，具体如下：小波变换将第一前景掩模图像和第二前景掩模图像分解到高频和低频两个频带，第一前景掩模图像和第二前景掩模图像分别分解成4个分辨率为第一前景掩模图像和第二前景掩模图像1/4尺寸的自带区域LL、HL、LH、HH，各个区域分别包含了相对应频带的小波系数：1)LL区域是图像分解的低频区域，保持了图像变换前的信息；2)HL区域是图像分解的高频区域，保持了图像水平边缘信息；3)LH区域是图像分解的高频区域，保持了图像垂直边缘信息；4)HH区域是图像分解的高频区域，保持了图像对角线的高频信息；以上各频带区域通过使用低通滤波器和高通滤波器对图像进行卷积滤波后再进行二下抽样得到。对混合高斯模型前景目标掩模图像和H-S光流法前景目标掩模图像分别进行3层小波变换，建立图像的小波金字塔分解，获得相应的低频分量：S302、对第一前景掩模图像和第二前景掩模图像进行3层小波变换后得到的各个分解层进行融合处理，其中高频域内的融合小波重要系数选用图像邻域平均绝对值较大的系数，低频域内的融合小波近似系数选用对多源图像的低频系数进行加权平均；S303、利用小波重要系数和小波近似系数对融合图像进行小波逆变换，生成重构图像，输出为第三前景掩模图像。进一步地，所述的步骤S4包括以下步骤：S401、让第三前景掩模图像通过中值滤波器，将图像上每一像素点的灰度值设置为该点邻域窗口内的所有像素点灰度值的中值，滤除图像噪声；S402、对中值滤波后的图像进行数学形态学图像处理,将第三前景掩模图像中的孤立噪声除去和填充内部孔洞，输出第四前景掩模图像；数学形态学图像处理方法主要包括：腐蚀、膨胀、开运算、闭运算。本专利技术相对于现有技术具有如下的优点及效果：本专利技术利用视频图像分别建立高斯混合模型和H-S光流法模型，再利用图像小波融合技术将两种模型进行融合，两个模型的优点和缺点互补，有效地检验并提取出了动态背景下视频的目标物体。附图说明图1是本专利技术中公开的融合高斯混合模型和H-S光流法的视频前景目标提取方法的原理框图；图本文档来自技高网...

【技术保护点】
1.一种融合高斯混合模型和H‑S光流法的视频前景目标提取方法，其特征在于，所述的视频前景目标提取方法包括以下步骤：S1、将视频按照帧分割成一系列的原始图像，并且进行灰度化等图像预处理；S2、对每一帧图像分别用高斯混合模型和H‑S光流法进行处理，分别输出对应的第一前景掩模图像和第二前景掩模图像；S3、对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；S4、对小波融合后的第三前景掩模图像进行中值滤波除去噪声后，再对图像进行数学形态学图像处理，输出第四前景掩模图像；S5、将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。

【技术特征摘要】
1.一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的视频前景目标提取方法包括以下步骤：S1、将视频按照帧分割成一系列的原始图像，并且进行灰度化等图像预处理；S2、对每一帧图像分别用高斯混合模型和H-S光流法进行处理，分别输出对应的第一前景掩模图像和第二前景掩模图像；S3、对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；S4、对小波融合后的第三前景掩模图像进行中值滤波除去噪声后，再对图像进行数学形态学图像处理，输出第四前景掩模图像；S5、将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。2.根据权利要求1所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的步骤S1包括以下步骤：S101、将视频图像从RGB色彩空间当中转换到亮度值空间，获取图像的灰度图；S102、为每一帧图像的信息建立一个统一的坐标系，用I(x,y,i)表示视频图像序列中对应的第i帧灰度图像(x,y)位置处的像素值，x与y分别代表一帧图像横纵轴上的坐标，i代表图像中的第i帧。3.根据权利要求1所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的步骤S2包括以下步骤：S201、进行基于高斯混合模型的视频前景目标提取，预先定义高斯模型并初始化，求出相对应参数；对每帧图像的每个像素用多个单模型描述：P(p)＝{[wn(x,y,i),un(x,y,i),σn(x,y,i)2]},n＝1,2,......,K其中，K表示高斯混合模型中包含单模型的个数，wn(x,y,i)表示每个模型在混合模型中的权重，un(x,y,i)、σn2(x,y,i)分别是第n个单高斯模型中某处像素的均值和方差；S202、对每一帧图像，如果图像在(x,y)处的像素值对于n＝1,2,……,K满足|I(x,y,i)-un(x,y,i)|≤λ·σn(x,y,i)，λ是一个常数，即新像素与该单模型匹配，如果存在与新像素匹配的单模型，判断该点为背景，并进入步骤S203，若不存在与新像素匹配的模型，判断该点为前景，并进入步骤S204；S203、修正与新像素匹配的单模型的权值，权值增量为dw＝α·(1-wm(x,y,i-1))，新的权值用以下迭代关系进行修正：wm(x,y,i)＝wm(x,y,i-1)+dw＝wm(x,y,i-1)+α·(1-wm(x,y,i-1))，其中α为参数估计的学习速率；S204、除去当前各个单模型中重要性最小的单高斯模型，而后增加一个新的单模型，新的单高斯模型的权重设定为0.005，均值为新像素值，方差设定为20；S205、完成步骤S203或者步骤S204之后，进行修正后的权值归一化处理；S206、判断每一帧图像中每个像素点属于背景还是前景，像素点为背景点时将该点像素值设定为0，像素点为前景目标点时将该点像素值设定为255，最后，输出高斯混合模型的第一前景掩模图像；S207、进行...

【专利技术属性】
技术研发人员：吴玉香，周泽鑫，关伟鹏，陈艺荣，陈文权，方良韬，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44