监控视频背景图像建模方法技术

本发明专利技术提供一种监控视频背景图像建模方法，采用块的边界检测法和图像残差的梯度计算以及自适应训练集的长度调节法，保证了优异的主观质量。本发明专利技术的背景图像建模方法是基于块的，同时存储了YUV三分量，生成的背景图像保证了高质量的色度和亮度的一致性。将建模后的背景图像作为全局参考图像进行视频编码，可以明显地节省比特率，在保证主观质量的同时建立可供全局编码参考的背景图像。

【技术实现步骤摘要】

本专利技术涉及数字图像处理技术，特别涉及背景图像建模技术。
技术介绍
监控类场景相比即时类通讯场景，实时性要求不高，同时场景基本不发生变化，摄像头相对保持稳定。因此，可以针对视频序列一定的训练集长度，建立背景图像。将建立后的背景图像作为后续编码的参考图像，可以节省大量编码比特率。背景图像建模的关键技术在于前景的检测。常用的背景图像建模方法都是像素级的背景减除法或者是基于高斯混合模型的方法。但是，前者会产生明显的拖影以及光流现象，且图像的色度与亮度分量存在明显的不匹配情况，而后者时间复杂度极高。背景图像建模实施过程既要考虑到可行性和高效性，也需要考虑最终背景图像建模的质量。
技术实现思路
本专利技术所要解决的技术问题是，提供适用于监控视频的背景图像建模的方法。本专利技术为解决上述技术问题所采用的技术方案是，监控视频背景图像建模方法，包括以下步骤：1)设置监控视频中第1帧图像为背景帧；2)初始设置块大小和最大训练集长度；3)基于当前的块大小，利用当前帧t对背景帧进行更新，t为大于等于2的整数：3-1)对第t帧进行分块；3-2)计算第t帧每一个块的运动变化值：3-3)利用块的运动变化值进行更新判断：当运动变化值小于严格替换的阈值，则当前块为背景块，用当前块替换背景帧中相应位置的块；当运动变化值大于严格不替换的阈值，则当前块为前景块，保留背景帧中相应位置的块；当运动变化值在大于等于严格替换的阈值且小于等于严格不替换的阈值，则对当前块进行边界检测；边界检测：当当前块的边界像素差值的和小于背景帧中相应位置的块的边界像素差值的和，且当前块的边界像素差值的和小于替换阈值，则用当前块替换背景帧中相应位置的块，否则，保留背景帧中相应位置的块。第t帧的所有块的更新完成后，判断是否达到视频背景更新结束条件，如是，背景建模完毕；如否，更新t＝t+1，返回步骤3)；更新结束条件为达到最大训练集长度或连续β帧每帧替换的块的数目小于α块。其中，本专利技术具体还提供一种描述块的运动变化的方法，以及提出通过当前块的边界像素差值的和来描述与邻近块差异来判断当前块是否更符合背景。本专利技术采用块的边界检测法和图像残差的梯度计算以及自适应训练集的长度调节法，保证了优异的主观质量。本专利技术的背景图像建模方法是基于块的，同时存储了YUV三分量，生成的背景图像保证了高质量的色度和亮度的一致性。将建模后的背景图像作为全局参考图像进行视频编码，可以明显地节省比特率。可选的，步骤3)中利用当前帧t对背景帧进行更新的过程中块大小不变。更进一步的，使用对块从小到大的动态调整来优化背景帧的更新过程：步骤3)中利用当前帧t对背景帧进行更新的过程中块的大小动态设置：步骤2)中初始化块大小为预设最小尺寸之后，再设置分段扩大块的尺寸以及对应的最大训练集长度；3-4)第t帧的所有块的更新完成后，判断是否达到分段视频背景更新结束条件，当前块是否为最大预设尺寸；当达到当前大小的块对应的视频背景更新结束条件且当前块为最大预设尺寸，那么背景建模完毕；当达到当前大小的块对应的视频背景更新结束条件且当前块不是最大预设尺寸，扩大设置块的大小n＝n×2，更新t＝t+1，再返回步骤3)；当未达到当前大小的块对应的视频背景更新结束条件，则更新t＝t+1，再返回步骤3)。本专利技术的有益效果是，在保证主观质量的同时建立可供全局编码参考的背景图像。附图说明图1为块的内边界和外边界的定义；图2为背景建模总流程；图3为自适应训练集长度判断流程；图4为背景更新及块的替换情况；图5为序列BasketballDrill_832x480_50的背景图像建模过程示例；图6为序列Crossroad_720x576_30的背景图像建模过程示例。具体实施方式本专利技术以视频流中第1帧作为初始背景帧，再用之后帧进行分块，再对每块进行判断，当判断为背景块时，则以块的形式对背景帧的相应位置进行替换，直至将背景帧中所有的前景内部替换为背景，完成背景建模。替换过程分以下四个主要步骤完成。第一步，图像前景内容的判断。初始时，采用的是基于残差的梯度图像的计算和统计。为了建立一个良好的背景图像，着重考虑Y、U、V三分量的残差反映在图像时域相关性方面的重要性。随着当前图像顺序t(present order count，POC)的增加，YUV视频图像三个分量残差的计算由公式(1)给出。 C t D ( p , q ) = C t ( p , q ) - C t - 1 ( p , q ) - - - ( 1 ) ]]>其中p和q表示该像素点在图像第p行第q列的位置，C是YUV某一分量的色彩空间，C＝Y,U,V，Ct(p,q)表示当前时刻t坐标为(p,q)的像素点的值，就是当前像素点在时刻t的与前一时刻t-1的残差。接着，YUV分量残差的梯度计算由公式(2)给出。 ▿ C t ( p , q ) = ( C t D ( p , q ) - C t D ( p , q + 1 ) ) 2 + ( C t D ( p , q ) - C 本文档来自技高网...

【技术保护点】
监控视频背景图像建模方法，其特征在于，包括以下步骤：1)设置监控视频中第1帧图像为背景帧；2)初始设置块大小和最大训练集长度；3)基于当前的块大小，利用当前帧t对背景帧进行更新，t为大于等于2的整数：3‑1)对第t帧进行分块；3‑2)计算第t帧每一个块的运动变化值▿=f(Y)+ρU·f(U)+ρV·f(V)]]>ρU和ρV是经验比例系数，Y、U、V分别表示亮度Y分量、Cr色差U分量、Cr色差V分量，f(Y)、f(U)、f(V)分别表示当前块的Y、U、V分量的运动特征：f(C)=ln(1+σCμC+1)]]>其中，C∈(Y、U、V)，σC表示当前块的C分量的梯度残差的方差，σC表示当前块的C分量的梯度残差的均值；3‑3)利用块的运动变化值进行更新判断：当运动变化值小于严格替换的阈值，则当前块为背景块，用当前块替换背景帧中相应位置的块；当运动变化值大于严格不替换的阈值，则当前块为前景块，保留背景帧中相应位置的块；当运动变化值在大于等于严格替换的阈值且小于等于严格不替换的阈值，则对当前块进行边界检测：当当前块的边界像素差值的和小于背景帧中相应位置的块的边界像素差值的和，且当前块的边界像素差值的和小于替换阈值，则用当前块替换背景帧中相应位置的块，否则，保留背景帧中相应位置的块；块的边界像素差值的和其中，d表示方向变量，Dset表示上、下、左、右方向的集合Dset＝{top,bottom,left,right}，EC(p,q,d)表示帧内位置为(p,q)的当前块在方向d上内边界像素值与外边界像素值之差；EC(p,q,d)=1nΣk=1n|CIE(p,q,d,n)-COE(p,q,d,n)|]]>其中，n表示大小为n2块的某一边上的像素点总数，k为累加变量，CIE(p,q,d,n)表示的是分量C在方向d上内边界的像素值，COE(p,q,d,n)表示为分量C在方向d上外边界的像素值；所述内边界为块上、下、左、右的四条边；所述外边界为与块的上、下、左、右的四条边向外方向相邻的四个边；3‑4)第t帧的所有块的更新完成后，判断是否达到视频背景更新结束条件，如是，背景建模完毕；如否，更新t＝t+1，返回步骤3)；更新结束条件为达到最大训练集长度或连续β帧每帧替换的块的数目小于α块。...

【技术特征摘要】
1.监控视频背景图像建模方法，其特征在于，包括以下步骤：1)设置监控视频中第1帧图像为背景帧；2)初始设置块大小和最大训练集长度；3)基于当前的块大小，利用当前帧t对背景帧进行更新，t为大于等于2的整数：3-1)对第t帧进行分块；3-2)计算第t帧每一个块的运动变化值 ▿ = f ( Y ) + ρ U · f ( U ) + ρ V · f ( V ) ]]>ρU和ρV是经验比例系数，Y、U、V分别表示亮度Y分量、Cr色差U分量、Cr色差V分量，f(Y)、f(U)、f(V)分别表示当前块的Y、U、V分量的运动特征： f ( C ) = l n ( 1 + ...

【专利技术属性】
技术研发人员：周益民，唐钦宇，郭江，彭凤婷，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51