一种基于时域差分的二次背景建模方法技术

本发明专利技术公开了一种基于时域差分的二次背景建模方法。本方法是：输入原始图像后，快速生成背景图像能够提高背景参考和编码效率，BCBR算法筛选背景块的时域跨度小，相比于LDBCBR能更快地生成背景图像，因此先使用BCBR算法生成临时背景图像供后续图像编码参考，同时使用LDBCBR算法削弱前景时域相关性进行背景建模。当相同位子编码块使用BCBR和LDBCBR都搜索到背景块时，用二次建模算法再对其建模得到最终的纯净背景图像。由于LDBCBR削弱了前景的时域相关性，建模所需时间增长，而BCBR算法采用基于块更新的建模方式，建模速度快，将两者结合使用，解决了BCBR背景质量不高和LDBCBR建模时间长的问题。

A Quadratic Background Modeling Method Based on Time Domain Difference

The invention discloses a quadratic background modeling method based on time domain difference. This method is as follows: After input the original image, fast generation of background image can improve the efficiency of background reference and coding. BCBR algorithm has a smaller time-domain span in filtering background blocks. Compared with LDBCBR, it can generate background image more quickly. So BCBR algorithm is used to generate temporary background image for reference of subsequent image coding. At the same time, LDBCBR algorithm is used to weaken the temporal correlation of foreground for background modeling. \u3002 When both BCBR and LDBCBR are used to search the background block for the same bit coding block, the final pure background image is obtained by using the second modeling algorithm. Because LDBCBR weakens the time-domain correlation of the foreground and increases the time required for modeling, BCBR algorithm adopts block-based updating modeling method, which has fast modeling speed. The combination of the two solves the problems of low background quality of BCBR and long modeling time of LDBCBR.

【技术实现步骤摘要】
一种基于时域差分的二次背景建模方法
本专利技术涉及图像/视频背景建模编码
，具体地说是涉及一种基于时域差分的二次背景建模方法。
技术介绍
监控视频相较于普通视频有一个很明显的区别，即大多数监控视频的背景是几乎不变的，或者说变化极其缓慢，因此监控视频存在很大的背景冗余。本专利技术利用了这一特点，对监控视频进行编码时添加背景编码，后续图像在编码时候参考背景帧，可以在编码背景区域节省比特数，从而提高视频编码效率。最早提出背景建模时候，有人提出单纯地挑选一帧作为背景，帧被后续图像参考，这种做法随机性太强，而且很难出现一帧纯粹都是背景没有前景的图像；后来提出选择一定数量的图像作为训练集，对训练集内图像取均值来得到背景图像，相比于之前，该方法背景图像有一定程度提高，但是由于前景的存在，求均值后会出现鬼影，不利于后续的参考。现在，已有很多背景建模技术被人提出，背景建模的模型有很多种，大体上可分为两类：参数模型和非参数模型。参数模型典型的代表有均值背景模型、单高斯模型、混合高斯模型等，建模所得的背景效果也逐步提高，从均值建模所得背景中含有“鬼影”到混合高斯模型生成比较纯净的背景，进一步提高了编码效率。非参数背景建模模型有贝叶斯模型，均值漂移，核密度估计等，相比于参数模型，非参数模型不需要指定潜在的模型，不需要明确的估计参数，所以它们能应对任何数据分布未知的情况。但是，非参数化模型在时间和空间复杂度上不如参数化模型那么有效，计算复杂度成为了它的主要缺陷。之后出现了快速高斯变换，新ball-tree算法，核密度估计和K近邻，分类等多种算法来提高非参数化模型的速度。尽管现有的背景建模算法已有许多，但是受到系统和硬件的限制，用于背景生成的内存不会太大，而且考虑到建模的速度和质量，满足视频编解码需求的算法却很少。现有的背景建模算法存在着一些问题：1.使用BCBR算法获得的背景块，由于建模的速度相对较快，存在着将部分前景误判为背景的可能，影响后续编码性能。2.对于某些相对静止的背景区域，更新后的背景块与原先背景块几乎不变，再次更新该背景块会造成比特浪费。为了解决上述问题，本专利技术提出了基于时域差分二次背景建模算法。该算法将BCBR和LDBCBR相结合，先采用BCBR快速生成临时背景参考帧，同时使用LDBCBR建模生成背景图像，之后对两个背景图像进行二次建模生成纯净的背景图像。
技术实现思路
本专利技术的目的在于，针对现有技术存在的缺陷提供基于时域差分的二次背景建模方法，是避免单独编码背景图像带来的码率激增，减小缓慢移动前景对背景搜索造成的干扰，并且能够应对视频背景突变的情况下的背景建模算法。实验表明，本方法在减少计算量的同时保证了编码精度，又能达到较好的性能。为达到上述目的，本专利技术的构思是：输入原始图像后，快速生成背景图像能够提高背景参考和编码效率，BCBR算法筛选背景块的时域跨度小，相比于LDBCBR能更快地生成背景图像，因此先使用BCBR算法生成临时背景图像供后续图像编码参考，同时使用LDBCBR算法削弱前景时域相关性进行背景建模。当相同位子编码块使用BCBR和LDBCBR都搜索到背景块时，用二次建模算法再对其建模得到最终的纯净背景图像。由于LDBCBR削弱了前景的时域相关性，建模所需时间增长，而BCBR算法采用基于块更新的建模方式，建模速度快，将两者结合使用，解决了BCBR背景质量不高和LDBCBR建模时间长的问题。根据上述构思，本专利技术采用的技术方案如下：一种基于时域差分的二次背景建模方法，包括两种算法的综合建模过程，具体步骤如下：步骤一：首先运用BCBR算法确定背景帧中的BCBR背景块：当输入序列的第一帧的时候，先用BCBR算法，来确定每个CTU的背景块；对于输入序列的每一帧图像划分为一个个CTU，一个CTU的大小为64乘64大小的块；当读取到输入序列的第二帧时，BCBR算法开始启动；步骤1.1：首先它在第二帧中找到对应于第一帧中相同位置的CTU块，利用下列公式(1)和公式(2)来判断该CTU是不是背景块：其中i和j为一个CTU中的横纵坐标，MAX_CU为64,cbi,j是当前帧上的位置的像素值，pbi,j表示前面的帧的相同位置的像素值，difnum(i，j)表示两帧相同位置CTU中的像素差函数，σ代表两帧之间相同位置的CTU的偏差程度。遍历一个CTU中的每一个坐标；根据BCBR算法，计算序列中第二帧图像与第一帧图像中的相同位置的像素值的差值大于20的个数；即将差值大于20的像素块difnum(i,j)置为1，将差值小于20的像素块difnum(i,j)置为0，然后统计值为1的个数，用公式(1)来计算σ值，σ代表两个帧之间的偏差值。若σ结果小于1％则认为第二帧中的该位置的CTU是一个BCBR背景块，将这个CTU存入临时背景帧缓存中，同时将该背景块标上一个标志位说明这个块是一个背景块；在程序中标志位1表示这是一个背景块，标志位0则表示这不是一个背景块；若计算出来的结果大于1％，则说明当前帧中的该位置的CTU不是背景块；继续在这一帧中判断下一个CTU是不是背景块；当遍历完当前帧的所有CTU的时候，会有一部分的CTU被判断为背景块，而另外一部分CTU则被判断为不是背景块；步骤1.2:这时候读取第三帧，仍然先和第二帧比较相同位置的那些还不是背景块的CTU，按照公式(1)和(2)判断当前帧中的CTU是不是背景块，若计算出来的比值小于1％则认为是背景块，遍历第三帧中的CTU又会得到当前帧的部分的背景块；遍历完成后将第三帧和第一帧比较那些还未被判断为背景块的CTU的像素值，此时仍然利用公式(1)和(2)来判断，但是此时的阈值需要改变；若σ的值小于2％则认为当前帧中的该CTU是背景块，若该比值大于2％则认为当前帧中的该CTU不是背景块，该块需要跳过在下一帧中继续找；这样遍历完第三帧后，仍然有很多位置的CTU还没有匹配到背景块；然后读取第四帧，将第四帧与第三帧，第四帧与第二帧按照公式(1)(2)分别进行对比；这样依次往后进行，当读取到第n帧时，将第n帧先和第(n-1)帧比较，阈值设为1％，σ小于1％则被判断被背景块；σ大于1％的需要再次判断然后将第n帧和第(n-2)帧比较，阈值设为2％，σ小于2％则被判断被判断为背景块。σ大于2％，则认为该块不是背景块，在当前帧中跳过不在再判断。这样依次往后读取直到背景帧中的每一个位置的CTU都确定了背景块。步骤二：将运用LDBCBR方法重新计算一个序列中的每一帧中的同一个位置的背景块。LDBCBR算法是在BCBR算法的基础上添加了一个longdiastnce简称为LD，在程序中即实在时域上添加了一个参数N；BCBR算法是参考前面一帧或者前两帧来判断当前帧的某个位置的CTU是不是背景块，从而建立背景帧；而LDBCBR是参考前面第(n-N)帧或者第(n-2N)帧来判断当前帧的某个位置的CTU是不是背景块；即输入一个测试序列只有当读取到第N帧时才会开始LDBCBR算法，前面的N-1帧不会进行LDBCBR算法；经实验发现，对于标准测试序列最优的n的取值是13；而LDBCBR算法判断一个CTU是不是背景块的方法也是基于公式(1)和(2),若第N+1帧中与第一帧中的相同位置的CTU中的像素值差大20的块的个数运用本文档来自技高网...

【技术保护点】
1.一种基于时域差分的二次背景建模方法，其特征在于包括两种算法的综合建模过程，具体操作步骤如下：步骤一：首先运用BCBR算法确定背景帧中的BCBR背景块：当输入序列的第一帧的时候，先用BCBR算法，来确定每个CTU的背景块；对于输入序列的每一帧图像划分为一个个CTU，一个CTU的大小为64乘64大小的块；当读取到输入序列的第二帧时，BCBR算法开始启动；步骤1.1：首先它在第二帧中找到对应于第一帧中相同位置的CTU块，利用下列公式(1)和公式(2)来判断该CTU是不是背景块：

【技术特征摘要】
1.一种基于时域差分的二次背景建模方法，其特征在于包括两种算法的综合建模过程，具体操作步骤如下：步骤一：首先运用BCBR算法确定背景帧中的BCBR背景块：当输入序列的第一帧的时候，先用BCBR算法，来确定每个CTU的背景块；对于输入序列的每一帧图像划分为一个个CTU，一个CTU的大小为64乘64大小的块；当读取到输入序列的第二帧时，BCBR算法开始启动；步骤1.1：首先它在第二帧中找到对应于第一帧中相同位置的CTU块，利用下列公式(1)和公式(2)来判断该CTU是不是背景块：其中i和j为一个CTU中的横纵坐标，MAX_CU为64,cbi,j是当前帧上的位置的像素值，pdi,j表示前面的帧的相同位置的像素值，difnum(i,j)表示两帧相同位置CTU中的像素差函数，σ代表两帧之间相同位置的CTU的偏差程度；遍历一个CTU中的每一个坐标；根据BCBR算法，计算序列中第二帧图像与第一帧图像中的相同位置的像素值的差值大于20的个数；即将差值大于20的像素块difnum(i，j)置为1，将差值小于20的像素块difnum(i,j)置为0，然后统计值为1的个数，用公式(1)来计算σ值，σ代表两个帧之间的偏差值；若σ结果小于1％则认为第二帧中的该位置的CTU是一个BCBR背景块，将这个CTU存入临时背景帧缓存中，同时将该背景块标上一个标志位说明这个块是一个背景块；在程序中标志位1表示这是一个背景块，标志位0则表示这不是一个背景块；若计算出来的结果大于1％，则说明当前帧中的该位置的CTU不是背景块；继续在这一帧中判断下一个CTU是不是背景块；当遍历完当前帧的所有CTU的时候，会有一部分的CTU被判断为背景块，而另外一部分CTU则被判断为不是背景块；步骤1.2：这时候读取第三帧，仍然先和第二帧比较相同位置的那些还不是背景块的CTU，按照公式(1)和(2)判断当前帧中的CTU是不是背景块，若计算出来的比值小于1％则认为是背景块，遍历第三帧中的CTU又会得到当前帧的部分的背景块；遍历完成后将第三帧和第一帧比较那些还未被判断为背景块的CTU的像素值，此时仍然利用公式(1)和(2)来判断，但是此时的阈值需要改变；若σ的值小于2％则认为当前帧中的该CTU是背景块，若该比值大于2％则认为当前帧中的该CTU不是背景块，该块需要跳过在下一帧中继续找；这样遍历完第三帧后，仍然有很多位置的CTU还没有匹配到背景块；然后读取第四帧，将第四帧与第三帧，第四帧与第二帧按照公式(1)(2)分别进行对比；这样依次往后进行，当读取到第n帧时，将第n帧先和第(n-1)帧比较，阈值设为1％，σ小于1％则被判断被背景块；σ大于1％的需要再次判断然后将第n帧和第(n-2)帧比较，阈值设为2％，σ小于2％则被判断被判断为背景块，σ大于2％，则认为该块不是背景块，在当前帧中跳过不在再判断；这样依次往后读取直到背景帧中的每一个位置的CTU都确定了背景块；步骤二：将运用LDBC...

【专利技术属性】
技术研发人员：赵海武，高远，李豪，何鸣，陈钰，梁聪聪，朱林林，顾晓，余玲芝，陈佳玲，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31