基于在线低秩背景建模的视频序列背景恢复方法技术

本发明专利技术属于视频分析领域，为实现对视频序列的背景进行准确的在线的恢复。本发明专利技术采取的技术方案是，基于在线低秩背景建模的视频序列背景恢复方法，在传统的背景建模基础上引入核范数的低秩矩阵分解和二值化的运动信息估计，从而解决已有技术无法处理的问题。本发明专利技术包括下列步骤：1)将视频序列中背景恢复问题具体地表述为求解如下无约束优化方程：2)构建第k帧运动映射权重向量wk：3)使用交替方向法进行求解：4)求解5)求解6)重复上述步骤4)、5)直到算法收敛；7)使用变量代换进行求解：8)求解9)求解10)重复上述步骤8)、9)直到算法收敛；11)求解视频背景。本发明专利技术主要应用于视频分析场合。

【技术实现步骤摘要】

本专利技术属于视频分析领域。特别涉及基于在线低秩背景建模的视频序列背景恢复方法。
技术介绍
随着互联网和大众媒体的快速发展,视频数据的可用性迅速增加，远远超出了人们手动分析的范围。因此，利用自动视频分析在大量的视频中挖掘感兴趣的信息具有极其重要的意义。背景恢复，作为提取视频中感兴趣目标的一项预处理技术，广泛应用于许多视觉应用中，例如目标检测、目标跟踪和行为识别。近年来，关于解决视频背景恢复问题的方法已经有很多研究成果，一类最主要的方法是基于鲁棒主成分分析(RPCA)的方法，其大致思路是：假定视频背景帧之间是线性相关的，将视频分解成低秩背景和稀疏前景两部分，其中，对于低秩背景的近似采用核范数来约束。这类方法可以同时实现视频背景的恢复和运动前景的检测。但求解核范数就要求对所有视频帧同时进行奇异值分解，因此，限制此方法只能以批处理的方式进行求解，无法实现实时的背景恢复。此外，在求解此类方法时，每迭代一次，都需要对所有的视频帧进行处理，导致算法时间和内存效率较低，不适用于流式视频和大的视频。所以，在大数据的时代背景下，寻找一种有效的在线背景恢复方法是十分必要的。现阶段，针对上述传统批处理RPCA方法的缺点，国内外已经提出了一些在线的背景恢复方法，即可以对单帧视频图像进行实时的处理获得其相应的背景。其思路是：对限制批处理实现方式的核范数项进行低秩矩阵分解，得到背景的基和与基相对应的系数。在此基础上，分别对每一帧视频图像进行矩阵低秩稀疏分解，最终恢复的背景为求解得到的基和系数转置的乘积。这类在线恢复方法可以实时地恢复每一帧图像的背景，极大地提高了算法的内存效率和对流式数据的适用性。但是，因为它忽视了视频的运动信息，所以在前景运动缓慢的区域，恢复的背景中容易出现拖影效应。为克服这一缺点，本专利技术在模型中采用光流算法对运动信息进行估计。
技术实现思路
本专利技术意在弥补现有技术的不足，即实现对视频序列的背景进行准确的在线的恢复。本专利技术采取的技术方案是，基于在线低秩背景建模的视频序列背景恢复方法，在传统的背景建模基础上引入核范数的低秩矩阵分解和二值化的运动信息估计，从而解决已有技术无法处理的问题。本专利技术包括下列步骤：1)将视频序列中背景恢复问题具体地表述为求解如下无约束优化方程：其中||·||F表示矩阵的弗罗贝尼乌斯范数，||·||*表示矩阵的核范数，||·||1表示矩阵的一范数，ο表示两个矩阵的点乘运算，D为实际的视频序列帧依次按列向量排列而成的矩阵，B表示待恢复的背景，E代表前景部分，W表示二值运动场映射权重矩阵，λ1，λ2分别表示视频中低秩背景和前景的权重系数；为解决核范数需要对所有帧一起进行奇异值分解SVD，对待恢复背景B进行低秩矩阵分解： | | B | | * = i n f L , C { 1 2 | | L | | F 2 + 1 2 | | C | | F 2 : B = LC T本文档来自技高网...

【技术保护点】
一种基于在线低秩背景建模的视频序列背景恢复方法，其特征是，步骤如下：1)将视频序列中背景恢复问题具体地表述为求解如下无约束优化方程：其中||·||F表示矩阵的弗罗贝尼乌斯范数，||·||*表示矩阵的核范数，||·||1表示矩阵的一范数，о表示两个矩阵的点乘运算，D为实际的视频序列帧依次按列向量排列而成的矩阵，B表示待恢复的背景，E代表前景部分，W表示二值运动场映射权重矩阵，λ1，λ2分别表示视频中低秩背景和前景的权重系数；为解决核范数需要对所有帧一起进行奇异值分解SVD，对待恢复背景B进行低秩矩阵分解：||B||*=infL,C{12||L||F2+12||C||F2:B=LCT}---(2)]]>其中inf{·}表示对{·}取下确界，L是视频序列背景对应的低维子空间的基，C是视频序列对应于基L的系数矩阵；得到如下的分解模型：求解此方程时，采用交替优化方法，以增量方式最小化如下损失函数：其中n表示视频序列当前的总帧数，dk表示视频序列第k帧的列向量，为第k帧图像dk在基L下所对应的损失函数，其定义如下：其中||·||2表示向量的二范数，w表示当前帧dk的运动映射权重向量，c是dk在基L下的系数向量，e为当前帧的前景部分；求解过程为，在线地对每一帧图像dk依次：估计运动信息计算第k帧运动映射权重向量wk，更新第k帧系数向量ck，更新第k帧前景ek，更新前k帧对应的基Lk；2)构建第k帧运动映射权重向量wk：采用前向运动估计方案在线地求解wk；对第一帧，基于稀疏前景的假设，将二值运动权重全部赋值为1；对于后续帧，分别以第一帧作为参考帧，采用光流算法估计当前帧的稠密运动场，然后将其二值化为运动映射；3)使用交替方向法ADM将方程(5)转换成如下序列进行求解：上式中的表示使目标函数取最小值时的变量c的值，表示使目标函数取最小值时的变量e的值，l是迭代次数；然后按照步骤4)、5)的方法进行迭代求解得到系数向量ck和前景ek；4)求解通过求解最小二乘问题的闭式解求得系数去掉式子(7)中求解第k帧系数向量ck的目标函数里与ck无关的项，得到如下方程：使用最小二乘法求得的解为：ckl+1=(LkTW~kTW~kLk+λ1I)-1LkTW~kTW~k(dk-ekl)---(9)]]>其中表示运动映射wk的对角矩阵，即将向量wk的每个元素依次放到矩阵的主对角线上，I表示单位矩阵；5)求解使用收缩算子求得第k帧前景去掉式子(7)中求解第k帧前景ek的目标函数里与ek无关的项，得到如下方程：对式子(10)使用收缩算子解得：eik=0,sik<λ2wik,sign(|sik|-λ2wik),sik≥λ2wik,---(11)]]>其中eik，sik，wik分别表示ek，sk，wk的第i个像素值，6)重复上述步骤4)、5)直到算法收敛，这时迭代的结果和就是当前帧dk的系数向量ck和前景ek，由得到前k帧图像的系数矩阵Ck；7)使用变量代换将方程(3)转换为如下无约束优化问题进行求解：其中为新引入的变量，Rk＝[r1,...,rk]表示已经求得的当前帧及之前的视频帧的背景，rk＝dk‑ek表示已求得的第k帧图像的背景，λ3为权重系数；使用交替方向法ADM将方程(12)转换成如下序列进行求解：然后按照步骤8)、9)的方法进行迭代求解得到变量Yk和视频序列低维子空间的基Lk；8)求解逐像素方式求得去掉式子(13)中求解Yk的目标函数里与Yk无关的项，得到如下方程：使用最小二乘法，逐像素计算解得：yik=2λ3wik2+2λ3(rik-l^ick)---(15)]]>其中表示基Lk的第i行，yik表示第i行第k列的元素值，rik表示rk的第i个像素值；9)求解通过求解最小二乘问题的闭式解求得基去掉式子(13)中求解Lk的目标函数里与Lk无关的项，得到如下方程：Lkl+1=argminLλ12||Lkl||F2+λ32||Ykl+1-Rk+LklCkT||F2---(16)]]>使用最小二乘法求得的解为：Lkl+1=λ3(Rk-Ykl+1)Ck(λ3CkTCk+λ1I)-1---(17)]]>进一步，引入中间变量Pk＝RkCk，以增量方式高效地求解Lkl+1=λ3(Pk-Xk)(λ3Zk+λ1I)-1---(18)]]>其中：Pk←Pk-1+rkckT,Xk←Xk-1+ykckT,Zk←Zk-1+ckckT,---(19)]]>10)重复上述步骤8)、9)直到算法收敛，这时迭代的结...

【技术特征摘要】
1.一种基于在线低秩背景建模的视频序列背景恢复方法，其特征是，步骤如下：1)将视频序列中背景恢复问题具体地表述为求解如下无约束优化方程：其中||·||F表示矩阵的弗罗贝尼乌斯范数，||·||*表示矩阵的核范数，||·||1表示矩阵的一范数，о表示两个矩阵的点乘运算，D为实际的视频序列帧依次按列向量排列而成的矩阵，B表示待恢复的背景，E代表前景部分，W表示二值运动场映射权重矩阵，λ1，λ2分别表示视频中低秩背景和前景的权重系数；为解决核范数需要对所有帧一起进行奇异值分解SVD，对待恢复背景B进行低秩矩阵分解： | | B | |...

【专利技术属性】
技术研发人员：杨敬钰，杨蕉如，杨雪梦，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12