一种基于正则误差建模的在线视频前景背景分离方法技术

一种基于正则误差建模的在线视频前景背景分离方法，1、实时获取监控系统的视频数据；2、基于视频背景环境实时变化在模型中嵌入能够基于视频背景的变换算子优化变量；3、基于视频前景目标实时变化的特点构建正则误差建模模型；4、结合2、3构建完整的统计模型，并根据最大后验估计方法，得到完整的监控视频前景背景分离模型；5、对视频数据进行下采样，对步骤4的视频数据前景背景分离模型计算进行加速，实现模型的实时求解；6、根据5得到的监控视频数据的前景背景分离结果，实时输出前景和背景。本发明专利技术是一种实现速度快、精度高的在线监控视频前景背景分离方法，在实际应用中对监控视频目标进行侦测、跟踪、识别、分析等具有重要意义。

【技术实现步骤摘要】
一种基于正则误差建模的在线视频前景背景分离方法
本专利技术涉及一种监控视频的视频处理方法，具体涉及一种基于正则误差建模的在线视频前景背景分离方法。
技术介绍
监控视频前景背景分离在现实生活中具有重要的应用价值，比如目标追踪、城市交通监测等等。但是如今监控设备遍布世界各个角落，每天的监控视频数据异常庞大，结构复杂。在保证高精度和高效率的前提下，实时的对监控视频进行前景背景分离依旧是一项巨大的挑战。在图像处理领域中，已有不少的视频前景背景分离的技术。常见的技术包括基于统计假设直接分离的方法，子空间学习的方法和在线分离的方法等。基于统计假设直接分离的方法，对视频的帧数据做某种统计分布的假设，然后基于一些统计量到分离前景背景的目的，比如中值或均值模型，直方图模型等。另外，MoG和MoGG方法对帧数据考虑更加细腻的统计分布假发，使用一些混合分布(比如混合高斯)去拟合各帧数据，得到了更好的分离效果。然而，这些方法均忽略掉了视频的结构信息，例如前景的空间连续性，背景在时间上的相似性等。相比之下，子空间学习的方法则对视频结构信息了比较细致的编码，通过假设视频的背景具有低秩结构，将视频前景的空间连续性，背景在时间上的相似性等结构信息融入到了模型之中，得到的前景背景分离效果比较理想。尽管子空间学习方法已经取得了比较显著的效果，但距离真正的实际应用还有一定的差距。当今社会，视频数据每时每刻都在迅速增长，要求前景背景分离技术在保证高精度的前提下还要有高效率；另一方面，面对时时刻刻不断涌现的监控数据，我们需要提供一种实时的在线分离技术。虽然现在已有一些在线分离方法，但往往不能达到高精度、高效率的双重要求。针对现有技术的不足，提供一种保证高精度的同时又能高效率的对不断出现的监控视频进行实时在线前景背景分离的技术甚为必要，尤其要对视频中存在的动态前景目标类型与动态背景环境变化应该能够有效自适应。
技术实现思路
本专利技术的目的在于提供一种能够更加充分准确的利用视频的结构信息进行统计建模，从而达到更高精度的分离效果，并且能保证处理的高效率的基于正则误差建模的在线视频前景背景分离方法。为达到上述目的，本专利技术采用的技术方案包括如下步骤：步骤S1：在线获取监控系统的视频数据；步骤S2：在视频背景的低秩结构假设基础上构建模型，在模型中嵌入自适应变换因子变量，编码视频背景的动态变化，实现对于真实视频动态背景的自适应建模；步骤S3：基于视频前景目标变化的随机性进行参数化分布建模，使其能够自适应于不同时间不同场景下视频前景的动态变化，进一步对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模；步骤S4：结合步骤S2与步骤S3，构建完整的监控视频前景背景分离的统计模型；步骤S5：在步骤S1上，对视频数据进行下采样，并在此采样数据基础上应用步骤S4的视频数据前景背景分离统计模型对该项应用加速；步骤S6：在步骤S5获得的前景目标之上，对其进行TV连续性建模；步骤S7：根据步骤S5，S6得到的结果，输出最终检测的视频前景目标与背景场景。所述步骤S2构建模型：由于视频数据各帧图像所对应的背景的相似性，该相似性通过对视频图像进行如下低秩表达进行编码：xt＝Utvt+εt(1)其中xt∈Rd表示监控视频的第t帧图像，Ut∈Rd×r为该视频背景的当前表达基，其中r＜＜d，这些基底表达的子空间构成原图像空间的一个低秩子空间，vt∈Rr为组合系数，Utvt表示xt在子空间Ut下的低秩映射表示，εt表示残差；在模型中嵌入自适应变换因子变量，即将模型(1)改进为：其中τt为对图片xt的仿射变换算子变量，表达旋转、平移、扭曲、尺度的视频背景变换。所述步骤S3的参数化分布建模是将模型(2)中的残差变量εt编码为混合高斯分布，使其自适应于不同时间不同场景下视频前景即视频背景残差的动态变化，对应模型为：其中为xt的第i个像素值，为Ut的第i行，表示隐变量，代表第t侦的第i个像素值属于混合高斯分布中的第k个混合成分，且满足Multi表示多项式分布，为第t个混合成分的方差；为对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模，分别对模型(3)中噪音分布变量进行共轭先验形式假设：这里Inv-Gamma表示逆Gamma分布，Dir表示Dirichlet分布，的表达式如下：其中代表隶属度，表示第j侦的第i个像素值属于混合高斯分布中的第k个混合成分的程度，的意义与式(3)中相同。所述步骤S4基于步骤S2，S3构建统计模型：这里P(vt)表示方差足够大的高斯分布，是第t侦的残差εt所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，τt表示自适应变换因子，如(6)式所定义；根据最大后验估计原理，由统计模型转化的视频前景背景分离模型可转化为如下的优化问题，固定Ut＝Ut-1：化简为：其中DKL(·||·)表示KL散度，R(πt，∑t)为噪音正则项，形式为：这里是第t侦的残差εt所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，πt-1，∑t-1表示对应的第t-1侦的混合系数和方差向量，如(6)式所定义，C表示与πt，∑t无关的常数。所述步骤S5中，对第t帧图像建模求解之前进行下采样以加快求解速度，以Ω表示下标集，那么下采样之后得到即Ω＝{k1，k2，…，km|1≤kj≤d，j＝1，2，…，m}相应地，对Ut的行向量进行下采样可得所述步骤5中对(7)中τt进行一阶逼近，对Δτt求解的问题退化为加权最小二乘问题，从而求解如下模型获得更新结果：其中是第t侦的残差εt所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，τt为自适应变换因子变量，J是x在τ处的Jacobi矩阵，ui为基底矩阵U的第i行。所述步骤S5采用EM算法更新在线前景背景分离模型中的参数πt，∑t，vt，以下公式中上标s表示第s次迭代，具体过程包括：S7.1：给出EM算法中E步隶属度的更新公式：S7.2：给出EM算法中M步的迭代格式与终止条件：迭代格式为：其中：迭代终止条件为：S7.3：设置迭代初始值：对初始l帧数据使用PCA方法得到初始子空间分解，然后使用MoG方法初始化参数πt，0，∑t，0，vt，0；S7.4：进行(8)-(13)式的迭代运算，直到满足终止条件(14)式。所述步骤S5中，对第t帧数据，在更新参数πt，∑t，vt，τt的基础上，通过如下模型对背景的基Ut-1进行微调得到更新的Ut：其中模型(15)具有如下的解：其中表示Ut的第i行，和的表达式如下：按(16)-(18)式更新Ut，并输出前景所述步骤S6中，利用监控视频背景连续性特征建立TV范数模型如下：这里||·||TV表示TV范数，为式(19)的输出结果，λ设置为(为最大方差)，以上优化问题转化为：s.t.F＝Zi，i＝1，2(21)其中Z1，Z2∈Rm×n，Si(·)定义如下：利用交替方向乘子法ADMM求解(21)式的TV范数模型：S9.1：给出问题(18)的增广拉格朗日函数：其中P1，P2∈Rm×n，S9.2：建立交替方向乘子法的迭代格式与终止条件：迭代格式为：其中ρ是一个大于1的正数，取1.5；迭代终止条件为：S9.3：对(22)(23)进行求解，给本文档来自技高网...

【技术保护点】
一种基于正则误差建模的在线视频前景背景分离方法，其特征在于包括如下步骤：步骤S1：在线获取监控系统的视频数据；步骤S2：在视频背景的低秩结构假设基础上构建模型，在模型中嵌入自适应变换因子变量，编码视频背景的动态变化，实现对于真实视频动态背景的自适应建模；步骤S3：基于视频前景目标变化的随机性进行参数化分布建模，使其能够自适应于不同时间不同场景下视频前景的动态变化，进一步对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模；步骤S4：结合步骤S2与步骤S3，构建完整的监控视频前景背景分离的统计模型；步骤S5：在步骤S1上，对视频数据进行下采样，并在此采样数据基础上应用步骤S4的视频数据前景背景分离统计模型对该项应用加速；步骤S6：在步骤S5获得的前景目标之上，对其进行TV连续性建模；步骤S7：根据步骤S5，S6得到的结果，输出最终检测的视频前景目标与背景场景。

【技术特征摘要】
1.一种基于正则误差建模的在线视频前景背景分离方法，其特征在于包括如下步骤：步骤S1：在线获取监控系统的视频数据；步骤S2：在视频背景的低秩结构假设基础上构建模型，在模型中嵌入自适应变换因子变量，编码视频背景的动态变化，实现对于真实视频动态背景的自适应建模；步骤S3：基于视频前景目标变化的随机性进行参数化分布建模，使其能够自适应于不同时间不同场景下视频前景的动态变化，进一步对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模；步骤S4：结合步骤S2与步骤S3，构建完整的监控视频前景背景分离的统计模型；步骤S5：在步骤S1上，对视频数据进行下采样，并在此采样数据基础上应用步骤S4的视频数据前景背景分离统计模型对该项应用加速；步骤S6：在步骤S5获得的前景目标之上，对其进行TV连续性建模；步骤S7：根据步骤S5，S6得到的结果，输出最终检测的视频前景目标与背景场景。2.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S2构建模型：由于视频数据各帧图像所对应的背景的相似性，该相似性通过对视频图像进行如下低秩表达进行编码：xt＝Utvt+εt(1)其中xt∈Rd表示监控视频的第t帧图像，Ut∈Rd×r为该视频背景的当前表达基，其中r＜＜d，这些基底表达的子空间构成原图像空间的一个低秩子空间，vt∈Rr为组合系数，Utvt表示xt在子空间Ut下的低秩映射表示，εt表示残差；在模型中嵌入自适应变换因子变量，即将模型(1)改进为：其中τt为对图片xt的仿射变换算子变量，表达旋转、平移、扭曲、尺度的视频背景变换。3.根据权利要求2所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S3的参数化分布建模是将模型(2)中的残差变量εt编码为混合高斯分布，使其自适应于不同时间不同场景下视频前景即视频背景残差的动态变化，对应模型为：其中为xt的第i个像素值，为Ut的第i行，表示隐变量，代表第t侦的第i个像素值属于混合高斯分布中的第k个混合成分，且满足Multi表示多项式分布，为第t个混合成分的方差；为对其嵌入之前视频前景信息的正则化噪音信息编码，实现对于真实视频动态前景的自适应建模，分别对模型(3)中噪音分布变量进行共轭先验形式假设：这里Inv-Gamma表示逆Gamma分布，Dir表示Dirichlet分布，的表达式如下：其中代表隶属度，表示第j侦的第i个像素值属于混合高斯分布中的第k个混合成分的程度，的意义与式(3)中相同。4.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S4基于步骤S2，S3构建统计模型：这里P(vt)表示方差足够大的高斯分布，是第t侦的残差εt所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，tt表示自适应变换因子，如(6)式所定义；根据最大后验估计原理，由统计模型转化的视频前景背景分离模型可转化为如下的优化问题，固定Ut＝Ut-1：化简为：其中DKL(·||·)表示KL散度，R(πt,∑t)为噪音正则项，形式为：这里是第t侦的残差εt所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，4t-1，∑t-1表示对应的第t-1侦的混合系数和方差向量，如(6)式所定义，C表示与πt,∑t无关的常数。5.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S5中，对第t帧图像建模求解之前进行下采样以加快求解速度，以Ω表示下标集，那么下采样之后得到即Ω＝{k1,k2,…,km|1≤kj≤d,j＝1,2,…,m}相应地，对Ut的行向量进行下采样可得6.根据权利要求4所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤5中对(7)中τt进行一阶逼近，对Δτt求解的问题退化为加权最小二乘问题，从而求解如下模型获得更新结果：其中是第t侦的残差εt所属的混合高斯分布的混合系数，表示混合高斯分布各个混合成分的方差，τt为自适应变换因子变量，J是x在τ处的Jacobi矩阵，ui为基底矩阵U的第i行。7.根据权利要求1所述的基于正则误差建模的在线视频前景背景分离方法，其特征在于：所述步骤S5采用EM算法更新在线前景背景分离模型中的参数πt,∑t,vt，以下公式中上标s表示第s次迭代，具体过程包括：S7.1：给出EM算法中E步隶属度的更新公式：

【专利技术属性】
技术研发人员：孟德宇，雍宏巍，岳宗胜，赵谦，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61