一种面向复杂场景的鲁棒性及自适应性背景复原方法技术

本发明专利技术涉及一种面向复杂场景的鲁棒性及自适应性背景复原方法，属于图形图像处理领域；它解决了目前背景复原方法无法应对场景中高动态干扰的问题；其技术方案是：在时间域使用相关性像素点

【技术实现步骤摘要】
一种面向复杂场景的鲁棒性及自适应性背景复原方法


[0001]本专利技术涉及一种面向复杂场景的鲁棒性及自适应性背景复原方法，属于图形图像处理领域。

技术介绍

[0002]背景复原技术在计算机视觉及图像处理领域中有着重要作用，是计算机视觉及图像处理高级应用的基础，在纯净的背景图像上进行操作能够提高这些高级应用的效果，如：目标检测、视频修复、目标跟踪等，因此，背景复原技术具有很大的研究价值。目前的背景复原研究主要分为：基于时间域的统计方法，如GMM(gaussian mixture model)、KDE(nonparametric kernel density estimation)；基于稳定子序列的方法，利用预先检测出的稳定像素序列结合马尔科夫随机场生成背景；基于迭代模型的方法，首先挑选出背景部分区域，由该区域迭代补全前景区域。基于深度学习的方法，如基于卷积神经网络CNN(Convolutional Neural Network)或基于生成式对抗网络GAN(Generative Adversarial Network)的方法进行背景复原。本文将会系统的阐述不同方法的适用原理、适用条件与存在的问题等，并提出能够在复杂场景中进行准确背景复原的方法。
[0003]基于时间域的统计方法是目前的主流方法，时间域上具有丰富的背景信息为背景复原做参考，但仅用时间域统计信息进行复原无法适应当前测试帧的高动态变化。基于稳定子序列的方法对训练图像要求严格，只能在某些简单场景中才能取得良好的背景复原效果。基于迭代模型的方法使用聚类思想，以背景作参考，使用背景簇中的信息填补前景区域，同样缺少对于适应当前图像变化的处理。基于深度学习的方法有着良好的背景复原效果，特别是在训练图像较少时，通过少量几帧图像就能合成相关背景图像，但存在计算量较大，合成的背景图像质量较低等缺点。
[0004]总体而言，目前的背景复原算法大致只以时间域或只以空间域信息作为参考，缺少应对复杂环境适应性及算法本身复原效果的鲁棒性，且时间成本耗费较大，背景复原效果并不理想。

技术实现思路

[0005]本专利技术目的是：为了解决现如今背景复原图像精度不够，且鲁棒性、自适应性较差，时间效率较低的问题，本专利技术基于时间域背景模型，结合图像分割及图像聚类算法，结合测试图像中空间域信息，实现对背景图像的准确估计。
[0006]为实现上述目的，本专利技术提供了一种面向复杂场景的鲁棒性及自适应性背景复原方法，该方法包括以下步骤：
[0007]S100、选择视频序列中包含背景信息较多的图像作为训练帧，使用MATLAB开发工具，将图像在空间上划分为尺寸相等的矩阵区域，计算每一帧中矩阵块对应区域的均值；
[0008]S101、使用MATLAB编程语言对训练图像进行切分，其中，切分后的每一个矩阵块为，其中，k表示第k个块的均值序列，无量纲；
[0009]S102、计算矩阵块均值的公式为式中：x，y为像素点坐标，无量纲；p(x，y)为坐标(x，y)处对应的像素点强度值，无量纲；m，n为每个矩阵块的宽度和高度，无量纲；为所求出的矩阵块均值，无量纲；
[0010]S200、对于训练图像中的每一个像素点在时间上的序列，在RGB三个通道上，找到K个与其具有强相关性的块均值序列；
[0011]S201、对于每一个像素点序列，遍历图像中的所有块均值序列，两者之间计算皮尔森相关性系数以表示像素点序列与块均值序列之间的相关性，每一个像素点序列找到K个相关性最强的块序列；皮尔森相关性系数计算公式为相关性最强的块序列；皮尔森相关性系数计算公式为式中：γ
k
为目标像素点序列与第k个块均值序列计算出的皮尔森相关性系数，无量纲；p表示像素点序列，无量纲；为块均值序列，无量纲；为像素点序列与块均值序列之间的协方差，无量纲；σ
p
和分别表示像素点序列和块序列的标准差，无量纲；协方差公式为式中：p
t
表示第像素点序列第t帧的值，无量纲；表示像素点序列均值，无量纲；表示第t帧中的块均值，无量纲；表示块均值序列的均值，无量纲；像素点序列的标准差公式为式中：t表示训练图像中的第t帧，无量纲；T表示训练图像总帧数，无量纲；p
t
表示第t帧像素点序列的值，无量纲；表示像素点序列均值，无量纲；块均值序列的标准差公式为：像素点序列均值，无量纲；块均值序列的标准差公式为：式中：t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；表示第t帧中的块均值，无量纲；表示块均值序列的均值，无量纲；
[0012]S202、对于每一个像素点序列，将块序列与其计算出的皮尔森相关性系数排序，挑选出K个相关性系数最强的块序列，构建具有相关性的像素点
‑
像素块结构，其结构表示为：式中：表示与目标像素点具有强相关性的第k个块，无量纲；对于训练图像中的每一个像素点序列，求得这样结构的像素点
‑
像素块结构与之对应；
[0013]S300、对于每一个具有强相关性的像素点序列与块均值序列，在RGB三个通道上，计算其差值的均值与方差，以构建高斯背景模型；
[0014]S301、其差值的计算公式为式中：I
p
为像素点序列值，无量纲；为块均值序列值，无量纲；Δ
k
表示差值序列的值，无量纲；
[0015]S302、计算差值序列的均值，均值公式为式中：为第t帧训练图像中目标像素点和对应第k个块的块均值之间的差，无量纲；T表示训练图像总帧数，无量纲；
[0016]S303、计算差值序列的方差，方差公式为式中：Δk
t
为第t帧的差值，无量纲；b
k
为差值序列的均值，无量纲；t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；
[0017]S304、以均值b
k
和方差构建高斯背景模型，高斯背景模型公式为和方差构建高斯背景模型，高斯背景模型公式为式中：σ为差值序列的标准差，无量纲；σ2为差值序列的方差，无量纲；μ为差值序列的均值，无量纲，等同于上文b
k
；e为自然对数的底数，常数；π为圆周率，常数；
[0018]S400、对于测试图像，遍历其所有像素点，判断目标像素点是否符合与之对应的高斯背景模型，如符合则标记为背景，不符合则标记为前景，由此进行前景目标检测；
[0019]S401、前景检测公式为式中：ω
k
为待检测像素点对应的第k个相关性块的评估结果，无量纲；p为当前测试帧中的待检测像素点值，无量纲；为待检测像素点值的第k个相关性块的均值，无量纲；b
k
为该像素点
‑
像素块结构构造的高斯模型中的均值，无量纲；σ
k
为背景模型的标准差，无量纲；η取值为0.25，常数；
[0020]S402、待检测像素点与K个相关性块具有强相关性，与第k个块之间的相关性强弱数值由γ
k
表示，每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向复杂场景的鲁棒性及自适应性背景复原方法，其特征在于，所述方法包括以下步骤：S100、选择视频序列中包含背景信息较多的图像作为训练帧，使用MATLAB开发工具，将图像在空间上划分为尺寸相等的矩阵区域，计算每一帧中矩阵块对应区域的均值；S101、使用MATLAB编程语言对训练图像进行切分，其中，切分后的每一个矩阵块为其中，k表示第k个块的均值序列，无量纲；S102、计算矩阵块均值的公式为式中：x，y为像素点坐标，无量纲；p(x,y)为坐标(x,y)处对应的像素点强度值，无量纲；m，n为每个矩阵块的宽度和高度，无量纲；为所求出的矩阵块均值，无量纲；S200、对于训练图像中的每一个像素点在时间上的序列，在RGB三个通道上，找到K个与其具有强相关性的块均值序列；S201、对于每一个像素点序列，遍历图像中的所有块均值序列，两者之间计算皮尔森相关性系数以表示像素点序列与块均值序列之间的相关性，每一个像素点序列找到K个相关性最强的块序列；皮尔森相关性系数计算公式为式中：γ
k
为目标像素点序列与第k个块均值序列计算出的皮尔森相关性系数，无量纲；p表示像素点序列，无量纲；为块均值序列，无量纲；为像素点序列与块均值序列之间的协方差，无量纲；σ
p
和分别表示像素点序列和块序列的标准差，无量纲；协方差公式为式中：p
t
表示第像素点序列第t帧的值，无量纲；表示像素点序列均值，无量纲；表示第t帧中的块均值，无量纲；表示块均值序列的均值，无量纲；像素点序列的标准差公式为式中t表示训练图像中的第t帧，无量纲；T表示训练图像总帧数，无量纲；p
t
表示第t帧像素点序列的值，无量纲；表示像素点序列均值，无量纲；块均值序列的标准差公式为：式中：t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；表示第t帧中的块均值，无量纲；表示块均值序列的均值，无量纲；S202、对于每一个像素点序列，将块序列与其计算出的皮尔森相关性系数排序，挑选出K个相关性系数最强的块序列，构建具有相关性的像素点
‑
像素块结构，其结构表示为：式中：表示与目标像素点具有强相关性的第k个块，无量纲；对于训练图像中的每一个像素点序列，求得这样结构的像素点
‑
像素块结构与之对应；S300、对于每一个具有强相关性的像素点序列与块均值序列，在RGB三个通道上，计算其差值的均值与方差，以构建高斯背景模型；
S301、其差值的计算公式为式中：I
p
为像素点序列值，无量纲；为块均值序列值，无量纲；Δ
k
表示差值序列的值，无量纲；S302、计算差值序列的均值，均值公式为式中：为第t帧训练图像中目标像素点和对应第k个块的块均值之间的差，无量纲；T表示训练图像总帧数，无量纲；S303、计算差值序列的方差，方差公式为式中：Δk
t
为第t帧的差值，无量纲；b
k
为差值序列的均值，无量纲；t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；S304、以均值b
k
和方差构建高斯背景模型，高斯背景模型公式为和方差构建高斯背景模型，高斯背景模型公式为式中：σ为差值序列的标准差，无量纲；σ2为差值序列的方差，无量纲；μ为差值序列的均值，无量纲，等同于上文b
k
；e为自然对数的底数，常数；π为圆周率，常数；S400、对于测试图像，遍历其所有像素点，判断目标像素点是否符合与之对应的高斯背景模型，如符合则标记为背景，不符合则标记为前景，由此进行前景目标检测；S401、前景检测公式为式中：ω
k
为待检测像素点对应的第k个相关性块的评估结果，无量纲；p为当前测试帧中的待检测像素点值，无量纲；为待检测像素点值的第k个相关性块的均值，无量纲；b
k
为该像素点
‑
像素块结构构造的高斯模型中的均值，无量纲；σ
k
为背景模型的标准差，无量纲；η取值为0.25，常数；S402、待检测像素点与K个相关性块具有强相关性，与第k个块之间的相关性强弱数值由γ
k
表示，每个像素点
‑
像素块结构的前景检测结果由ω
k
表示，则最终的前景检测结果表示为：如果满足Γ>λ
·
Γ
all
...

【专利技术属性】
技术研发人员：周文俊，邓宇恒，彭博，张全，
申请(专利权)人：西南石油大学，
类型：发明
国别省市：