视频中的移动对象检测制造技术

本公开涉及视频中的移动对象检测。在一个实施例中，视频中的多个帧以非线性方式被转换到高维度图像空间。然后，多个帧的背景可以在高维度图像空间中被建模。前景或移动对象可以基于高维度图像空间中的背景的建模在多个帧中被检测。通过对于描述诸如改变的背景、照明变化、相机运动、噪声等复杂因素更有效力的非线性模型，本发明专利技术的实施例对于在复杂的情况下检测移动对象更加鲁棒和准确。

Moving object detection in video

The present disclosure relates to moving object detection in video. In one embodiment, a plurality of frames in the video are converted to a high dimensional image space in a non-linear manner. Then, the background of multiple frames can be modeled in a high dimensional image space. The foreground or moving object can be detected in multiple frames based on the modeling of the background in the high-dimensional image space. The nonlinear model for the description of the background, such as changes in illumination and camera motion, noise and other complex factors more effective, embodiments of the present invention in complex situations is more robust and accurate detection of moving objects.

【技术实现步骤摘要】
【国外来华专利技术】视频中的移动对象检测
本公开总体上涉及视频处理，并且更具体地涉及视频中的移动对象检测。
技术介绍
检测视频中的诸如人物、汽车等移动对象在诸如智能视频监控、交通监控、车辆导航和人机交互等视频分析中起重要作用。在视频分析过程中，移动对象检测的结果可以被输入到如对象识别、对象跟踪、行为分析等模块中用于进一步处理。因此，移动对象检测的高性能是成功视频分析的关键。在移动对象检测中，背景的检测是一个基本问题。在很多用于视频中的移动对象检测的传统方法中，由于改变的背景，检测精度受到限制。更具体地，如果视频场景的背景包括水波纹或晃动的树，则移动对象的检测容易出错。此外，背景中的照明变化、相机运动和/或其他类型的噪声也可能对移动对象检测产生负面影响。由于背景的变化，在传统解决方案中，背景的多个部分可能被分类为移动对象，而前景的多个部分可能被归类为背景。
技术实现思路
总体上，本专利技术的实施例提供了一种用于视频中的移动对象检测的解决方案。在一个方面，本专利技术的一个实施例提供了一种计算机实现的方法。该方法包括：以非线性方式将视频中的多个帧从初始图像空间转换到高维度图像空间；在高维度图像空间中对多个帧的背景建模；以及基于高维度图像空间中的多个帧的背景的建模来检测多个帧中的移动对象。在另一方面，本专利技术的一个实施例提供一种计算机实现的装置。该装置包括：被配置为以非线性方式将视频中的多个帧从初始图像空间转换到高维度图像空间的图像转换器；被配置为在高维度图像空间中对多个帧的背景建模的建模器；以及被配置为基于高维度图像空间中的多个帧的背景的建模来检测多个帧中的移动对象的移动对象检测器。通过以下描述，应当理解，根据本专利技术的示例实施例，视频中的帧可以被转换到非常高维度的图像空间中。通过使用更强大的用于描述诸如改变的背景、照明变化、相机运动、噪声等复杂因素的非线性模型，本专利技术的实施例对于在复杂的情况下检测移动对象更加鲁棒和准确。此外，本专利技术的实施例实现了较少的假警报和高检测率。附图说明图1示出了根据本专利技术的一个实施例的检测视频中的移动对象的方法的流程图；图2A-图2C示出了通过传统方法和本专利技术的一个实施例获得的移动对象检测的结果；图3示出了根据本专利技术的一个实施例的检测视频中的移动对象的装置的框图；以及图4示出了适于实现本专利技术的示例实施例的示例计算机系统的框图。在整个附图中，相同或相应的附图标记表示相同或相应的部分。具体实施方式现在将参考若干示例实现来讨论本专利技术的示例实施例。应当理解，这些实现被讨论，仅为了使本领域技术人员能够更好地理解并且从而实现本专利技术的实施例，而不是提出对本专利技术的范围的任何限制。如本文中使用的，术语“包括”及其变型应当被视为开放性术语，其意思是“包括但不限于”。术语“或”应当被视为“和/或”，除非上下文另外明确指出。术语“基于”应当被视为“至少部分基于”。术语“一个实现方式”和“实现方式”应当被视为“至少一个实现方式”。术语“另一实现方式”应当被视为“至少一个其他实现方式”。术语“第一”、“第二”、“第三”等可以用于指代不同或相同的对象。下面可以包括其他显式和隐式定义。传统上，使用线性模型来完成移动对象检测中的背景建模。线性模型的基本假设是背景遵循高斯分布。然而，专利技术人已经发现，在实践中通常不是这种情况。因此，线性模型无法充分地描述变化的背景、照明、像机运动、噪声等复杂因素。本专利技术的示例实施例使用非线性模型来对视频中的帧的背景建模。通过使用在描述复杂因素意义上比线性方法更好的非线性模型，可以提高视频中的移动对象检测的准确性和性能。通常，通过将正被处理的视频的原始帧或图像转换或映射到较高维度空间中来实现背景的非线性建模。通过在该高维度图像空间中对转换后的帧的背景进行建模，可以有效和高效地进行初始背景的非线性建模。为了讨论，定义如下多个符号。移动对象检测的输入是视频中的一系列帧或图像，表示为其中表示向量化图像，n表示帧中的像素的数目，T表示被考虑的帧的数目。在下文中，术语“图像”和“帧”可以可互换地使用。目的是找到帧xt中的(多个)移动对象或前景的位置。在本公开的上下文中，术语“前景”和“移动对象”可以可互换地使用。在一个实施例中，前景位置的定位由前景指示符向量s∈{0,1}n来表示。s的像素i是si，其等于0或1，其中si＝1表示帧xt中的像素i是前景，而si＝0表示帧xt中的像素i是背景。也就是，可以根据前景指示符向量来确定前景的像素值：其中ps表示前景提取算子。为了讨论，前景提取算子可以表示为背景的像素值也可以根据前景指示符向量来确定：其中表示背景提取算子。为了讨论，背景提取算子可以表示为现在将讨论本专利技术的一些示例实施例。首先对图1进行参考，图1示出了检测视频中的移动对象的方法100的流程图。根据本专利技术的实施例，视频可以是任何合适的格式。视频可以通过目前已知的或将来开发的任何合适的技术被压缩或编码。如图所示，方法100在步骤110进入，在步骤110，以非线性方式将视频中的多个帧[xt-T,xt-T-1,...,xt-2,xt-1,xt]转换到高维度图像空间中。根据本专利技术的实施例，高维度图像空间的维度m可以非常高。理论上，维度甚至可以无限大。例如，在一个实施例中，可以选择m的值使得m远大于每帧中的像素的数目。以这种方式，可以更好地表征和建模低维度图像空间中的帧之间的非线性相关性。在一个实施例中，为了转换帧，可以使用被表示为φ的非线性转换或映射函数。可以结合本专利技术的实施例来使用任何合适的映射函数。具体地，在一个实施例中，可以使用满足Mercer定理的映射函数以保证转换的紧凑性和收敛性。通过应用映射函数，将初始图像空间中的帧转换到高维度图像空间中，从而获得多个转换后的帧[φ(xt-T),…,φ(xt-1),φ(xt)]。具体地，在一个实施例中，通过选择用于映射函数φ(x)的适当参数，转换后的帧[φ(xt-T),…,φ(xt-1),φ(xt)]可以是线性的，并且因此可以更容易地描述，这将在下面讨论。然而，应当理解，转换后的帧[φ(xt-T),…,φ(xt-1),φ(xt)]在高维度图像空间中不一定是线性的。本专利技术的范围在这方面不受限制。具体地，在一个实施例中，可以将帧转换到高维度图像空间中而不显式地定义映射函数。例如，在一个实施例中，可以通过使用适当的核函数来描述转换后的帧及其建模。下面将讨论这方面的示例实施例。然后，方法100进行到步骤120，其中在高维度图像空间中对多个帧的背景进行建模。传统上，假设帧的背景遵循高斯分布，并且因此通过线性转换矩阵来对其建模，其中d表示基数，并且ui是第i基向量。在这种传统方法中，背景的表示由下式给出：其中表示背景，U′表示U的转置矩阵。因此，背景近似如下：从等式(4)和(5)可以看出，背景和基向量之间的关系总是线性的。然而，帧[xt-T,xt-T-1,...,xt-2,xt-1,xt]可能不是线性的，例如，在存在变化的背景、照明、相机运动、噪声等的情况下。本专利技术人的实验已经发现，传统的线性模型不能鲁棒地描述这种复杂因素。不准确的背景建模又会降低前景中的移动对象的检测率。相反，根据本专利技术的实施例，初始帧在步骤110被转换到高维度图像空间中，并且在步骤120在具有非常高的维度的图像空间中被建本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：以非线性方式将视频中的多个帧转换到高维度图像空间；在所述高维度图像空间中对所述多个帧的背景建模；以及基于所述高维度图像空间中的所述多个帧的所述背景的所述建模来检测所述多个帧中的移动对象。

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：以非线性方式将视频中的多个帧转换到高维度图像空间；在所述高维度图像空间中对所述多个帧的背景建模；以及基于所述高维度图像空间中的所述多个帧的所述背景的所述建模来检测所述多个帧中的移动对象。2.根据权利要求1所述的方法，其中所述高维度图像空间的维度大于所述多个帧中的每个帧中的像素的数目。3.根据权利要求1所述的方法，其中所述在所述高维度图像空间中对所述多个帧的背景建模包括：在所述高维度图像空间中使用线性模型来对多个转换后的帧的背景建模，所述多个转换后的帧通过以所述非线性方式对所述多个帧进行转换而被获得。4.根据权利要求1所述的方法，其中所述检测所述多个帧中的移动对象包括：确定表征所述多个帧的所述背景的所述建模的误差的目标函数；以及基于所述目标函数来检测所述移动对象。5.根据权利要求4所述的方法，其中所述目标函数还表征以下中的至少一项：所述多个帧中的所述移动对象的面积，以及跨所述多个帧的所述移动对象的连接性。6.根据权利要求4所述的方法，其中所述基于所述目标函数来检测所述移动对象包括：确定与所述高维度图像空间相关联的核函数集合；使用所述核函数集合将所述目标函数的至少一部分与所述多个帧的所述背景相关联；以及通过使所述目标函数最小化来检测所述移动对象。7.根据权利要求6所述的方法，其中所述使用所述核函数集合将所述目标函数的至少一部分与所述多个帧的所述背景相关联包括：使用所述核函数集合来将所述目标函数与和所述多个帧中的每个帧中的每个像素相关的前景指示符相关联，所述前景指示符指示相关的所述像素是否属于所述移动对象。8.一种计算机实现的装置，包括：图像转换器，被配置为以非线性方式将视频中的多个帧转换到高维度图像空间；建模器，被配置为在所述高维度图像空间中对所述多个帧的背景建模；以及移动对象检测器，被配置为基于所...

【专利技术属性】
技术研发人员：李晓丽，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI