一种基于视频帧间低秩关联信息一致性的实时物体追踪方法技术

本发明专利技术公开了一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，该方法将视频分为每段k帧的帧段，然后分别对具有相对一致背景的分割好的视频帧段上执行低秩分析，从而得到显著物体的运动轨迹。步骤如下：首先采用基于双边随机映射的低秩分析来准确的跟踪短期稳定的视频帧段背景。然后为了消除由于观测角度变化引起的视觉变化带来的副作用，将低秩背景先验结合到前一帧段中来对当前帧段求解基于鲁棒显著运动检测的RPCA低秩恢复。同时利用从稳定的帧段中提取的一系列特征线索加快对低秩背景信息的更新，更有效的克服一些顽固的问题。本发明专利技术能够从视频中准确的检测出运动物体，并能够在动态视频中取得同样的效果，具有检测速率高，鲁棒性好，抗干扰性强等特点。

【技术实现步骤摘要】
一种基于视频帧间低秩关联信息一致性的实时物体追踪方法
本专利技术涉及显著运动检测的
，具体涉及一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，其为一种基于分块解决策略的低秩分析和利用视频帧间的时空语义联系的显著运动检测方法。
技术介绍
显著运动检测是当前计算机视觉、模式识别领域一个非常热门的研究方向，他对很多具体应用包有很大的帮助，包括物体追踪、视频监控、交通控制、入侵检测等。尽管对显著运动检测的研究在近几年取得了非常大的成果，但传统的一些局限性仍然没有得到很好的解决，特别是对于非静态视频，这很大的限制了基于运动追踪的智能系统在现实和复杂的场景的应用范围。因此新的能够在非静态视频中有效的方法是我们迫切需要的。在近些年最先进的显著运动检测方法中，基于建模的方法往往需要很强的假定：视频从静态相机中获取，连续帧中的像素具有很好的空间相关性，所以它们可以直接使用基于像素的背景模式变化来检测显著运动。这样的方法包括高斯模型、高斯混合模型(GMM)，扩展高斯混合模型。但是这些技术方法仍然很难解决相对复杂的一些现实的视频，如相机抖动引起的动态背景。同时也有很多先进的运动追踪方法采用追踪检测的方法，它们通过相邻视频帧之间像素的相关性逐帧从背景中检测显著性运动。然而这些方法往往需要认为的设置目标运动以及限制追踪数量，并且目标模型需要尽力去调试，这种情况下不正确的匹配往往会得到错误的结果。为了解决这些问题，近些年基于低秩分析的方法被引入到显著运动检测中，其思想是低秩性不止能表示出相关的背景还能为显著运动建立联系，在这种方法中显著运动被表示为低秩分解的稀疏部分。即使有这些最新的研究，对大多数复杂的非动态视频，简单的使用低秩分析依旧会遇到很多困难。总的困难有：对无约束的视频进行长时间的鲁棒运动追踪仍然存在很大困难，特别是对于长时间非静态向旋转及变焦(PTZ)视频。由于传统的低秩运动检测方法主要注重在全局视角对背景建模，所以在面对背景会随时间变化的情况时会出现很大的错误。经典的基于鲁棒主成分分析(RPCA)的低秩分析认为显著运动相对于具有低秩的背景而言是稀疏的，然而在某些时候这样的假定并不是全部成立的。显著运动检测需要选择性的选定显著的运动，然后很多低秩追踪都忽略了上下文迭代来解决间歇移动目标。为了解决上述问题，本专利技术提出了一种分割解决的策略来解决长视频的背景变动问题，结合稳定的背景先验和时空关联信息到一个效果显著的低秩分析模型中，结合多种新的计算策略，得到比现有方法更好的效果。该方法具有显著运动检测的精度高，稳定性好，计算代价低等特点。
技术实现思路
本专利技术要解决的技术问题是：通过分割解决的策略解决长视频中背景会发生变化的问题，根据短时间内帧的背景变化相对很小的特点来进行处理，选取连续的m帧具有相对一致的背景，具有低秩的特性；采用校正RPCA将背景进行校正，消除其他干扰因素，如相机抖动、视角变化等；将前一帧段的背景信息引入到本帧段内低秩分解的过程中，利用视频帧与帧之间的关联性解决一些噪声以及显著运动的干扰；利用动态背景与静态背景以及运动物体的变化幅度频率的不同区分是否动态背景，达到准备确定显著运动的效果。本专利技术采用的技术方案为：一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，包括以下六个步骤：步骤(1)、局部背景追踪：首先需要对图像进行基于局部约束的压缩感知的目标物体特征描述，在此基础上对背景进行一个追踪，也就是选取一块区域作为跟踪块，将其特征化，在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d的圆作为候选区域的中心，采用BRP(双边随机映射)来找到最佳点。步骤(2)、全局背景追踪：在步骤(1)的基础上，将一帧图像分为9个子区域，分别对这九个子区域进行追踪，找到它们的中心点在下一帧的位置，根据这9个子区域的特征赋予相应的权重，最后综合这9个子区域的位置变化来描述两帧之间背景的运动变化，然后再将图像帧背景通过反方向移动使得其与上一帧背景保持相对一致。步骤(3)、基于校正RPCA的低秩背景恢复：在步骤(1)、(2)中已经获取了具有相对一致背景的视频帧段之后，由于视角变化、相机抖动等干扰因素对背景的影响，会使得效果不能达到预期，需要对这些干扰因素进行建模，即假定背景乘以τ之后将之前的干扰消除。然后我们对新得到的背景模型进行低秩分解，对其求解得到τ，就可以得到校正后的背景。步骤(4)、低秩先验的偏RPCA显著运动检测：由于在一个帧段中帧的数量有限，许多与显著运动物体相关的小部分会一直表现为显著。本专利技术提出引入上一帧段的低秩背景信息到这个帧段的低秩分解过程，以之前的显著性信息来更正这样一些错误。步骤(5)、使用显著信息更新低秩背景先验：由于物体运动之后移走的部分被背景所填充，在低秩分解中会错误的被对待，所以需要对前一帧段检测到的显著运动物体进行显著程度分析来更新当前的低秩信息，在计算过程中我们使用逐块(超像素)的计算代替传统方法的逐像素计算以减少计算量，将显著程度代入到当前低秩先验的更新中，显著度的计算使用RGB特征来计算。步骤(6)、动态背景的显著信息：根据动态背景区域的稀疏程度比静态背景变化的更频繁、当运动物体经过时动态背景的稀疏度变化相对弱、运动物体的稀疏度变化幅度和时间都会比动态背景更多，逐批的计算变动的次数与事先定义的阈值来衡量显著程度，以此来分辨出动态背景与运动物体。进一步的，步骤(1)中所述的局部背景追踪，该方法对背景进行追踪，选取背景区域作为跟踪块，将其特征化，通过TRACKING的方法在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d的圆作为候选区域的中心，将它们表示为一个矩阵的形式，进行低秩分解，采用BRP(双边随机映射)来找到最佳点。进一步的，步骤(2)中所述的全局背景追踪，该方法将一帧图像分为9个子区域，使用步骤(1)的方法分别对这九个子区域进行追踪，找到它们的中心点在下一帧的位置，并充分结合这9个子区域的结果，极大地避免了由于异常带来的干扰，得到鲁棒性强的结果。进一步的，步骤(3)中所述的基于校正RPCA的低秩背景恢复，该方法将当前帧段所有帧组成的矩阵进行低秩分解，加入其他因素τ的建模，在最后用背景乘以τ来得到真正具有一致性的背景。进一步的，步骤(4)中所述的低秩先验的偏RPCA显著运动检测，该方法引入上一帧段的低秩背景信息，结合到本帧段的低秩分解过程，通过将信息加入到背景矩阵G的最后一列，来影响低秩矩阵L的更新，使得之前的低秩信息能够在当前帧中起到一个标准的作用。进一步的，步骤(5)中所述的用显著信息更新低秩背景先验，该方法对前一帧段检测到的显著运动物体进行显著程度分析来更新当前的低秩信息，使用逐块(超像素)计算代替传统方法的逐像素计算减少计算量，将显著程度代入到当前低秩先验矩阵L的更新中，显著度的计算使用RGB特征来计算。进一步的，步骤(6)中所述的动态背景的显著信息，该方法根据动态背景区域的稀疏程度比静态背景变化的更频繁、当运动物体经过时动态背景的稀疏度变化相对弱、运动物体的稀疏度变化幅度和时间都会比动态背景更多等三个特征，计算视频帧区域的稀疏程度变换的次数以及幅本文档来自技高网...

【技术保护点】
一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，其特征在于：包括以下六个步骤：步骤(1)、局部背景追踪：首先需要对图像进行基于局部约束的压缩感知的目标物体特征描述，在此基础上对背景进行一个追踪，也就是选取一块区域作为跟踪块，将其特征化，在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d的圆作为候选区域的中心，采用BRP(双边随机映射)来找到最佳点；步骤(2)、全局背景追踪：在步骤(1)的基础上，将一帧图像分为9个子区域，分别对这九个子区域进行追踪，找到它们的中心点在下一帧的位置，根据这9个子区域的特征赋予相应的权重，最后综合这9个子区域的位置变化来描述两帧之间背景的运动变化，然后再将图像帧背景通过反方向移动使得其与上一帧背景保持相对一致；步骤(3)、基于校正RPCA的低秩背景恢复：在步骤(1)、(2)中已经获取了具有相对一致背景的视频帧段之后，由于视角变化、相机抖动等干扰因素对背景的影响，会使得效果不能达到预期，需要对这些干扰因素进行建模，即假定背景乘以τ之后将之前的干扰消除，然后对新得到的背景模型进行低秩分解，对其求解得到τ，就可以得到校正后的背景；步骤(4)、低秩先验的偏RPCA显著运动检测：由于在一个帧段中帧的数量有限，许多与显著运动物体相关的小部分会一直表现为显著，引入上一帧段的低秩背景信息到这个帧段的低秩分解过程，以之前的显著性信息来更正这样一些错误；步骤(5)、使用显著信息更新低秩背景先验：由于物体运动之后移走的部分被背景所填充，在低秩分解中会错误的被对待，所以需要对前一帧段检测到的显著运动物体进行显著程度分析来更新当前的低秩信息，在计算过程中我们使用逐块(超像素)的计算代替传统方法的逐像素计算以减少计算量，将显著程度代入到当前低秩先验的更新中，显著度的计算使用RGB特征来计算；步骤(6)、动态背景的显著信息：根据动态背景区域的稀疏程度比静态背景变化的更频繁、当运动物体经过时动态背景的稀疏度变化相对弱、运动物体的稀疏度变化幅度和时间都会比动态背景更多，逐批的计算变动的次数与事先定义的阈值来衡量显著程度，以此来分辨出动态背景与运动物体。...

【技术特征摘要】
1.一种基于视频帧间低秩关联信息一致性的实时物体追踪方法，其特征在于：包括以下六个步骤：步骤(1)、局部背景追踪：首先需要对图像进行基于局部约束的压缩感知的目标物体特征描述，在此基础上对背景进行一个追踪，也就是选取一块区域作为跟踪块，将其特征化，在下一帧中寻找与其最相似的一块，由于背景在相邻几帧之内变化幅度很小，所以选取以这个区域中心点为中心，半径为d的圆作为候选区域的中心，采用BRP(双边随机映射)来找到最佳点；步骤(2)、全局背景追踪：在步骤(1)的基础上，将一帧图像分为9个子区域，分别对这九个子区域进行追踪，找到它们的中心点在下一帧的位置，根据这9个子区域的特征赋予相应的权重，最后综合这9个子区域的位置变化来描述两帧之间背景的运动变化，然后再将图像帧背景通过反方向移动使得其与上一帧背景保持相对一致；步骤(3)、基于校正RPCA的低秩背景恢复：在步骤(1)、(2)中已经获取了具有相对一致背景的视频帧段之后，由于视角变化、相机抖动等干扰因素对背景的影响，会使得效果不能达到预期，需要对这些干扰因素进行建模，即假定背景乘以τ之后将之前的干扰消除，然后对新得到的背景模型进行低秩分解，对其求解得到τ，就可以得到校正后的背景；步骤(4)、低秩先验的偏RPCA显著运动检测：由于在一个帧段中帧的数量有限，许多与显著运动物体相关的小部分会一直表现为显著，引入上一帧段的低秩背景信息到这个帧段的低秩分解过程，以之前的显著性信息来更正这样一些错误；步骤(5)、使用显著信息更新低秩背景先验：由于物体运动之后移走的部分被背景所填充，在低秩分解中会错误的被对待，所以需要对前一帧段检测到的显著运动物体进行显著程度分析来更新当前的低秩信息，在计算过程中我们使用逐块(超像素)的计算代替传统方法的逐像素计算以减少计算量，将显著程度代入到当前低秩先验的更新中，显著度的计算使用RGB特征来计算；步骤(6)、动态背景的显著信息：根据动态背景区域的稀疏程度比静态背景变化的更频繁、当运动物体经过时动态背景的稀疏度变化相对弱、运动物体的稀疏度变化幅度和时间都会比动态背景更多，逐批的计算变动的次数与事先定义的阈值来衡量显著程度，以此来分辨出动态背景与运动物体。2.根据权利要求1所述的基于视频帧间低秩关联信息一致性的实时物体追踪方法，其特征在...

【专利技术属性】
技术研发人员：郝爱民，李帅，丛宇，
申请(专利权)人：北京众绘虚拟现实技术研究院有限公司，
类型：发明
国别省市：北京,11