用于处理视频数据的方法及系统技术方案

本发明专利技术提供一种用于处理视频数据的方法及系统。在智能视频监视系统中，视频处理软件对从摄像机接收的视频数据执行大量操作，包括前景提取、阴影去除和对象跟踪。所述前景提取阶段将接收到的帧的各像素分类为表示前景或背景。由于阴影区域可能被错误地分类为前景，因此使用包括弱阴影去除（３２）和强阴影去除（３３）的双分支阴影去除操作。弱阴影去除（３２）的目的是仅去除各帧中最严重的阴影。相反的是，强阴影去除（３３）的目的是去除各帧中每个阴影。通过比较两个得到的图像中的前景区域的交叠，可以识别出由于强阴影去除而导致成为碎片的前景区域，然后将它们分类为表示共同的前景对象。前景对象在其形状方面得到了较好的限定，后续处理步骤将不把成为碎片的区域视为表示独立的对象。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于处理视频数据的方法及系统，具体地，但非专门地涉及一种在智能视频系统中用于处理视频数据的方法及系统。
技术介绍
智能视频系统在本领域中是公知的。通常，这种系统接收视频帧作为输入，并试图使用背景减去技术以从图像内的背景中区分出感兴趣的对象(例如，运动对象等)，来检测该图像内感兴趣的对象。也可以使用其他技术，例如基于运动的检测技术。检测到单个输入帧内的对象之后，该系统还可以用于使用检测到的对象的某些特有特征逐帧地跟踪该检测到的对象。典型的智能视频系统包括多个处理阶段，如图1所示。在背景学习阶段1中，使用视频数据的初始片段建立背景模型。由于与前景中的对象相比，背景场景通常保持静止，因此该阶段生成在其中不应看到任何运动的前景对象的背景模型。在第二阶段3中，对各进入的视频帧执行前景提取和背景自适应。将进入的帧与背景模型进行比较，以确定哪些图像像素表示前景对象及哪些图像像素表示背景。各像素由此被分类，得到的图像称作对象掩模。而且，背景模型中的小的改变被自适应地更新。在第三阶段5中，逐帧地跟踪对象掩模中识别出的前景区域。在当前帧的前景对象与在先前的帧中已经跟踪到的前景对象之间建立对应。维护轨迹数据库，使得更高级的应用可以利用各前景对象的跟踪历史，该更高级的应用例如可以显示指示视频中的一个或更多个前景对象所经的累计路径的踪迹线。可以使用对象分类应用对各前景对象的形状与真实世界对象的数据库进行比较。如果发现了匹配，则将该前景对象适当地分类为(例如)“人”或“车辆”。在处理各帧之后，通常对背景模型执行有效性检查，以确保其仍有效。显著的或突然的改变可能需要学习新的背景模型。智能视频系统用于视频监视是有利的。在许多监视情况下，对于人类操作者来说，同时监视大量视频屏幕是不切实际的。通过识别对象并监视其各自随时间的运动，操作者无需一直监视特定显示器。在当操作者未监视该显示器时出现事件的情况下，对象所经的累计路径是可见的，并且还可以离线地使用该视频系统回顾该事件。美国专利申请公报No.2003/0053659 A1中公开了一种已知的智能视频系统。现有技术中的已知问题是由进入的视频中出现的阴影导致的。通常，阴影将导致图像区域看起来比其真实亮度暗。因此，在前景提取阶段，投射阴影区域可能被不正确地检测为前景，而事实上，该区域的像素实际上表示背景。由此，阴影可能导致来自前景提取阶段3的对象掩模表现出前景形状的畸变的表示。这在视频系统的后续处理阶段中具有明显的缺点，尤其在该阶段需要识别对象的形状的情况下更为严重。类似的问题是由加亮区的出现导致的。在该情况下，加亮区将导致图像区域看起来比其真实亮度亮。已经提出了使用色恒定性信息和/或纹理信息来识别并去除阴影。然而，这种技术具有缺点。在确保大部分(即使不是全部)阴影被去除的情况下，真实前景区域也可能被去除。这是由于自阴影(即，对象投射在其自身上的阴影)导致的特殊问题。这导致其中出现前景对象的图像成为碎片。后续处理阶段可能将成为碎片的各部分视为独立的对象。Horprasert等人在“A Statistical Approach for Real-Time RobustBackground Subtraction and Shadow Detection”(IEEE ICCV Frame RateWorkshop，1999)中公开了一种已知的阴影去除方法。
技术实现思路
根据本专利技术的第一方面，提供一种对表示视频帧的像素的数据进行处理的方法，所述像素已被预分类为属于前景区域或背景区域，该方法包括以下步骤(a)在所述视频帧中识别包括有两个或更多个邻接的前景像素的区域；(b)通过使用预定算法，在所述视频帧中将一个或更多个前景像素识别为要重新分类的候选像素；(c)将所述候选像素重新分类为背景像素，并生成包括所述重新分类的像素的比较帧；(d)从所述比较帧中识别其各自的帧位置都在步骤(a)中识别出的区域内的前景像素；以及(d)将步骤(d)中识别出的前景像素分类为表示共同的前景对象。所述方法提供了一种例如在阴影去除操作中将前景像素重新分类为背景像素的有利途径。通过对重新分类之前和之后的前景区域的交叠进行比较，可以识别成为碎片的前景区域，然后将他们分类为表示共同的(即，同一)前景对象。前景对象在其形状方面得到了较好的限定，后续处理阶段将不把成为碎片的区域视为独立的对象。所述方法在视频监视中提供了特别的优点。将表示多个视频帧的数据从诸如视频摄像机的源发送给被设置来执行上述步骤的计算机系统。可以实时地执行这些步骤，并在屏幕上显示经处理的图像数据。所述方法不限于视频监视应用。事实上，所述方法可以用于任何需要从背景中提取前景区域的应用。虚拟现实(VR)系统是利用前景提取的应用的另一示例。在说明书中，只要前景像素各自在帧中的位置彼此紧邻，就认为他们是邻接的，而与方向无关。优选的是，步骤(b)包括以下步骤识别一个或更多个亮度(Yf)与占据基准帧的相应基准像素的亮度(Yb)不同的前景像素；根据所述候选像素的颜色分量与所述基准像素的颜色分量之间的预定关系，向所述识别出的像素或各识别出的像素分配参数；以及对所述参数进行与指示是否应将所述像素分类为候选像素的值的范围的比较。所述基准帧可以包括存储的从背景学习操作获得的背景帧。上述参数可以由下式给出RfRb+GfGb+BfBbRb2+Gb2+Bb2]]>其中，Rf、Gf、Bf分别表示前景像素的红色分量、绿色分量和蓝色分量，而Rb、Gb、Bb分别表示基准像素的红色分量、绿色分量和蓝色分量。如将在具体描述中描述的，另选的、更加复杂的表达式可以用于计算该数值参数。在另选的实施例中，步骤(b)包括以下步骤识别一个或更多个亮度(Yf)与占据基准帧的相应基准像素的亮度(Yb)不同的前景像素；根据所述候选像素的颜色分量与所述基准像素的颜色分量之间的各自不同的第一关系和第二关系，向所述识别出的像素或各识别出的像素分配第一参数和第二参数；以及对所述第一参数和所述第二参数进行分别与指示是否应将所述像素分类为候选像素的值的第一范围和第二范围的比较。在该另选的实施例中，所述第一参数由下式给出α2·Rf·Rb+β2·Gf·Gb+γ2·Bf·Bbα2·Rb2+β2·Gb2+γ2·Bb2]]>其中，α、β和γ为亮度系数。步骤(a)中识别出的区域优选地包含其尺寸足以包括各邻接的前景像素的矩形像素阵列。优选的是，所述阵列的各边缘都包括所述邻接的前景像素中的至少一个。根据本专利技术的第二方面，提供了一种对表示视频帧的像素的数据进行处理的方法，所述像素已被预分类为属于前景区域或背景区域，该方法包括以下步骤(a)将一个或更多个前景像素识别为要重新分类的候选像素；(b)根据所述候选像素与基准像素之间的预定关系，向各候选像素分配数值参数本文档来自技高网...

【技术保护点】
一种对表示视频帧的像素的数据进行处理的方法，所述像素已被预分类为属于前景区域或背景区域，该方法包括以下步骤：（ａ）在所述视频帧中识别包括有两个或更多个邻接的前景像素的区域；（ｂ）使用预定算法，在所述视频帧中将一个或更多个前景像素识别为要重新分类的候选像素；（ｃ）将所述候选像素重新分类为背景像素，并生成包括所述重新分类后的像素的比较帧；（ｄ）从所述比较帧中识别其各自的帧位置都在步骤（ａ）中识别出的所述区域内的前景像素；以及（ｅ）将步骤（ｄ）中识别出的所述前景像素分类为表示共同的前景对象。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：雷帮军，许利群，
申请(专利权)人：英国电讯有限公司，
类型：发明
国别省市：GB[英国]