使用对象边界框的视频片段中的重影去除的系统和方法技术方案

描述了一种用于视频片段中的重影去除的系统。在操作期间，所述系统生成背景减除图，并且通过背景减除来生成包围检测前景对象的原始边界框。然后，生成检测前景图。所述检测前景图包括通过视频片段中的两个连续帧的差异获得的检测前景的至少两个检测前景(DF)边界框。此外，然后将所述原始边界框修整成修整框，所述修整框是包含所述至少两个DF边界框的最小框。所述修整框被指定为包含真实世界对象，所述修整框然后可以被用于对象跟踪。

【技术实现步骤摘要】
【国外来华专利技术】使用对象边界框的视频片段中的重影去除的系统和方法政府权利本专利技术以合同编号为HR0011-13-C-0052的美国政府UPSIDE合同下的政府支持来进行。该政府在本专利技术中具有特定权利。相关申请的交叉引用这是2016年4月6日提交的非临时专利申请62/319,076。其全部内容通过引用并入本文中。专利技术的背景(1)
本专利技术涉及一种用于视频片段(videofootage)中的重影去除(ghostremoval)的系统和方法，并且，更具体地说，涉及在视频的背景与对象边界框内呈现的前景信息之间进行有效区分方面实现高效率和鲁棒性的系统和方法。(2)
技术介绍
通常使用背景减除(backgroundsubtraction)来执行检测视频片段中的移动对象。背景减除是本领域所公知的方法，其中从视频中减去背景，留下前景对象(即，所检测的移动对象)(参见并入参考文献No.1、No.2以及No.3)。然而，伴随背景减除的常见问题是产生重影对象。重影对象是检测到的虚假前景对象，其不对应于任何真实对象。例如，当背景中的静止对象突然开始移动时，使用背景减除将在真实对象后面产生一个重影对象。该问题在摄像机移动的时候变得更严重，因为移动的摄像机会将许多新的对象带入场景中(例如，在直升机视频中)。已经提出了一些方法来去除重影对象(参见参考文献No.4和No.5)。大多数这些现有技术方法依赖于外观或颜色信息来去除重影，其中，假设重影对象与真实对象分离。事实上，在这种情况下，所产生的重像伪像在本领域中已知为I型重影。但是，当对象缓慢移动时，可以产生附加至真实对象的重影对象，在本领域中已知为II型重影。在具有嘈杂背景的真实图像中，仅基于颜色信息很难去除这种类型的重影。这些现有的重影去除方法对对象和背景噪声很敏感，这使得它们在不形成重影对象的情况下执行其预期功能的能力方面处于突出的劣势。这种有技术方法比较重影对象与周围环境的外观或颜色统计，来去除重影对象。如上所述，这些方法对对象和背景纹理和噪声(其在视频片段中常见)很敏感。因此，持续需要这样一种用于视频片段中的重影去除的系统，使得避免了传统现有技术的上述缺陷。具体地说，需要这样的重影去除，即，其在很大程度上不受对象和背景纹理和噪声的影响。
技术实现思路
本公开提供了一种用于视频片段中的重影去除的系统。所述系统例如包括一个或更多个处理器和存储器。所述存储器是编码有可执行指令的非暂时性计算机可读介质，在执行所述指令时，所述一个或更多个处理器执行多个操作，诸如，生成背景减除图；通过背景减除来生成包围检测前景对象的原始边界框；生成检测前景图，所述检测前景图具有通过视频片段中的两个连续帧的差异获得的检测前景的至少两个检测前景(DF)边界框；以及将所述原始边界框修整成修整框，所述修整框是包含所述至少两个DF边界框的最小框，其中，所述修整框被指定为包含真实世界对象。在另一方面，所述系统执行基于所述修整框通过连续图像帧来跟踪所述真实世界对象的操作。在又一方面，所述背景减除图是根据当前图像帧与模型背景图之间的差异获得的。在另一方面，图根据初始图像帧来初始化所述模型背景，此后利用先前的模型背景图与所述当前图像的加权组合来更新所述模型背景，其中，所述当前图像的与所述检测前景图中的修整框内部对应的区域在该组合中被赋予比所述修整框的外部区域小的权重(weighting)。在又一方面，所述视频片段是从移动摄像机获得的，使场景的新区域逐帧地进入所述当前图像，其中，所述模型背景图根据确定的摄像机自运动(cameraego-motion)而移位，以生成移位模型背景图，并且然后将所述移位模型背景图中的任何不包含信息的区域替换成来自所述当前图像的像素值。另外，所述视频片段中的每个帧都具有帧尺寸，并且其中，所述模型背景图是尺寸大于所述视频片段的帧尺寸的扩展模型背景图，以使得所述扩展模型背景图中的、在更新所述模型背景图时处于该帧外部的部分被赋予根据未更新的帧数而减小的权重，并且其中，所述扩展模型背景图中的、根据自运动移位到该帧中的部分根据该权重与所述当前图像组合。最后，本专利技术还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，所述计算机可读指令可由具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的动作。附图说明根据下面结合参照附图对本专利技术各个方面的详细描述，本专利技术的目的、特征以及优点将更明显，在附图中：图1是描绘根据本专利技术的各个实施方式的系统的部件的框图；图2是具体实施本专利技术的一方面的计算机程序产品的图；图3是描绘两种不同类型的重影对象的图；图4是描绘根据本专利技术的各种实施方式的框修整算法(boxtrimalgorithm)的图；图5A是移动对象检测的图，其中，黑色矩形对象按t＝1的给定时间推移，正缓慢朝着左侧移动；图5B是与图5A中所示相同的对象的、现在按t＝10的给定时间推移的图；图5C是与图5B中所示相同的对象的、现在按t＝20的给定时间推移的图；图5D是与图5C中所示相同的对象的、现在按t＝30的给定时间推移的图；以及图6是从根据本专利技术的实施方式的系统的实况演示而得到的视频片段中截取的静止帧。具体实施方式本专利技术涉及一种用于视频片段中的重影去除的系统和方法，并且，更具体地说，涉及在视频背景与对象边界框内呈现的前景信息之间进行有效区分方面实现高效率和鲁棒性的系统和方法。呈现以下描述以使本领域普通技术人员能够制造和使用本专利技术并将其并入特定应用的背景中。各种修改例以及不同应用方面的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛的方面。因此，本专利技术不旨在限于所呈现的方面，而是符合与本文所公开的原理和新颖特征相一致的最广范围。在下面的详细描述中，阐述了许多具体细节，以便提供对本专利技术的更详尽理解。然而，本领域技术人员应当明白，本专利技术可以在不必受限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以便避免使本专利技术模糊。将读者的注意引向与本说明书同时提交的所有文件和文档，并且所述文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入本文中。本说明书(包括任何所附权利要求、摘要以及附图)中公开的所有功能可以利用起到相同作用、等同或相似目的的另选特征来代替，除非另外加以明确规定。因此，除非另外加以明确规定，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个示例。此外，权利要求书中没有明确陈述“用于”执行指定功能“的装置”或“用于”执行特定功能“的步骤”的任何元素不被解释为如在35U.S.C.Section12,Paragraph6中规定的“装置”或“步骤”条款。具体地，在本文的权利要求书中使用“…的步骤”或“……的动作”不旨在援引35U.S.C.112,Paragraph6的规定。在详细描述本专利技术之前，首先提供了并入参考文献的列表。接下来，提供了对本专利技术的各个主要方面的描述。随后，介绍向读者提供了对本专利技术的一般理解。最后，提供本专利技术各个方面的具体细节以给出对所述具体方本文档来自技高网...

【技术保护点】
1.一种用于视频片段中的重影去除的系统，该系统包括：一个或更多个处理器和存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，在执行所述指令时，所述一个或更多个处理器执行以下操作：生成背景减除图；通过背景减除来生成包围检测前景对象的原始边界框；生成检测前景图，所述检测前景图具有通过视频片段中的两个连续帧的差异获得的检测前景的至少两个检测前景DF边界框；以及将所述原始边界框修整成修整框，所述修整框是包含所述至少两个DF边界框的最小框，其中，所述修整框被指定为包含真实世界对象。

【技术特征摘要】
【国外来华专利技术】2016.04.06 US 62/319,0761.一种用于视频片段中的重影去除的系统，该系统包括：一个或更多个处理器和存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，在执行所述指令时，所述一个或更多个处理器执行以下操作：生成背景减除图；通过背景减除来生成包围检测前景对象的原始边界框；生成检测前景图，所述检测前景图具有通过视频片段中的两个连续帧的差异获得的检测前景的至少两个检测前景DF边界框；以及将所述原始边界框修整成修整框，所述修整框是包含所述至少两个DF边界框的最小框，其中，所述修整框被指定为包含真实世界对象。2.根据权利要求1所述的系统，所述系统还包括基于所述修整框通过连续图像帧来跟踪所述真实世界对象的操作。3.根据权利要求2所述的系统，其中，所述背景减除图是根据当前图像帧与模型背景图之间的差异获得的。4.根据权利要求3所述的系统，其中，根据初始图像帧来初始化所述模型背景图，并且此后利用先前的模型背景图与当前图像的加权组合来更新所述模型背景图，其中，所述当前图像的与所述检测前景图中的修整框内部对应的区域在该组合中被赋予比所述修整框的外部区域小的权重。5.根据权利要求4所述的系统，其中，所述视频片段是从移动摄像机获得的，使场景的新区域逐帧地进入所述当前图像，其中，使所述模型背景图根据确定的摄像机自运动而移位，以生成移位模型背景图，然后将所述移位模型背景图中的任何不包含信息的区域替换成来自所述当前图像的像素值。6.根据权利要求5所述的系统，其中，所述视频片段中的每个帧都具有帧尺寸，并且其中，所述模型背景图是尺寸大于所述视频片段的帧尺寸的扩展模型背景图，以使得所述扩展模型背景图中的、在更新所述模型背景图时处于该帧外部的部分被赋予根据未更新的帧数而减小的权重，并且其中，所述扩展模型背景图中的、根据自运动移位到该帧中的部分根据该权重与所述当前图像组合。7.根据权利要求1所述的系统，其中，所述背景减除图是根据当前图像帧与模型背景图之间的差异来获得的。8.根据权利要求1所述的系统，其中，根据初始图像帧来初始化所述模型背景图，此后利用先前的模型背景图与当前图像的加权组合来更新所述模型背景图，其中，所述当前图像的与所述检测前景图中的修整框内部对应的区域在该组合中被赋予比所述修整框的外部区域小的权重。9.根据权利要求1所述的系统，其中，所述视频片段是从移动摄像机获得的，使场景的新区域逐帧地进入当前图像，其中，使所述模型背景图根据确定的摄像机自运动而移位，以生成移位模型背景图，然后将所述移位模型背景图中的任何不包含信息的区域替换成来自所述当前图像的像素值。10.根据权利要求1所述的系统，其中，所述视频片段中的每个帧都具有帧尺寸，并且其中，所述模型背景图是尺寸大于所述视频片段的帧尺寸的扩展模型背景图，以使得所述扩展模型背景图中的、在更新处理期间更新所述模型背景图时处于该帧外部的部分被赋予根据未更新的帧数而减小的权重，并且其中，所述扩展模型背景图中的根据自运动移位到该帧中的部分根据该权重与所述当前图像组合。11.一种用于视频片段中的重影去除的计算机程序产品，该计算机程序产品包括：编码有可执行指令的非暂时性计算机可读介质，当由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：生成背景减除图；通过背景减除来生成包围检测前景对象的原始边界框；生成检测前景图，所述检测前景图具有通过视频片段中的两个连续帧的差异获得的检测前景的至少两个检测前景DF边界框；以及将所述原始边界框修整成修整框，所述修整框是包含所述至少两个DF边界框的最小框，其中，所述修整框被指定为包含真实世界对象。12.根据权利要求11所述的计算机程序产品，所述计算机程序产品还包括用于使一个或更多个处理器执行基于所述修整框通过连续图像帧来跟踪所述真实世界对象的操作的指令。13.根据权利要求12所述的计算机程序产品，其中，所述背景减除图是根据当前图像帧与模型背景图之间的差异来获得的。14.根据权利要求13所述的计算机程序产品，其中，...

【专利技术属性】
技术研发人员：曹永强，N·斯里尼瓦萨，
申请(专利权)人：赫尔实验室有限公司，
类型：发明
国别省市：美国,US