实况视频中的背景移除制造技术

示例性系统和方法在视频序列中将前景从背景图像中分割出来。在一个实现中，系统通过在保持分割边界自身的对比差的同时衰减背景对比差来提炼前景和背景图像之间的分割边界，实时提供了对实况视频的精确背景切割。然后，替换背景可以与所述实况视频内分割出的前景合并。该系统可应用一个自适应背景颜色混合模型以便在诸如摄像机移动、照明变化以及背景中的小对象的移动等各种背景变化的情况下改进前景从背景中的分割。

【技术实现步骤摘要】
【国外来华专利技术】实况视频中的背景移除 背景层提取一直以来是计算机视觉领域中的研究课题。最近的研究工作显示前 景层可从例如电话会议的情形中的双目立体视频中被精确而高效地提出(即， 接近实时)。在一个应用中，这种前景层提取被用来执行高质量实况背景替换。 双目方法的成功源自多提示信息(即，立体、颜色和对比差提示信息)的概率 融合。然而，在大多数现实的视觉通信情形下，例如电话会议或即时消息通信，大多数用户只有单个web摄像头在工作。所需要的是，使用这种单个web摄 像头的有质量的前景层提取。对于一个典型的场景(例如，具有非静态"移动" 背景)，自动前景层提取在本领域的当前状况下仍然是一个巨大挑战。但是， 在一种特殊的情况下，即背景是已知并固定的情况下，从单个摄像头中获得高 质量、实时的前景提取(或背景移除)是有用的。为了解决这个问题，最有效的方法是背景减除。背景减除将前景对象检测 为当前图像与一个预先存在、已知的背景图像的差。然而，这种背景减除仍然 存在复杂的问题首先，背景减除中的阈值对于噪声和背景照明变化是很敏感 的。 一个较大的阈值检测到较少的前景像素，反之亦然。第二，前景颜色和背 景颜色会碰巧非常相似，导致检测的前景对象中存在洞。已提出更复杂的技术 来克服这些问题。但是结果仍然是容易出错并且不能够足够准确以进行高质量 实况前景提取。最近的交互图像和视频分割技术显示出基于颜色/对比差的模型的有力效 果。基于颜色/对比差的模型考虑对手动获得的前景/背景颜色模型的颜色相似 度和沿分割边界的对比差(或边缘)强度两者。最终前景层通过采用最小割算 法被全局地确定。但是即使釆用颜色和对比差提示信息的背景减除方法仍然不 足以进行正确的前景提取。一个直接的改进是结合以上两个技术一从背景减除中构建前景和背景颜色模型，然后运用以上基于颜色/对比差的模型。由于背景图形是已知和固定的， 所以背景颜色模型可以被建模成全局颜色模型与更精确的单像素颜色模型的 混合。这个组合可产生更精确的分割结果，并在此处被称为(常规的)"基本 模型"。然而，基本模型中仍然存在问题。由于基本模型同时考虑颜色和对比差两 者，所以最终的分割边界在有杂斑的背景中不可避免地会吸引或牵引到高对比 差边缘。尽管这种差错在边界周围是小的或者仅在部分帧中发生，但是由该差 错引起的正在播放的视频中的闪烁伪影在最终的合成视频中会是非常使人分 心且不舒服的。概述示例性系统和方法在视频序列中将前景从背景图像中分割出来。在一个实 现中，系统在保持分割边界自身的对比差的同时通过衰减背景对比差来提炼前 景和背景图像之间的分割边界，实时提供了对实况视频的精确背景切割。然后， 替换背景可以与在实况视频中分割出的前景合并。该系统可应用一个自适应的 背景颜色混合模型以便在诸如摄像机运动、照明变化以及背景中的小对象的移 动等各种背景变化的情况下改进前景从背景中的分割。提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一 些概念。本概述并非意在确定所请求保护的主题的关键特征或重要特征，也并 非意在用来帮助确定所请求保护的主题的范围。附图简述附图说明图1是在实况视频中执行背景移除的示例性系统的图示。图2是示例性视频层提取引擎的框图。 图3是示例性背景衰减和背景替换的图示。 图4是示例性背景移除对比常规的背景移除的图示。 图5是一视频帧中的像素对与该视频帧的已知背景中的对应像素对的对比 差属性的示例性比较的图示。图6是基于对比差图中经衰减的背景的示例性改进的分割结果的图示。图7是使用不同的背景对比差衰减参数值产生的示例性对比差图的图示。 图8是基于经衰减的背景对比差来提炼分割边界的示例性方法的流程图。图9是比较视频帧和已知背景之间的像素对以便通过衰减背景中的对比差来提炼分割边界的示例性方法的流程图。图10是使用自适应的背景颜色混合模型来维持视频序列中的背景的示例 性方法的流程图。详细描述概要本公开描述在实况视频中将前景从背景中自动分离。示例性系统和方法比 常规技术具有更高的背景切割精度。 一个示例性系统将前景和背景视觉层与实 况视频的高质量、实时的分离。然后，在一个典型的应用中，前景通过背景替 换可放置于不同的背景布景中。在一个实现中，该示例性系统应用一个有时在此处被称为"背景切割"的 层提取方法。在一个带有移动的前景对象和固定背景的视频序列中，背景切割 方法采用示例性背景对比差衰减方法来大大减少因背景杂斑中的高对比差边 缘引起的分割错误。由此，示例性背景切割方法结合背景减除、颜色提示信息 和对比差提示信息来精确而有效地提取前景层。在该示例性背景切割方法中， 背景减除不仅基于图像颜色，而且还基于在背景中被衰减的图像对比差以更精 确地确定分割边界。重要的是，背景对比差衰减仅引入自适应地衰减背景中的对比差,而同时保 持了存在于前景/背景边界上的对比差。示例性背景对比差衰减利用在大多数情 况下背景中的那种对比差(或更准确地说，颜色图像梯度)与存在于前景/背景 边界上的那种对比差是不相似的事实。因此，使用示例性背景切割，由背景杂 斑引起的层提取错误可大大减少。示例性系统对实时应用中发生的各种背景伪 影和变化也是鲁棒的。另外，本公开描述支持精确和有效的背景切割方法的背景维持的示例性方 法。在各种实现中，全局和单像素背景颜色的自适应混合模型改进了示例性系 统和方法在视频经受各种背景变化时的鲁棒性。在一个实现中，示例性系统的目标是使用单个web摄像头实现高质量前景 层提取。因此，该示例性系统的一个实现解决了虽然有些受限但普遍有用的现实问题当存在已知、固定的背景时从单个摄像头中高质量、实时地提取前景 (或背景移除)。示例性环境图1示出示例性系统在其中将前景视频对象或层102从背景层104中自动 分离的计算环境100。计算设备106与显示器108相连并且主宿一个示例性视 频层提取引擎110。通过将自适应背景对比差衰减作为示例性层提取的一部分 来执行，视频层提取引擎110精确地、实时地将前景层102从背景层104中分 割出来。然后，可选择地，在一个实现中，视频层提取引擎110用新的背景层 112替换原始背景层104。基本模型尽管以下将进一步描述的示例性引擎拥有上述"基本模型"所不包括的组 件和功能，但是基本模型为示例性引擎提供基本的视频层提取框架。即，在一 个实现中，视频层提取引擎110构建在基本模型中所使用的概念之上。因此， 现在将描述基本模型，以作为以下进一步描述示例性引擎的基础。在一个实现中，令户为已知背景图像且/为当前时间步处的将要被处理的 图像。/，和A分别是像素r在户和/中的颜色值。令F为/中所有像素的集合，S为/中所有相邻像素对(4个相邻点或8个相邻点)的集合。前景/背景分割 可作为一个双值标记问题被提出一为每个像素r EK分配唯一标签^，即，^ e {前景(=1),背景(=0)}。标记变量1= (xj可通过最小化等式(1)的Gibbs 能量五CY)来获得網J^(AV)" J] (1)r印其中A(;c,)是颜色项，对像素r的标签是x,时的成本进行编码；￡2 ,1,)是对比 差项，表示相邻节点r和s的标签分别是x,和&时的成本。参数;i平衡两个项 的影响。基本模型的颜色项为了对每个像素r本文档来自技高网...

【技术保护点】
一种方法，包括：确定将在视频序列中使用的背景图像中的像素的颜色和对比差属性，其中除了当前景隐藏了所述背景图像的一部分时之外，所述背景图像占据所述视频序列的每个帧的整个区域；基于所述前景中的像素的颜色和对比差属性对比所述背景图像中的像素的颜色和对比差属性之间的差逼近一划分所述视频序列中的前景的分割边界；以及　通过自适应地衰减背景对比差来提炼所述前景和所述背景图像之间的所述分割边界，其中所述衰减包括在维持与所述分割边界相关联的像素对的对比差属性值的同时减小所述背景图像中的像素对 的对比差属性值。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：J孙，W张，汤晓鸥，HY沈，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]