视频序列的分割中的边缘比较制造技术

一种图像处理方法，包括：接收视频序列中的至少一个视频帧，至少一个视频帧包括至少一个前景目标和背景；以及处理至少一个视频帧，以便将至少一个前景目标与所述背景分离。所述处理包括：获得包括背景的参考图像；比较至少一个视频帧和参考图像；以及作为所述比较的结果生成像素掩码，所述像素掩码指示至少一个视频帧的像素是否属于前景目标或背景。该方法还包括：至少部分地确定在所述至少一个视频帧中的所述至少一个前景目标的边缘；以及基于所确定的前景目标边缘修改像素掩码。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术通常涉及数字图像处理领域，具体地涉及数字视频的处 理，并且明确地涉及数字视频帧的分割，尤其用于背景替换。
技术介绍
在数字视频处理中，将视频流分割成不同的分量对象是公知的和 有用的技术。例如，可以将输入视频流分成两种不同的流， 一种包括前景目标(subject)/对象(为了本专利技术，从现在起"前景目标"意指"前景目标"和 "前景对象，，)，另一种包括视频帧的背景。在两个人之间的视频通信 (例如，视频电话)序列中，前景例如由通话人一通常限于躯干、头 和臂(所谓的"通话头(talking head )")—代表。例如，将视频序列分割成前景流和背景流的可能性对于改变视频 序列背景，去除原始背景和插入用户选择的替代背景以便例如为了隐 私而隐藏通话头周围环境或在与其他人通信的同时共享视频剪裁、电 影、照片、TV序列以及类似应用是有用的。许多分割算法的目的是分析数字视频序列并生成二进制掩码，所谓的"前景掩码"，其中视频序列的每个视频帧的每个像素被标记为背 景像素或者被标记为前景像素。在象视频通信这样的应用中，必须以 在充分流畅的视频通信序列中大约为每秒25帧至30帧(fps )的帧速 率、实时地进行上述操作。现有技术中已经提出了几种用于图像分割的技术方案。 在L丄ucchese和S.K.Mitra的"Color Image Segmentation: A State-of-the画Art Survey" ， Proc. of the Indian National Science Academy (INSA-A)， New Delhi, India, Vol. 67， A， No. 2， March 2001,pp.207-221中，提供了一种彩色图像分割算法的回顾。在 A.R.J. Francois 和 G.G, Medioni， "Adaptive Color Background Modeling for Real-time Segmentation of Video Streams," Proceedings of the International Conference on Imaging Science, Systems, and Technology, pp, 227-232， Las Vegas， NA， June 1999中，提出了一种在视频监视和多媒体应用的情况下在个人计算机 (PC )上进行视频流的实时背景建模和分割的系统。用固定摄像机捕 获的图像被建模为固定或緩慢变化的背景，这可能被移动代理遮蔽。 该系统学习背景的统计颜色模型，其用于检测遮蔽元件所产生的变 化。提出在色度-饱和度-纯度(HSV)彩色空间中，而不是在传统 的RGB(红、绿、蓝)空间中进行操作，因为它提供更好地利用颜色 信息，并且自然地结合了仅仅灰度级处理。在每个时刻，该系统维护 更新的背景模型，以及随后能够追踪的遮蔽区域的列表。在D. Butler, S. Sridharan和V. M. Bove， Jr" "Real-time adaptive background segmentation," in Proceedings of the International Conference on Acoustics, Speech and Signal Processing (ICAS SP- 2003), pp. 349-352， April 2003中，提出了 一种通过一组聚类 (cluster)表示帧中每个像素的算法。聚类按照它们模拟背景的似然率 进行排序并适于处理背景和照明变化。到来的像素与对应的聚类组进行匹配并按照匹配聚类被判断为是否是背景的一部分进行分类。该算 法已经声称展示了与其它技术相同或更好的分割，并证明除后处理之 外，能够处理每秒28帧(28fps )的320x240 #见频。US 6,625,310公开了一种将视频数据分割成前景部分和背景部 分的方法，该方法利用了像素的统计建模；为每个像素建立背景的统 计模型，并且将在到来的视频帧中的每个像素与那个像素的背景统计 模型进行比较。基于这些比较确定像素是前景或背景。具体而言，如 果像素值匹配该像素的模式，则确定像素匹配背景统计模型；取像素 值和该像素的背景统计模型的值(即，模式)之间的绝对差，以及将 其与阈值比较。如果绝对差小于或等于阈值，则认为像素值匹配背景统计模型，并且将该像素标记为背景；否则，将该像素标记为前景。US 2004/0032卯6公开了 一种分割数字视频中的前景对象的方法 和系统，其在存在阴影和摄像机噪声的情况下便于进行分割。背景注 册元件从数字视频帧的序列生成背景参考图像。梯度分割元件和变化 分割元件处理数字视频的强度和色度分量以确定前景对象和生成前 景对象掩码。通过阈值组合元件可以处理分割分量数据以形成组合的 前景对象掩码。识别数字视频中的每个视频信号的背景参考图像，从 数字视频中的每个视频信号分量中减去背景参考图像以形成结果帧； 利用梯度滤波器使结果帧与强度视频信号分量相关联来分割前景对 象并生成前景对象掩码。
技术实现思路
申请人已经观察到现有技术中提出的用于分割数字视频序列的 技术方案并不完全令人满意，并且在重构的、所显示的视频序列中产 生可见的且几乎不可接受的伪像。更具体地，申请人已经观察到可能产生伪像的区域是在前景目 标的轮廓处的区域。特别是，这些伪像可被观看分割后的视频序列的 人所感知，这个人的注意力特别是被前景目标的轮廓所吸引。然而，申请人已经发现这些伪像是由通过当前视频帧中的像素值与背景参考图像的对应像素的值进行简单的比较而生成的前景掩码 是对真实前景目标太粗略的近似这一事实所引起的。具体而言，如上所述产生的前景掩码在以下前景目标的实际轮廓中可能失败，这是由 于如下事实在前景轮廓处所产生的图像中前景和背景具有"混合在一起"的趋势。申请人已经解决了设计用于数字图像处理的新方法的问题，该新 方法尤其适于前景目标与视频序列中的背景的分割，该方法减少了在 重构的、所显示的视频序列中，特别是在前景目标的轮廓处的伪像。申请人已经发现通过至少部分地确定视频帧中前景目标的边缘， 然后基于所确定的边缘来修改前景掩码来解决这个问题。已知算法可以被用来确定视频帧中的边缘。根据本专利技术的第一方面，提供了如所附的权利要求1所述的方法。该方法包括-接收视频序列中的至少 一个视频帧，至少 一个视频帧包括至少 一个前景目标和背景；以及-处理所述至少一个视频帧，以便将所迷至少一个前景目标与所 述背景分离；其中所述处理包括-获得包括所述背景的参考图像；-比较至少一个视频帧和参考图像；以及-作为所述比较的结果生成像素掩码，所述像素掩码指示至少一 个视频帧的像素是否属于前景目标或背景。所述方法还包括至少部分地确定在所述至少一个视频帧中的所 述至少一个前景目标的边缘；以及基于所确定的前景目标边缘修改像 素掩码。本专利技术的第二方面涉及如权利要求18中所述的数据处理设备， 包括至少一个适于执行第一方面的图像处理方法的模块。 在所附的从属权利要求中阐述了本专利技术的其它方面。附图说明本专利技术的特性和优点将通过以下结合附图对本专利技术某些实施例 的详细描述变得明显，本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：　－接收视频序列中的至少一个视频帧，至少一个视频帧包括至少一个前景目标和背景；以及　－处理所述至少一个视频帧，以便将所述至少一个前景目标与所述背景分离；　其中所述处理包括：　－获得包括所述背景的参考图像；　－比较至少一个视频帧和参考图像；以及　－作为所述比较的结果生成像素掩码，所述像素掩码指示至少一个视频帧的像素是属于前景目标还是背景，　特征在于，还包括：　－至少部分地确定在所述至少一个视频帧中的所述至少一个前景目标的边缘；　－基于所确定的前景目标边缘修改像素掩码。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：L罗塞托，A瓦雷斯欧，
申请(专利权)人：意大利电信股份公司，
类型：发明
国别省市：IT[意大利]