视频序列的分割制造技术

一种图像处理方法，包括：提供数据处理设备，数据处理设备包括中央处理单元和图形处理单元；将视频序列的至少一个视频帧提供给数据处理设备，至少一个视频帧包括至少一个前景目标和背景；在数据除设备中处理至少一个视频帧以便将至少一个前景目标与背景分离。该处理至少部分地由图形处理单元的处理器执行。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术通常涉及数字图像处理领域，具体地涉及数字视频的处 理，并且明确地涉及数字视频帧的分割，尤其用于背景替换。更具体 地，本专利技术涉及数字视频帧的实时分割。
技术介绍
在数字视频处理中，将视频流分割成不同的分量对象是公知的和 有用的技术。例如，可以将输入视频流分成两种不同的流， 一种包含前景目标(subject)/对象(为了本专利技术，从现在起"前景目标，，意指"前景目标"和 "前景对象，，)，另一种包含视频帧的背景。在两个人之间的视频通信 (例如，视频电话)序列中，前景例如由通话人一通常限于躯干、头 和臂(所谓的"通话头(talking head )，，)一代表。例如，将视频序列分割成前景流和背景流的可能性对于改变视频 序列背景，去除原始背景和插入用户选择的替代背景以便例如为了隐 私而隐藏通话头周围环境或在与其他人通信的同时共享视频剪裁、电 影、照片、TV序列以及类似应用是有用的。许多分割算法的目的是分析数字视频序列并生成二进制掩码，其 中视频序列的每个视频帧的每个像素被标记为背景像素或者被标记 为前景像素。在象视频通信这样的应用中，必须以在充分流畅的视频 通信序列中大约为每秒25帧至30帧(fps)的帧速率、实时地进行上 述操作。现有技术中已经提出了几种用于图像分割的技术方案。 在L丄ucchese和S,K.Mitra的"Color Image Segmentation: A State-of國the-Art Survey" ， Proc. of the Indian National ScienceAcademy (INSA-A)， New Delhi, India, Vol. 67， A， No. 2, March 2001， pp. 2(T7-221中，提供了一种彩色图像分割算法的回顾。在 A.R丄 Francois 和 G.G, Medioni， "Adaptive Color Background Modeling for Real-time Segmentation of Video Streams," Proceedings of the International Conference on Imaging Science, Systems, and Technology, pp. 227-232， Las Vegas, NA, June l"9中，提出了一种在视频监视和多媒体应用的情况下在个人计算机 (PC )上进行视频流的实时背景建模和分割的系统。用固定摄像机捕 获的图像被建模为固定或緩慢变化的背景，这可能被移动代理遮蔽。 该系统学习背景的统计颜色模型，其用于检测遮蔽元件所产生的变 化。提出在色度-饱和度-纯度(HSV)彩色空间中，而不是在传统 的RGB(红、绿、蓝)空间中进行操作，因为它提供更好地利用颜色 信息，并且自然地结合了仅仅灰度级处理。在每个时刻，该系统维护 更新的背景模型，以及随后能够追踪的遮蔽区域的列表。在D. Butler, S. Sridharan和V. M. Bove， Jr" "Real-time adaptive background segmentation," in Proceedings of the International Conference on Acoustics, Speech and Signal Processing (ICAS SP- 2003)， pp. 349-352， April 2003中，提出了 一种通过一组聚类 (cluster)表示帧中每个像素的算法。聚类按照它们模拟背景的似然率 进行排序并适于处理背景和照明变化。到来的像素与对应的聚类組进 行匹配并按照匹配聚类被判断为是否是背景的 一部分进行分类。该算 法已经声称展示了与其它技术相同或更好的分割，并证明除后处理之 外，能够处理每秒28帧(28fps )的320x240视频。US 6，625，310公开了一种将视频数据分割成前景部分和背景部 分的方法，该方法利用了像素的统计建模；为每个像素建立背景的统 计模型，并且将在到来的视频帧中的每个像素与那个像素的背景统计 模型进行比较。基于这些比较确定像素是前景或背景。US 2004/0032906公开了 一种分割数字视频中的前景对象的方法 和系统，其在存在阴影和摄像机噪声的情况下便于进行分割。背景注册元件从数字视频帧的序列生成背景参考图像。梯度分割元件和变化 分割元件处理数字视频的强度和色度分量以确定前景对象和生成前 景对象掩码。通过阈值组合元件可以处理分割分量数据以形成组合的 前景对象掩码。识别数字视频中的每个视频信号的背景参考图像，从数字视频中的每个视频信号分量中减去背景参考图^^以形成结果帧；利用梯度滤波器使结果帧与强度视频信号分量相关联来分割前景对象并生成前景对象掩码。
技术实现思路
自动地识别前景目标和区别前景目标与背景不是一件容易的工 作，且计算强度非常大；以高帧速率实时地进行这些操作可能令人望 而却步。申请人已经观察到直至现在现有技术中提出的实时分割数字视 频序列的技术方案并不完全令人满意。特别是，申请人已经观察到在例如PC或其它低成本的数据处理 设备(例如象视频电话、视频会议设备、与电视机屏幕相关联的机顶 盒等等)中分割算法的当前实现给处理单元(中央处理单元CPU)带 来了这种负担，其使得存在必须对视频分割处理投入几乎100 %的 CPU处理能力的风险这是不能接受的，因为即使忽略考虑不涉及视 频通信的其它活动，除视频序列分割之外，还需考虑正常情况下的其 它任务，象分割后的视频的编码和传输，以及在双向视频通信的情况 下，对一个或更多个接收视频的解码和显示。申请人已经解决了设计用于数字图像分割的新方法的问题，该新 方法尤其适于前景目标与视频序列中的背景的分割，适合完全不需用 户输入的实时应用，并且也适于在象PC或低成本的专用设备(例如 视频电话、视频会议设备、机顶盒等等)这样的性能相对低的商业数 据处理设备中实现。申请人已经发现为了节省CPU处理能力，可以方便地使用图形 处理单元(GPU),即驻留在图形加速器(视频)子系统(通常，在专用板上)中的可编程图形(协)处理器来代替CPU执行至少部分 视频分割任务。就可编程能力和可用的操作而言，GPU比CPU通用 性要小。虽然，申请人已经发现可以由GPU(具体地说由支持像素着 色(pixel shading)的GPU)以非常有效的方式执行许多分割任务，使 得即使用很少的CPU处理能力也可以实现复杂的分割算法。根据本专利技术的第一方面，提供了如所附的权利要求1所述的方法。该方法包括-提供数据处理设备，该数据处理设备包括中央处理单元和图形 处理单元；-在数据处理设备处接收视频序列中的至少一个视频帧，该至少 一个视频帧包括至少一个前景目标和背景；-在数据处理设备中对所述至少一个视频帧进行处理以将所述 至少一个前景目标与所述背景分离；其中由所述图形处理单元至少部分地执行所述处理。在所附的从属权利要求中阐述了本专利技术的其它方面。附图说明本专利技术的特性和优点将通过以下结合附图对本专利技术某些实施例 的详细描述变得明显，仅仅作为非限制性的例子提供实施例，在附图中图1示意性地示出了示例性场本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：　－提供数据处理设备，所述数据处理设备包括中央处理单元和图形处理单元；　－在所述数据处理设备处接收视频序列中的至少一个视频帧，所述至少一个视频帧包括至少一个前景目标和背景；　－在所述数据处理设备中处理所述至少一个视频帧，以便将所述至少一个前景目标与所述背景分离；　其中至少部分地由所述图形处理单元执行所述处理。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：L罗塞托，A瓦雷斯欧，A波塔，
申请(专利权)人：意大利电信股份公司，
类型：发明
国别省市：IT[意大利]