针对实况相机馈送的图像分割制造技术

公开用于分割实况相机馈送的图像帧的技术。偏移方案可以用来初始地对图像内的可能包含分割的对象的像素进行定位。用于能量优化函数的优化算法，诸如图切割算法，可以与非定位邻域图结构以及初始位置偏移一同被用于对图像帧中的代表对象的像素进行定位。随后，遮片算法可以用来定义包围对象边界的至少部分的像素遮罩。可以在图像帧随着实况相机馈送而改变时连续地更新和改进偏移和像素遮罩。

【技术实现步骤摘要】

本公开内容涉及数据处理领域，并且更具体地，涉及用于分割实况相机馈送（live camera feed)的图像帧的技术。
技术介绍
在图像编辑应用中，各种分割技术可以被用来相对于其它对象或者背景勾画图像 中的一个或者多个对象。这些技术中的一些技术需要先前拍摄的图像，对象是从该图像中 手动地选择的。
技术实现思路
本公开的实施例提供了一种用于分割实况相机馈送的图像帧的方法、系统和计算 机程序产品。 根据本公开的一个方面，提供了一种计算机实施的数字图像处理方法，该方法包 括：接收代表当前图像帧的像素数据；计算偏移项，该偏移项代表当前图像帧中的每个像 素朝着前景偏移区域和背景偏移区域之一的加权；由处理器使用能量优化函数来基于像素 数据和偏移项将当前图像帧分割成前景段和背景段；以及生成像素遮罩，该像素遮罩与前 景段和背景段中的至少一个段中的像素相对应。 根据本公开的另一方面，提供了一种系统，该系统包括：存储装置；以及操作地耦 合到该存储装置的处理器，该处理器被配置为执行该存储装置中存储的指令，该指令在被 执行时使得该处理器执行过程。该过程包括：接收代表当前图像帧的像素数据；计算偏移 项，该偏移项代表当前图像帧中的每个像素朝着前景偏移区域和背景偏移区域之一的加 权；使用能量优化函数来基于像素数据和偏移项将当前图像帧分割成前景段和背景段；以 及生成像素遮罩，该像素遮罩与前景段和背景段中的至少一个段中的像素相对应。 根据本公开的又一方面，提供了一种具有在其上编码的指令的非瞬态计算机程序 产品，该指令在由一个或者多个处理器执行时使得过程被执行。该过程包括：接收代表当前 图像帧的像素数据；计算偏移项，该偏移项代表当前图像帧中的每个像素朝着前景偏移区 域和背景偏移区域之一的加权；使用能量优化函数来基于像素数据和偏移项将当前图像帧 分割成前景段和背景段；以及生成像素遮罩，该像素遮罩与前景段和背景段中的至少一个 段中的像素相对应。【附图说明】 附图不旨在于按比例来绘制。在附图中，在各图中图示的每个完全相同或者几乎 完全相同的部件由相似标号代表。 图1图示了根据本专利技术的实施例的用于分割实况相机馈送的图像帧的示例计算 设备。 图2A-2E描绘了根据本专利技术的各种实施例的示例图像帧。 图3是代表根据本专利技术的实施例的用于分割实况相机馈送的图像帧的示例方法 的流程图。 图4是代表可以根据本专利技术的实施例来使用的示例计算系统的框图。【具体实施方式】 图像分割指代其中图像被划分成两个或者更多分段的一类操作，通常用于定位对 象和边界。更具体而言，图像分割包括向图像中的每个像素指派一个或者多个标签。例如， 一个分段可以包括代表图像的前景中的对象的像素，而另一分段可以包括代表背景的像 素。在一些现有图像分割技术中，用户通过指定图像中的必须是对象的部分的某些像素和 必须是背景的部分的某些像素来针对分割施加某些硬约束。这些硬约束提供关于用户打算 如何分割图像的线索。通过自动地计算在所有潜在分段之中的满足用户指定的硬约束的全 局最优来将剩余像素标注为属于对象或者背景，由此将图像分割成至少两个区域（例如， 一个分段包括对象而一个分段包括背景）。然而，这样的现有技术需要用于施加硬约束的用 户干预，该硬约束被用于执行分割。 为此并且根据本专利技术的实施例，公开了用于分割实况相机馈送的图像帧的技术。 尽管用于这样的分割的许多应用根据本公开内容将是明显的，但是一个示例应用是在编辑 工具（例如软件应用，诸如八(1(^1%〇:1：08&〇1?_)中创建用于对象的遮罩的情境中。例 如，根据一个实施例，为了选择对象，用户可以简单地将智能相机指向该对象，并且选择由 在该智能电话上可执行的图像分割模块自动地做出。在一些实施例中，所选择的对象可以 使用适当颜色来染色或者被纹理化或者被勾勒其轮廓或者以别的方式来强调。随着相机被 移动，向用户示出相机馈送，并且针对每个新的相机定位自动地选择和重新选择对象。与目 标对象交互的这种方法与典型的选择技术的不同之处在于，这些选择技术需要首先拍摄相 片以及然后由用户手动地选择对象。根据本专利技术的实施例，在拍摄相片之前选择对象。因 此，如果未正确地选择对象，则用户可以移动相机和/或对象以便得到更好的选择。当选择 正确或者以别的方式被批准时，用户可以拍摄相片，并且可以保存与该选择关联的对应遮 罩。例如，可以经由在与相机操作地耦合的计算设备上执行的可执行模块（例如，软件或者 固件）来实施交互。在一个具体示例实施例中，偏移方案被用来初始地将图像内的可能包 含被分割的目标对象的像素局部化。然后，初始位置偏移可以与优化算法结合用于选择图 像帧中的代表对象的像素，从而分割图像。随后，遮片（matting)算法可以被用来定义包围 对象边界或者在对象边界内的像素遮罩。随着图像帧随着实况相机馈送而改变，可以连续 地更新和完善偏移和像素遮罩。许多配置和变化根据本公开内容将是明显的。 如在本公开内容中所用，术语"分割"和"图像分割"包括将数字图像逻辑地划分 成多个像素分段或者集合的过程。每个分段可以包括任何数目的像素（例如，一个或者多 个），并且可以存在由分割过程产生的任何数目的分段。图像的分割不一定修改图像；然 而，分段可以以任何数目的格式来显示以向人类观察者提供那些分段的可视化（例如，通 过对每个分段勾勒其轮廓或者突出显示每个分段，或者从视觉上模糊某些分段）。进一步 地，分段可以用于其它目的，诸如在图像编辑应用内的对象选择。其它示例根据本公开内容 将是明显的。 可以创建目标函数以代表包括分割的图像处理问题。可以使用算法，诸如图切割 优化算法或者信任传播算法来求解目标函数。图切割（graph cut)是一种用于使用最小割 (min-cut)或者最大流（max-flow)算法来将图一分为二的方法。在图切割图像对象选择方 法的一个实现方式中，为了交互地选择对象，用户在图像之上拖动鼠标以绘制前景笔划或 者背景笔划。笔划本身可以在屏幕上被示出或者可以不在屏幕上被示出。如果用户绘制前 景笔划，则意味着在前景笔划之下的所有像素必须是前景的部分。在背景笔划之下的所有 像素必须是背景的部分。用户指示笔划是否为前景或者背景，并且可以通过点击按钮、保持 鼠标上的键、使用不同鼠标按钮用于前景和背景、或者另一适当输入来这样做。对于笔划未 覆盖的所有像素，图切割算法向前景或者背景指派那些像素。在这样做时，图切割试图保证 前景的边界位于图像中的边缘上。 图切割算法通过最小化以下目标函数来求解选择： X是像素标签X1的集合，其中X 0指示像素 i是背景的部分而X 1指示像素 i是对象的部分。N(X)是与在图像中邻近的像素对应的所有标签对的集合。标量λ折衷 函数R和B的相对重要性。 函数R是区域项，该区域项给定用于具有标签X1的给定的像素 i的成本。R经常 由用户笔划决定。在一些公式表示中，由R设置的成本仅适用于在用户笔划之下的像素。在 这样的情况下，如果用户在像素 i之上绘制前景笔划，则对于X1= 1为RU J = 〇而对于X1 =〇为R(X1)=①。如果用户在像素 i之上绘制背景笔划，则对于\=〇为R(X1) =〇而 对于X1=I为R(X1) =0。对于用户笔本文档来自技高网...

【技术保护点】
一种计算机实施的数字图像处理方法，所述方法包括：接收代表当前图像帧的像素数据；计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着前景偏移区域和背景偏移区域之一的加权；由处理器使用能量优化函数来基于所述像素数据和所述偏移项将所述当前图像帧分割成前景段和背景段；以及生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相对应。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：B·普赖斯，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US