使用背景先验的测地线显著性制造技术

本文公开的是用于使用背景先验计算图像的测地线显著性的技术和系统。输入图像可以被分割成多个小片，并且可以生成与所述图像相关联的图，所述图包括结点和边。所述图的结点包括对应于所述图像的多个小片的结点加上添加到所述图的附加的虚拟背景结点。所述图还包括将结点连接到彼此的边，包括相邻小片之间的内部边以及所述图像的边界处的那些小片和所述虚拟背景结点之间的边界边。使用这种图，所述图像的每个小片的称为“测地线”显著性的显著性值被确定为从相应小片到所述虚拟背景结点的最短路径的长度。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】使用背景先验的测地线显著性
技术介绍
人类视觉系统能够快速并准确地识别其视野中的重要区域。为了在计算机视觉中 复制这种能力，已经开发出各种显著性(saliency)检测方法以在输入图像中发现具有最高 视觉兴趣或重要性的像素或区域。这种"重要的"像素/区域往往携带一些语义含义，例如作 为从图像背景中独立出来的图像的前景中的物体(例如，人、动物、结构等）的一部分。物体 级别的显著性检测可用于各种计算机视觉任务，例如图像汇总和重新定位目标、图像缩略 图的生成、图像修剪、用于图像编辑的物体分割、物体匹配和检索、物体检测和识别，仅举几 例。 虽然计算输入图像的显著性的基本概念看上去是逻辑的和直接的，但是由于术语 "显著性"的内在主观性，在计算机视觉领域中的显著性检测实际上相当困难。也即，对于什 么使得图像的像素/区域或多或少显著的问题，其答案可以是高度主观的、没有准确定义的 和应用相关的，使得显著性检测的任务相当具有挑战性。 目前用于在图像中检测显著性的技术已经试图通过使用各种"自底向上"的计算 模型来解决这个问题，主要依赖于与图像的像素/区域之间的对比度有关的图像的假设(或 先验(prior))。也即，目前的显著性检测算法依赖于以下假设:在图像的前景和背景中的物 体之间的表现(appearance)对比度会相对较高。因此，在特定的上下文(例如，在像素/小片 的局部邻域、全局地，等等）中显著的图像像素/小片(patch)将呈现高对比度。这种公知的 假设在本文中有时被称为"对比度先验"。 然而，单独使用对比度先验在图像中检测显著性对于准确检测显著性来说是不够 的，因为在单独使用对比度先验的各种实现中，所得到的显著性映射趋向于截然不同且不 一致。在某些情况下，物体的内部衰减(attenuated)或不均匀地突出显示。在计算机视觉领 域中仍然缺乏对"什么是显著性"的通用定义，并且简单地单独使用对比度先验不太可能生 成准确的图像显著性映射。图1示出了在三个输入图像1〇〇和它们对应的地面真值显著物体 遮片102上作比较的四个示例物体级别的显著性检测技术。如在图1中可以看出，即使对于 在图1中的列100的顶部处显示的简单的输入图像(例如番茄的图像），技术104-110产生的 结果显著性映射彼此之间变化显著。在图1中显示的技术结果表明，单独使用对比度先验不 足以得到输入图像的合适的显著性映射。
技术实现思路
本文所描述的是用于使用背景先验计算图像的测地线(geodesic)显著性的技术 和系统。相对于聚焦在物体上，本文所公开的实施例聚焦在背景上，这是通过:与对比度先 验同时地，利用关于在自然图像中通常背景应当看起来如何的假设(或先验）。这些背景先 验自然地提供更多关于图像的显著性区域的线索。 在一些实施例中，公开了用于创建输入图像的显著性映射的系统、计算机可读介 质和流程，其中该流程包括将输入图像分割成多个小片，并且生成与图像相关联的由结点 和边组成的图。在一些实施例中，小片对应于由多个像素组成的图像的区域，但是该流程可 以使用单个像素分割或者单个图像像素的小片来实现。图的结点包括对应于所述图像的多 个小片的结点加上添加到所述图的该组结点的附加虚拟背景结点。图还包括将结点连接到 彼此的边，包括相邻小片之间的内部边和在图像的边界处的那些小片与虚拟背景结点之间 的边界边。使用该图，图像的每个小片的显著性值被确定为从相应的小片到虚拟背景结点 的最短路径的长度（即，测地线距离）。因此，本文所公开的显著性测量有时也被称为"测地 线显著性"。 提供本"
技术实现思路
"是为了以简化的形式介绍将在以下"【具体实施方式】"中进一步 描述的一些概念。本"
技术实现思路
"并不旨在标识出所要求保护的主题的关键特征或必要特 征;也不旨在用于限制所要求保护的主题的范围。【附图说明】 参考附图来描述【具体实施方式】。在附图中，附图标记的最左边的数字标识其中附 图标记首次出现的附图。在不同附图中相同的附图标记表明相似或相同的项。 图1示出了在三个不同的输入图像之间进行比较的四个示例物体级别显著性检测 技术。 图2是显示(多个)输入图像和(多个)输出显著性映射的示例测地线显著性计算系 统的尚层不意图。 图3示出了已被分割成多个小片的示例输入图像，以及从三个示例小片中的每个 到图像边界的最短路径的视觉表示。图4示出了已被分害喊多个小片、附加了虚拟背景结点的示例输入图像，其中可以 确定每个小片和该虚拟背景结点之间的测地线距离。 图5示出了在所述图像边界处的每个小片的边界权重的示例确定。 图6示出了具有相对纹理化背景的输入图像，以及未使用权重裁剪的测地线显著 性映射，以及另一个使用了示例权重裁剪技术的测地线显著性映射。 图7示出了根据另一个实施例的已被分割的示例输入图像，其中所述输入图像被 划分成具有不规则形状的小片，称为"超像素"，其与在输入图像中的物体的轮廓基本对齐。 图8是计算图像的测地线显著性的说明性流程的流程图。 图9是权重裁剪内部边权重的说明性流程的流程图。 图10示出了实现本文所公开的测地线显著性计算的示例计算系统环境。【具体实施方式】 本公开的实施例针对用于图像中的显著性检测的技术和系统以及其他一些事物， 并且更具体地针对使用部分基于背景先验的测地线显著性测量来确定输入图像的物体级 别显著性。本文所公开的实施例特别应用于受益于物体检测的计算机视觉应用，虽然本文 所描述的应用仅作为示例被提供，而不是作为限制。正如本领域的技术人员将理解的，本文 所公开的技术和系统适用于应用于各种不同类型的计算机视觉和图像处理系统中。此外， 虽然主要使用自然照片或数字图像讨论输入图像，但应当理解的是，所述输入图像可以包 括各种类型的图像，例如视频图像/帧或其他类型的图像，例如医学图像、红外图像、X射线 图像或任何其他合适类型的图像。 本文所描述的技术和系统可以以多种方式来实现。下面参考以下附图提供了示例 实现。 示例架构 图2是包括了测地线显著性计算系统202的示例环境200的高层示意图。图2显示了 由测地线显著性计算系统202接收的一个或多个输入图像204和从系统202输出的一个或多 个输出显著性映射206。可以使用任何合适类型的处理器实现测地线显著性计算系统202， 例如作为本领域公知的适合于实现本专利技术的具有软件的计算机。可以被实现为测地线显著 性计算系统202的示例计算系统将参考图10在下面进行更详细地描述。测地线显著性计算系统202可以被配置为接收图像204、计算那些图像204的显著 性、并且为那些图像204输出反映所计算的显著性的显著性映射206。可以通过任何合适的 方式提供输入图像204,例如任何合适类型的图像捕获设备，例如照相机、医学成像设备、视 频摄像机等，其可以是所述测地线显著性计算系统202的一部分，或者独立于所述测地线显 著性计算系统202。在一些情况下，可以经由通信链路、磁盘驱动器、通用串行总线(USB)连 接、或输入先前获得的图像204或实时获得的图像204的其他合适的输入方式接收输入图像 204〇输出的显著性映射206通常与输入图像204的尺寸相同，并且它们通过显示每个图 像元素处的强度值来呈现输入图像204的每个图像本文档来自技高网...

【技术保护点】
一种方法，包括：由一个或多个处理器(1004)将具有图像像素的阵列的图像(204)分割成多个小片(404)，每个小片包括所述图像像素中的一个或多个图像像素；生成所述图像(204)的图，所述图包括一组结点和将所述结点连接到彼此的一组边，所述一组结点包括对应于所述多个小片(404)的多个小片结点和虚拟背景结点(406)；计算从每个小片(404)到所述虚拟背景结点(406)的最短路径(402)的长度；指定相应的长度作为每个小片(404)的显著性值以用来创建所述图像(204)的显著性映射(206)。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：Y·魏，F·文，J·孙，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US