稀疏数据的重建制造技术

本发明专利技术涉及稀疏数据的重建。使用稠密引导图像或信号来通知从目标点的稀疏集合重建目标图像。假定出该引导图像和该目标点集合是从同一真实世界主体或场景导出的。首先检测该引导图像中的潜在的不连续性(例如，裂缝、边缘、缝隙等等)。潜在的不连续性可以是Voronoi区域的边界，Voronoi区域可能是使用数据空间(例如，色彩空间)中的距离来计算的。使用不连续性和点的稀疏集合来重建目标图像。具体而言，目标图像的像素可以平滑地内插在邻近目标点之间，但在邻近目标点由不连续性隔开的位置处，内插可以(例如，通过调整或影响松弛)在不连续性处突然跳变。可以使用各目标点来选择在重建期间要使用的不连续性的仅一个子集。

【技术实现步骤摘要】

本专利技术涉及图像重建，尤其涉及稀疏数据的重建。
技术介绍
在计算机图形领域中，给定二维的相对稀疏的点集，可能期望重建稠密目标图像。 例如，各点可能具有深度值或某种其他类型的标量数据。为了重建图像，可以基于各稀疏点的值来内插各稀疏点之间的空间深度(或其他类型的数据)。通常，对于两个邻近点，这两个点之间的线将具有平滑的深度分级。例如，如果点P具有深度0且点Q具有深度10，则在 P和Q之间的线上的四个均勻隔开的点处，深度可以是2、4、6和8。一般地，在各点之间所内插的值平滑地变化。尽管已经使用不同的内插策略，但先前不可能使用稠密图像或信号来通知内插过程。下面讨论与通过考虑稠密图像或引导信号的特征来重建图像有关的技术。
技术实现思路
包括下列概述只是为了介绍下面在详细描述中讨论的一些概念。本概述不是详尽的，且不旨在描绘所要求保护的本主题的范围，本主题的范围由在结尾呈现的权利要求陈述。使用稠密引导图像或信号来通知从目标点的稀疏集合重建目标图像。假定该引导图像和该组目标点是从同一真实世界主体或场景导出的。首先检测该引导图像中的潜在的不连续性(例如，裂缝、边缘、缝隙等等)。潜在的不连续性可以是Voronoi区域的边界，可能是使用数据空间(例如，色彩空间)中的距离来计算的。使用不连续性和点的稀疏集合来重建目标图像。具体地，目标图像的像素可以平滑地内插在邻近目标点之间，但在邻近目标点由不连续性隔开的位置处，内插可以例如通过调整或影响松弛、或具体地通过消除平滑度惩罚来在不连续性处突然跳变。可以使用各目标点来选择在重建期间要使用的不连续性的仅一个子集。下面将参考结合附图考虑的下列详细描述解释许多伴随特征。 附图说明在考虑到附图而阅读下列详细描述之后，将更好地理解本描述，附图中，使用相同的参考数字标明所附描述中相同的部分。图1使用示例数据示出一般过程。图2示出用于找出候选不连续性的过程。图3示出计算得到的区域和种子的示例。图4示出用于过滤候选不连续性的过程。图5示出用于计算种子或目标点的平滑内插的过程。图6示出示例引导图像和示例目标像素集。图7示出示例候选不连续性的集合和不连续性的所选子集。图8示出最终重建的目标图像。图9示出可在其上实现一个或多个实施方式的计算机。具体实施例方式下面讨论的实施方式涉及使用稠密引导图像来通知从数据点的对应稀疏集合来重建图像。该讨论从解释一般实施方式的步骤开始。然后，将描述用于实现该一般实施方式的步骤的变体和细节。然后，将讨论用实际数据色彩的示例。图1使用示例数据示出一般过程。将假定引导图像100和目标点集合102的形式的输入数据。下面进一步讨论的线103和线103A表示稍后标识的潜在不连续性且不是引导图像100的一部分。为了帮助理解，将在下一段落描述示例输入数据源。然而，应理解， 引导图像100和目标点102可以具有任何源。此外，在引导图像100相对于目标点而言稠密时，在此描述的技术是有帮助的；然而，本专利技术技术的应用不要求这一点。在此描述的技术不依赖于输入数据的源或语义内容。此外，输入数据甚至不必基于或源自实际摄影数据或所捕捉的数据。例如，输入数据可以完全地或部分地是合成的、人工渲染的等等。关于该示例输入源，从场景的二维照片的集合(S卩，该场景的不同照片)对该场景进行三维重建近来已经取得进展。可以以反映拍摄各照片的着眼点(vantage point)的方式来以三维自动排列各照片(例如，三维的一组平面矩形，每一矩形构成相应的照片)。在这样的情况中，这样的照片上的点或从这样的照片投影的点(三维空间中的点)可以形成稀疏数据点集，每一稀疏数据点具有深度和位置。各点可以对应于该场景的在各照片中描绘的物理特征(例如，物体、物体边缘、阴影边缘、物体的特征点等等)。这样的点的集合可以充当目标点102。此外，这样的照片中的一个或其合成组合可以充当引导图像100。简而言之，仅作为示例，引导图像100可以是真实世界物体或场景的所捕捉的图像数据，且数据点100中的一些可以对应于该真实世界物体或场景的一些特征。给定这一数据，以反映或考虑引导图像100以及尤其是在其中检测到的可能的不连续性的方式从数据点100重建图像(例如深度图)是合乎需要的。不管起源如何，相对于目标点102而言，引导图像100可以是稠密的。目标点102 可以被认为是要重建的最终图像中的初始点。引导图像100可以包括一组二维引导点104， 例如彩色图像或深度图中的像素或点。在以下意义上，认为目标点102和作为输入给定的引导图像100是匹配的即使构成各数据集的实际值可以在类型、本质且甚至是通道数量或维度方面不同，这两个空间的图像位置也对应。换句话说，目标点102的空间可以通过各种变换(平移、旋转、变形)映射到引导图像100的空间，而这两个输入的实际图像数据可以在类型(例如，色彩对深度)、维度等等方面不同。给定目标点106A，引导图像100中可以存在大致对应于主题场景中的相同的真实世界点或与目标点106A相同的真实世界点的像素或点104A。因而，诸如引导图像100的标量值(例如，深度、色彩、梯度等等的突变等不连续性(其可能表示物理边缘或折皱)可以指示要从目标点102重建的目标图像中的相应不连续性。接下来讨论对这样的不连续性的发现和使用。给定引导图像100和目标点102形式的输入数据，在步骤108，在引导图像100中标识由线103表示的潜在的或候选的不连续性。可以使用各种形式的分析中的任何分析来标识潜在的不连续性，包括由用户手动标识。例如，可以通过分析引导点104的值上的变化率、通过标识具有高于上限阈值或低于下限阈值的值的引导点104等等来找出不连续性。 在下面参考图2讨论的实施方式中，候选不连续性是基于在各引导点104和各引导点104 之间的引导图像空间中的距离计算的各区域边缘。举例来说，在色彩空间中，可以使用色彩距离。给定由线103和103A表示的候选不连续性，步骤110可以涉及使用相对稀疏的目标点102来选择在步骤108标识的不连续性的子集。目标点102可以帮助以各种方式标识不连续性。在一种实施方式中，在两个主要的目标点(以及邻近的目标点)处的目标信号的值之间的关系，提供了用于决定是否也应将引导信号中的不连续性解释成目标信号中的不连续性的基础。并非每一引导信号不连续性都暗示目标不连续性，因此使用目标信号值来执行这一验证步骤。在另一实施方式中，跨候选不连续性曲线来计算稠密引导图像的信号值的差(例如在该曲线的左侧和右侧的邻近像素之间的差)的测量值。例如，可以沿着该曲线对在每一曲线点处测量的信号值的平方差进行积分。然后，当且仅当这一积分得到的测量值高于一阈值时，才选择候选不连续性曲线。另一方法是简单地测量各目标点之间的值的差，且将该差用作选择的基础。为了进一步解释在引导信号(引导图像)不连续性和所重建的连续性或目标不连续性之间的关系，在标识不连续性时认为该关系是保守的，它可以帮助促成平滑内插，除非在数据中存在“真”不连续性的强有力证据。引导信号中的不连续性自身可能不是目标不连续性的足够强有力的证据。相反，“真”不连续性可以意指(1)引导信号中指示存在不连续性(基于在此描述的Voronoi边界计算，它在基于引导信号距离来计算时往往使自身与引导信号不连本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：M·芬奇，J·斯奈德，H·霍普，Y·韦克斯勒，
申请(专利权)人：微软公司，
类型：发明
国别省市：