识别并保留优选点的合并点云的方法技术

合并从场景捕获的两个或更多个点云、消除冗余点并保留最佳表示场景的点的方法。该方法一般而言可以包括检测步骤，该步骤定位来自不同云的接近且因此潜在地冗余的点，随后是识别优选点的选择步骤。云可以被表示为范围图像，这可以简化这两个步骤。可以通过将范围图像划分为图块并针对云之间的相交部分测试图块边界体积来优化接近度测试。优选点的选择可以结合用户输入，或者可以是完全或部分自动化的。可以使用2D绘图工具对范围图像执行用户选择，以识别具有场景的优选视图的图像。自动化的选择可以例如基于重叠点处的每个点云扫描的表面分辨率将质量度量指派给点。面分辨率将质量度量指派给点。面分辨率将质量度量指派给点。

【技术实现步骤摘要】
【国外来华专利技术】识别并保留优选点的合并点云的方法


[0001]本专利技术的一个或多个实施例涉及计算机图形学和虚拟现实的领域。更特别地，但不作为限制，本专利技术的一个或多个实施例实现了一种识别并保留优选点的合并点云的方法。

技术介绍

[0002]使用诸如LIDAR之类的扫描仪从场景捕获3D数据可以涉及多次扫描，有时是从不同视点扫描的。由这多次扫描产生的点云可以被组合以形成场景的集成3D模型。但是，扫描会在场景的某些区域中重叠。保留重叠区域中的所有点会消耗不必要的存储和处理能力，并且在从场景的一个区块过渡到另一个区块时会导致渲染伪像或噪声。因此，期望在合并点云时消除冗余点。
[0003]在组合点云的领域中已知的传统方法通常使用昂贵的八叉树最近邻搜索，常常使用简单的距离阈值来确定要移除的点。这种方法可能要求进行迭代实验才能找到适当的阈值，这可能非常慢，特别是对于非常大的点云而言。
[0004]点云常常被组织为范围图像。范围图像点云具有透视特性，使用针对冗余的单个距离阈值测试可导致伪像。范围图像还支持更高效和直观的用于查找冗余点并从附近点集合中选择适当的点的处理。没有针对范围图像格式进行优化的用于组合点云的已知方法。
[0005]用于移除冗余点的已知方法通常也没有考虑在云重叠的区块中每个点云的质量。例如，一个扫描可以非常详细地捕获场景的某个区域，而另一个扫描可以仅以低得多的分辨率在外围捕获那个区域。没有提供或者手动或者自动评估每个点云的质量以便为合并的点云选择优选点的机构的已知方法。
[0006]至少对于上述限制，需要一种识别并保留优选点的合并点云的方法。

技术实现思路

[0007]说明书中描述的一个或多个实施例涉及一种识别并保留优选点的合并点云的方法。本专利技术的实施例可以例如处理从共用的3D场景捕获的两个或更多个点云，以在保持最佳点的同时移除重叠的区块中的冗余点。可以使用具有存储器或附接到存储器的计算机来执行任何或所有处理步骤。
[0008]由计算机执行的处理步骤可以包括：获得点云；获得或生成确定两个不同的点是否足够接近以至于应当保留至多一个的接近度测试；识别满足接近度测试的接近点的组以及与任何其它云都不接近的孤立点；为每组接近点选择优选点；并通过组合优选点和孤立点来生成合并的点云。除了点之外，点云还可以包含捕获它们的视点以及捕获它们的角度分辨率。
[0009]在一个或多个实施例中，点云可以被组织为范围图像，每个范围图像具有包含到相关联点的距离的像素的2D阵列。与每个范围图像相关联的可以是从3D场景到2D像素阵列的投影。可以在一个或多个实施例中使用的说明性投影是球形等距柱状投影。
[0010]为了找到接近点，一个或多个实施例可以使用基点云的范围图像，并将其它点云投影到这个范围图像上。如果投影到像素的点与基点云视点的距离接近范围图像像素中的距离，那么投影到像素的点可能接近基云的像素点。
[0011]实施例可以将范围图像的像素分区为图块，并为与每个图块中的像素相关联的点生成边界体积。来自不同点云的图块之间的相交测试可以被用作点接近度的初步测试。可以将其边界体积相交的图块彼此链接，并且可以仅将来自相交图块的点投影到基点云范围图像的像素上，以进行上述的接近度测试。
[0012]可以利用用户输入或完全自动地从接近点的组中选择优选点。在一个或多个实施例中，可以呈现允许用户选择要显示的点云的用户界面；例如，可以显示与那个点云相关联的范围图像。点的显示可以包括指示器，该指示器示出所显示的云中的每个点是否是其所属的一组接近点的优选点。这个指示器还可以示出该点是否是具有属于不同的云的优选点的组的成员。指示器可以是例如颜色、阴影或图案。用户可以能够提供选择输入以选择一个或多个点，以及修改优选点的指派的诸如添加、替换或移除之类的动作。例如，添加动作可以将所选择的点设置为优选点，并且移除动作可以将所选择的点清除为不作为优选点。
[0013]一个或多个实施例可以通过为组中的每个点计算质量度量并选择具有最高质量度量的点来自动选择优选点。说明性质量度量可以与每个点处每个点云的分辨率逆相关。例如，可以将这个分辨率计算为从点云视点到该点的视图向量长度的两倍乘以点云角度分辨率的一半的正切。在一个或多个实施例中，这个分辨率还可以除以视图向量和到该点处的3D场景表面的法线向量之间的角度的余弦。
附图说明
[0014]通过以下结合附图呈现的对本专利技术的更具体描述，本专利技术的上述和其它方面、特征和优点将变得更加明显，其中：
[0015]图1示出了由本专利技术的一个或多个实施例解决的场景的示例，其中从场景捕获两个点云并且点云在场景的一部分中重叠。
[0016]图2示出了本专利技术的一个或多个实施例的说明性输入、输出和处理步骤的高级流程图。
[0017]图3示出了可以在本专利技术的一个或多个实施例中用于执行处理步骤的说明性计算机体系架构。
[0018]图4示出了识别点云的重叠部分中的接近点的说明性步骤。
[0019]图5示出了识别接近点组中的优选点的说明性步骤。
[0020]图6示出了组合孤立点和优选点以形成合并的点云的说明性步骤。
[0021]图7图示了可以在本专利技术的一个或多个实施例中使用的点云数据的范围图像格式。
[0022]图8图示了从一个云投影点到另一个点云的范围图像上，以便定位接近点。
[0023]图9继续图8的示例，以示出从范围图像中的像素形成平截头体，以确定来自另一个云的投影的点是否接近范围图像云中的点。
[0024]图10图示了将范围图像划分为图块，并围绕每个图块的点生成边界体积。
[0025]图11继续图10的示例，以示出与图块相关联的边界体积如何可以被用于优化对接
近点的检测。
[0026]图12示出了可以被用于点云的重叠区域中的优选点的用户选择的说明性用户界面。
[0027]图13继续图12的示例，以示出一个云中的点的用户选择，并从另一个云的角度查看这些选择的点。
[0028]图14继续图13的示例，以示出用户用来自所查看的云的点替换另一个云中所选择的点。
[0029]图15继续图14的示例，以示出用户删除一些选择的点，并从另一个云的角度查看这种删除的效果。
[0030]图16示出了可以在一个或多个实施例中使用的用于自动选择优选点的说明性技术；这种技术通过比较重叠区域中每个点云的分辨率来比较重叠区域处两个点云的质量。
[0031]图17扩展了图16的示例，以示出当表面不垂直于来自点云扫描仪的视图向量时点云表面分辨率的计算。
[0032]图18A和18B示出了点质量比较的应用，该点质量比较用于针对图1的扫描自动选择优选点；图18A是透视图，而图18B是顶视图。
具体实施方式
[0033]现在将描述识别和保留优选点的合并点云的方法。在下面的示例性描述中，阐述了许多具体细节以便提供对本专利技术实施例的更透彻理解。但是，对于本领域普通技术人员而言显而易见的是，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种识别并保留优选点的合并点云的方法，包括：使用耦合到存储器的计算机以:获得从3D场景捕获的多个点云，所述多个点云中的每个点云包括:多个点；视点；以及角度分辨率；获得或生成接近度测试，所述接近度测试确定来自所述多个点云的两个不同点是否彼此足够接近以至于最多应当保留所述两个不同点中的一个；识别一组或多组接近点，其中：所述一组或多组接近点中的每一组包括来自所述多个点云的两个或更多个点；以及相对于所述每一组的所述两个或更多个点中的不同点，所述每一组的所述两个或更多个点中的每个点满足所述接近度测试；识别孤立点，其中所述孤立点包括来自所述多个点云的不在所述一组或多组接近点的任何组中的所有点；对于所述一组或多组接近点中的每一组，识别所述每一组中所述两个或更多个点中的优选点；以及，生成包括以下的合并的点云：所述孤立点；以及所述一组或多组接近点中的每一组的所述优选点；其中所述合并的点云不包含所述每一组中不是所述优选点的点。2.如权利要求1所述的方法，其中，所述每个点云包括：范围图像，所述范围图像将所述多个点表示为像素的2D阵列，其中，所述多个点中的每个点与所述像素的2D阵列中的像素对应；以及所述像素的2D阵列中的每个像素包括与所述像素相关联的点与所述每个点云的所述视点之间的距离；以及，从所述3D场景到所述像素的2D阵列的投影。3.如权利要求2所述的方法，其中所述投影包括：从所述3D场景中的点到以所述视点为中心的球体的映射；以及，从所述球体到所述像素的2D阵列的等距柱状投影。4.如权利要求2所述的方法，其中所述识别一组或多组接近点包括：从所述多个点云中选择基点云；从所述基点云的所述像素的2D阵列中选择像素的集合；从除所述基点云之外的所述多个点云中选择点的集合；将与所述基点云相关联的所述投影应用于所述点的集合中的每个点以获得：所述基点云的所述像素的2D阵列的投影像素；以及所述每个点与所述基点云的所述视点之间的投影距离；以及，当所述投影距离在与所述基点云中的所述投影像素相关联的所述距离的阈值内时，将所述每个点和所述基点云中与所述投影像素相关联的点添加到与所述投影像素相
关联的一组接近点。5.如权利要求2所述的方法，还包括使用所述计算机以：将所述每个点云的所述像素的2D阵列分区为多个图块；对于所述多个图块中的每个图块，生成包含所述每个点云的点的边界体积，所述点被投影到所述每个图块中的像素；识别与除所述每个点云之外的所述多个点云相关联的图块，所述图块具有与所述边界体积相交的相关联的边界体积。6.如权利要求5所述的方法，其中所述识别一组或多组接近点包括：从所述多个点云中选择基点云；从所述基点云中选择图块的集合；从除所述基点云之外的所述多个点云中选择点的集合，所述点的集合包括除所述基点云之外的所述多个点云的图块中的点，所述多个点云的图块与来自所述基点云的所述图块的集合的一个或多个图块相交；将与所述基点云相关联的所述投影应用于所述点的集合中的每个点以获得：所述基点云的所述像素的2D阵列的投影像素；以及所述每个点与所述基点云的所述视点之间的投影距离；当所述投影距离在与所述基点云中的所述投影像素相关联的所述距离的阈值内时，将所述每个点和所述基点云中与所述投影像素相关联的点添加到与所述投影像素相关联的一组接近点。7.如权利要求2所述的方法，其中所述识别所述每一组的所述两个或更多个点中的所述优选点包括：向用户呈现用户界面，所述用户界面显示来自所述多个点云中的第一点云的点的集合；对于所述点的集合中在所述接近点的所述组中的一个组中的每个点，在所述用户界面中显示指示器，该指示器指示所述每个点是否是所述一个组的优选点；接受来自所述用户的选择输入，以从所述第一点云中的所...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：索尼图片娱乐公司，
类型：发明
国别省市：