自监督3D点云抽象制造技术

一种用于自适应地抽象点云的方法包括初始化与查询形状和查询参数集合相关联的基元集合。对于每个基元，使用与所述基元相关联的所述查询参数集合和所述查询形状访问局部点集合。对于每个局部点集合，使用第一神经网络确定描述符向量，该描述符向量包括用于基元更新的子向量和用于局部描述符的子向量。基于用于每个局部点集合的描述符向量来更新基元集合。合。合。

【技术实现步骤摘要】
【国外来华专利技术】自监督3D点云抽象
1.

[0001]本专利技术原理整体涉及点云处理的领域。也在点云信号的分析、插值、表示和理解的上下文中理解本文档。
2.
技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本专利技术原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本专利技术原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。
[0003]点云是跨若干商业领域使用的数据格式，包括自主驾驶、机器人、AR/VR、土木工程、计算机图形以及动画/电影产业。3D LIDAR传感器已被部署在自动驾驶汽车中，并且负担得起的LIDAR传感器被包括在例如Apple iPad Pro 2020和Intel RealSense LIDAR相机L515中。随着感测技术的进步，三维(3D)点云数据已变得更加实用并且被期望在所提到的应用中成为有价值的使能器。
[0004]同时，点云数据可能消耗大部分网络流量，例如在5G网络上连接的汽车之间，以及沉浸式通信(虚拟或增强现实(VR/AR))。点云理解和通信基本上会导致高效的表示格式。特别地，为了世界建模和感测的目的，原始点云数据需要被适当地组织和处理。
[0005]此外，点云可表示包含多个移动对象的相同场景的顺序扫描。与从静态场景或静态对象捕获的静态点云相比，这些被称为动态点云。动态点云通常被组织成帧，其中不同的帧在不同的时间被捕获。
[0006]3D点云数据是对象或场景的表面的基本上离散的样本。为了用点样本完全表示真实世界，在实践中，需要大量的点。例如，典型的VR沉浸式场景包含数以百万计的点，而点云地图通常包含数以亿计的点。因此，这种大规模点云的处理在计算上是昂贵的，特别是对于具有有限计算能力的消费设备，例如智能电话、平板电脑和汽车导航系统。
[0007]从感测模态获得的原始点云数据可能是稀疏的且有噪声的，并且需要首先被处理以用于下游任务，诸如概括、分割、压缩、分类等。为了促进这些下游任务，执行有效点云抽象的方法和装置对于提供新方式来将原始点云表示为显式(几何基元)和隐式(抽象码字)特征的组合是必要的。
3.
技术实现思路

[0008]以下呈现本专利技术原理的简化概述，以便提供对本专利技术原理的一些方面的基本理解。本
技术实现思路
不是本专利技术原理的广泛概述。不旨在识别本专利技术原理的关键或重要元素。以下
技术实现思路
仅以简化形式呈现本专利技术原理的一些方面，作为下面提供的更详细描述的前言。
[0009]本专利技术原理涉及一种用于通过初始化与查询形状和查询参数集合相关联的基元集合来自适应地抽象点云的方法。对于每个基元，使用与基元相关联的查询参数集合和查
询形状访问局部点集合。对于每个局部点集合，使用第一神经网络确定描述符向量，该描述符向量包括用于基元更新的子向量和用于局部描述符的子向量。基于用于每个局部点集合的描述符向量来更新基元集合。
[0010]本专利技术原理还涉及一种包括被配置为实现上述方法的步骤的与存储器相关联的处理器的设备。
[0011]本专利技术原理还涉及一种用于通过基于基元确定点云的空间中的采样分布来从基元集合重构点云的方法。使用第一神经网络，基于局部描述符确定分布参数。根据分布参数确定基元的点。使用第二神经网络基于全局描述符对基元集合和所生成的点进行移位和粘接。
[0012]本专利技术原理还涉及一种包括被配置为实现上述方法的步骤的与存储器相关联的处理器的设备。
[0013]本专利技术原理也涉及一种组合上述设备的编码器。编码器被配置为对设备的神经网络进行端到端训练。
4.附图说明
[0014]在阅读以下描述之后，将更好地理解本公开，并且将出现其他特定特征和优点，该描述参考附图，其中：
[0015]图1示出根据本专利技术原理的非限制性实施方案的用于执行自适应点云抽象以用于后续机器任务的方法；
[0016]图2示出编码器架构的第一实施方案，其中基元被随机地初始化；
[0017]图3示出编码器架构的第二非限制性实施方案；
[0018]图4示出根据本专利技术原理的编码器架构的第四实施方案；
[0019]图5示出编码器架构的非限制性第五实施方案；
[0020]图6示出编码器架构的非限制性第六实施方案；
[0021]图7示出解码器架构的非限制性第一实施方案；
[0022]图8示出解码器架构的非限制性第二实施方案；并且
[0023]图9示出根据本专利技术原理的非限制性实施方案的可被配置为实现关于图1描述的方法的设备的示例性架构。
5.具体实施方式
[0024]下文将参考附图更全面地描述本专利技术原理，在该附图中示出了本专利技术原理的示例。然而，本专利技术原理可以许多替代形式体现，并且不应被解释为限制于本文阐述的示例。因此，虽然本专利技术原理易受各种修改和替代形式的影响，但是其具体示例通过附图中的示例示出，并且本文将详细描述。然而，应当理解，不存在将本专利技术原理限制为所公开的特定形式的意图，但是相反，本公开用于涵盖落入由权利要求书限定的本专利技术原理的实质和范围内的所有修改、等同物和替代方案。
[0025]本文使用的术语仅出于描述特定示例的目的，并且不旨在限制本专利技术原理。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确说明。将会进一步理解，当用于本说明书时，术语“包括”和/或“包含”指定存在所述特征、整数、步
骤、操作、元件和/或分量，但不排除一个或多个其他特征、整数、步骤、操作、元件、分量和/或其组的存在或添加。此外，当元件被称为“响应”或“连接”到另一元件时，它可以直接响应或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其他元件时，不存在中间元件。如本文所用，术语“和/或”包括列出的相关联项中的一者或多者的任何和所有组合，并且可以缩写为“/”。
[0026]应当理解，尽管在本文中可使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不脱离本专利技术原理的教导内容的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
[0027]尽管一些图示包括通信路径上的箭头以显示主通信方向，但是应理解，通信可以在与所描绘箭头相反的方向上发生。
[0028]关于其中每个框表示电路元件、模块或代码部分的框图和操作流程图描述了一些示例，该代码部分包括用于实现指定逻辑功能的一个或多个可执行指令。还应当指出的是，在其他具体实施中，框中标注的功能可能不按标注的顺序出现。例如，连续显示的两个框实际上可基本上同时执行，或者这些框有时可根据所涉及的功能以相反的顺序执行。
[0029]本文中的“根据一个示例”或“在一个示例中”的参考意味着结合示例描述的特定特征、结构或特性可以包括在本专利技术原理的至少一个具体实施中。说明书中各个地方的“根据一个示例”或“在一个示例中”的短语的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于自适应地抽象点云的方法，所述方法包括：初始化与查询形状和查询参数集合相关联的基元集合；对于每个基元，使用与所述基元相关联的所述查询参数集合和所述查询形状访问局部点集合；对于每个局部点集合，使用第一神经网络确定描述符向量，所述描述符向量包括用于基元更新的子向量和用于局部描述符的子向量；以及基于用于每个局部点集合的所述描述符向量来更新所述基元集合。2.根据权利要求1所述的方法，其中使用全局描述符作为输入以用于确定用于所述局部描述符的所述子向量，使用第二神经网络确定所述全局描述符。3.根据权利要求1所述的方法，其中通过对所述点云进行最远点采样来初始化所述基元集合。4.根据权利要求1所述的方法，其中使用用于所述基元更新的所述子向量来执行对所述基元集合的更新。5.根据权利要求1所述的方法，其中通过初始化至少两个不同的查询形状来初始化至少两种类型的基元，并且其中使用所述至少两个不同的查询形状来学习所述点云的基元的组合。6.一种包括与存储器相关联的处理器的设备，其中所述处理器被配置为：初始化与查询形状和查询参数集合相关联的基元集合；对于每个基元，使用与所述基元相关联的所述查询参数集合和所述查询形状访问局部点集合；对于每个局部点集合，使用第一神经网络确定描述符向量，所述描述符向量包括用于基元更新的子向量和用于局部描述符的子向量；以及基于用于每个局部点集合的所述描述符向量来更新所述基元集合。7.根据权利要求6所述的设备，其中使用全局描述符作为输入以用于确定用于所述局部描述符的所述子向量，使用第二神经网络确定所述全局描述符。8.根据权...

【专利技术属性】
技术研发人员：王若愚，M，
申请(专利权)人：交互数字专利控股公司，
类型：发明
国别省市：