点云几何结构压缩制造技术

本发明专利技术提供了一种系统，所述系统包括被配置为压缩点云的编码器，所述点云包括多个点，每个点包括针对所述点的空间信息。所述编码器被配置为对所述点进行子采样并确定针对所述子采样点的细分位置。另外，所述编码器被配置为针对相应细分位置确定是要包括点、不包括点、还是相对所述细分位置重新定位点。所述编码器对针对所述子采样点的空间信息进行编码并对细分位置点包括/重新定位信息进行编码以生成压缩点云。解码器基于包括在所述压缩点云中的所述空间信息和所述细分位置包括/重新定位信息来重新创建原始点云的原始或近似副本。

Point cloud geometry compression

【技术实现步骤摘要】
【国外来华专利技术】点云几何结构压缩
技术介绍

本公开整体涉及点云的压缩和解压缩，这些点云包括多个点，每个点具有相关联的空间信息，并且在一些实施方案中，具有附加的属性信息。
技术介绍
各种类型的传感器诸如光检测和测距(LIDAR)系统、3D相机、3D扫描仪等可以捕获指示点在三维空间中的位置(例如在X、Y和Z平面中的位置)的数据。另外，一些此类系统除了针对相应点的空间信息之外还可捕获属性信息，诸如颜色信息(例如，RGB值)、强度属性、反射率属性或各种其他属性。在一些情况下，可将其他属性分配给相应点，诸如捕获该点时的时间戳。由此类传感器捕获的点可构成“点云”，该“点云”包括各自具有相关联空间信息的一组点。在一些情况下，点云可包括数千个点、数十万个点、数百万个点或甚至更多的点。另外，在一些情况下，与由一个或多个传感器捕获的点云不同，可以例如在软件中生成点云。在任一种情况下，此类点云可包括大量数据，并且存储和传输这些点云可能成本高且耗时。
技术实现思路
在一些实施方案中，系统包括被配置为捕获共同构成点云的点的一个或多个传感器，其中这些点中的每个点包括识别相应点的空间位置的空间信息。该系统还包括被配置为生成压缩点云的编码器，其中该压缩点云包括针对比捕获点云的点数量少的点的空间信息，但是其中针对压缩点云中包括的点的空间信息和压缩点云中包括的附加数据以使得解码器可基于该压缩点云来重新创建捕获点云或捕获点云的极度近似的方式来进行组织。为了生成压缩点云，编码器被配置为对由所述一个或多个传感器捕获的捕获点云进行子采样，其中子采样点云包括比捕获点云少的点。编码器被进一步配置为针对子采样点云的点中的相应一些中的每个点识别子采样点云的相应点与子采样点云中的相邻点之间的位置，并基于将该位置与捕获点云进行比较，确定是要将解压缩点云中的点包括在该位置处、不包括在该位置处、还是相对于该位置重新定位。编码器被进一步配置为对针对压缩点云的数据进行编码，该数据包括针对子采样点云的点的空间信息以及指示针对相应位置中的每个是要将相应点包括在该位置处、不包括在该位置处、还是相对于解压缩点云中的位置重新定位的数据。在一些实施方案中，系统可省略所述一个或多个传感器，并且编码器可从另一个系统的传感器或从另一个源接收待压缩的原始点云。在一些实施方案中，方法包括对点云进行子采样，其中该子采样点云包括比该点云少的点。该方法还包括在子采样之前针对子采样点云的点中的相应一些中的每个点将子采样点云的相应点与子采样点云中的相邻点之间的位置进行比较，并且基于该比较确定是要将点包括在该位置处、不包括在该位置处、还是相对于解压缩点云中的位置重新定位。该方法还包括对数据进行编码，该数据包括针对子采样点云的点的空间信息以及指示针对相应位置中的每个是要将相应点包括在该位置处、不包括在该位置处、还是相对于解压缩点云中的位置重新定位的数据。在一些实施方案中，非暂态计算机可读介质存储程序指令，当这些程序指令由一个或多个处理器执行时使所述一个或多个处理器实现被配置为接收压缩点云的解码器，其中该压缩点云包括针对子采样点云的点的空间信息，以及指示针对子采样点云的相应点与子采样点云中的相应相邻点之间的多个相应位置中的每个是要将点包括在该相应位置处、不包括在该相应位置处、还是相对于解压缩点云中的相应位置重新定位的数据。当被执行时，这些程序指令还使得解码器针对子采样点云的点中的相应一些中的每个点识别子采样点云中的相应点与相邻点之间的相应位置，并且基于接收到的压缩点云中包括的数据确定是在该相应位置处包括、不包括、还是重新定位点。当被执行时，这些程序指令还使得解码器生成解压缩点云，其中该解压缩点云包括子采样点云的点和确定要包括在相应位置处或相对于相应位置重新定位的相应点。附图说明图1A示出了根据一些实施方案的包括捕获针对点云的点的信息的传感器和压缩点云的编码器的系统，其中该压缩点云被发送至解码器。图1B示出了根据一些实施方案的用于对压缩点云进行编码的过程。图1C示出了根据一些实施方案的点云在编码过程的不同阶段处的代表性视图。图2A示出了根据一些实施方案的编码器的部件。图2B示出了根据一些实施方案的解码器的部件。图3示出了根据一些实施方案的示例性压缩点云文件的组成部分。图4示出了根据一些实施方案的用于对压缩点云进行编码的过程。图5示出了根据一些实施方案的用于在对压缩点云进行编码时确定子采样点云的细分位置的过程。图6A-C示出了根据一些实施方案的用于对压缩点云进行解码的过程。图7示出了根据一些实施方案的在3D远程显示应用中正在使用的压缩点云。图8示出了根据一些实施方案的在虚拟现实应用中正在使用的压缩点云。图9示出了根据一些实施方案的可实现编码器或解码器的示例性计算机系统。本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112(f)。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。“基于”。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。具体实施方式随着数据采集和显示技术变得更加本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n被配置为捕获构成点云的多个点的一个或多个传感器，其中所述相应点中的每个点包括识别所述相应点的空间位置的空间信息；以及/n被配置为生成压缩点云的编码器，其中为了生成所述压缩点云，所述编码器被配置为：/n对由所述一个或多个传感器捕获的捕获点云进行子采样，其中所述子采样点云包括比所述捕获点云少的点；以及/n针对所述子采样点云的所述点中的相应一些：/n识别所述子采样点云的所述相应点与所述子采样点云中的相邻点之间的位置；以及/n基于将所述位置与所述捕获点云进行比较，确定是要将解压缩点云中的点包括在所述位置处、不包括在所述位置处、还是相对于所述位置重新定位；以及/n对针对所述压缩点云的数据进行编码，所述数据包括：/n针对所述子采样点云的所述点的空间信息；以及/n指示针对所述相应位置中的每个是要将相应点包括在所述位置处、不包括在所述位置处、还是相对于所述解压缩点云中的所述位置重新定位的数据。/n

【技术特征摘要】
【国外来华专利技术】20170906 US 62/555,003;20180904 US 16/121,5011.一种系统，包括：
被配置为捕获构成点云的多个点的一个或多个传感器，其中所述相应点中的每个点包括识别所述相应点的空间位置的空间信息；以及
被配置为生成压缩点云的编码器，其中为了生成所述压缩点云，所述编码器被配置为：
对由所述一个或多个传感器捕获的捕获点云进行子采样，其中所述子采样点云包括比所述捕获点云少的点；以及
针对所述子采样点云的所述点中的相应一些：
识别所述子采样点云的所述相应点与所述子采样点云中的相邻点之间的位置；以及
基于将所述位置与所述捕获点云进行比较，确定是要将解压缩点云中的点包括在所述位置处、不包括在所述位置处、还是相对于所述位置重新定位；以及
对针对所述压缩点云的数据进行编码，所述数据包括：
针对所述子采样点云的所述点的空间信息；以及
指示针对所述相应位置中的每个是要将相应点包括在所述位置处、不包括在所述位置处、还是相对于所述解压缩点云中的所述位置重新定位的数据。


2.根据权利要求1所述的系统，其中针对所述子采样点云的所述点中的所述相应一些，所述编码器被进一步配置为；
识别一组相邻点，
其中所述识别所述子采样点云的所述相应点与所述子采样点云中的相邻点之间的位置包括识别所述相应点与所述一组相邻点的所述相邻点中的相应一些之间的位置，并且
其中基于将所述位置与所述捕获点云进行比较，所述确定是要将解压缩点云中的点包括在所述位置处、不包括在所述位置处、还是相对于所述位置重新定位包括针对所述相应点与所述一组相邻点的所述相邻点中的所述相应一些之间的所述相应位置中的每个执行所述确定。


3.根据权利要求2所述的系统，其中针对所述相应点要包括在所述一组相邻点中的最近相邻点的数量是可由所述编码器配置的可配置参数，
其中所述编码器被进一步配置为对指示要包括在所述一组相邻点中的最近相邻点的所述数量的所述压缩点云数据进行编码，其中解码器在生成所述解压缩点云时使用指示要包括在所述一组相邻点中的最近相邻点的所述数量的所述编码数据。


4.根据权利要求3所述的系统，其中为了识别所述一组相邻点，所述编码器被配置为识别处于距所述相应点的距离大于距所述相应点的最小距离并且小于距所述相应点的最大距离的相邻点，其中所述最小距离和所述最大距离是可由所述编码器配置的可配置参数，
其中所述编码器被进一步配置为对指示所述最小距离和所述最大距离的针对所述压缩点云的数据进行编码，其中解码器在生成所述解压缩点云时使用指示所述最小距离和所述最大距离的所述编码数据。


5.根据权利要求4所述的系统，其中最近相邻点的所述数量、所述最小距离以及所述最大距离是用户可配置参数。


6.根据权利要求1所述的系统，其中所述编码器被进一步配置为：
基于将所述捕获点云与所述子采样点、确定要包括在所述解压缩点云中的所述点以及确定要在所述解压缩点云中重新定位的所述点进行比较，确定是否要将一个或多个附加点包括在所述解压缩点云中；以及
对针对所述压缩点云的数据进行编码，所述数据包括针对要包括在所述解压缩点云中的所述一个或多个附加点的空间信息。


7.根据权利要求1所述的系统，其中所述编码器被进一步配置为：
继确定要包括在所述解压缩点云中的一个或多个点或要在所述解压缩点云中重新定位的一个或多个点之后，将所述一个或多个点或所述一个或多个重新定位的点添加到所述子采样点云，作为更新的子采样点云的点；以及
针对所述更新的子采样点云的所述点中的相应一些：
识别所述更新的子采样点云的所述相应点与所述更新的子采样点云中的相邻点之间的位置；以及
基于将所述位置与所述捕获点云进行比较，确定是要将解压缩点云中的点包括在所述位置处、不包括在所述位置处、还是相对于所述位置重新定位，
其中为了对针对所述压缩点云的数据进行编码，所述编码器被配置为对数据进行编码，所述数据包括指示针对一个或多个相应的更新的子采样点云中的每个的相应位置是要将相应点包括在所述相应位置处、不包括在所述相应位置处、还是相对于所述解压缩点云中的所述相应位置重新定位的数据。


8.一种生成压缩点云的方法，包括：
对点云进行子采样，其中所述子采样点云包括比所述点云少的点；以及
针对所述子采样点云的所述点中的相应一些：
将所述子采样点云的所述相应点与所述子采样点云中的相邻点之间的位置与所述子采样之前的所述点云进行比较；以及
基于所述比较确定：
是要将点包括在所述位置处、不包括在所述位置处、还是相对于解压缩点云中的所述位置重新定位；以及
对数据进行编码，所述数据包括针对所述子采样点云的所述点的空间信息以及指示针对所述相应位置中的每个是要将相应点包括在所述位置处、不包括在所述位置处、还是相对于解压缩点云中的所述位置重新定位的数据。


9.根据权利要求8所述的方法，还包括：
针对所述子采样点云的所述点中的所述相应一些识别一组相邻点；
其中所述识别所述子采样点云的所述相应点与所述子采样点云中的相邻点之间的位置包括识别所述相...

【专利技术属性】
技术研发人员：K·马莫，F·A·罗比内特，A·克雷马斯基，A·图拉皮斯，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US