当前位置: 首页 > 专利查询>苹果公司专利>正文

使用用于细节级别生成的空间填充曲线的点云压缩制造技术

技术编号:29712977 阅读:13 留言:0更新日期:2021-08-17 14:45
本发明专利技术公开了一种系统,该系统包括被配置为对针对点云的属性信息进行压缩的编码器和/或被配置为对压缩属性信息进行解压缩的解码器。针对至少一个起始点的属性值包括在压缩属性信息文件中,并且属性校正值包括在该压缩属性信息文件中。基于空间填充曲线确定这些点的次序,其中编码器和解码器基于该空间填充曲线确定这些点的相同次序。通过根据不同的采样参数对这些有序点进行采样来确定细节级别,并且使用所确定的次序来预测针对这些细节级别中的这些点的属性值。该编码器基于这些预测值与压缩之前的初始值的比较来确定属性校正值。该解码器基于所接收的属性校正值来校正这些预测属性值。

【技术实现步骤摘要】
【国外来华专利技术】使用用于细节级别生成的空间填充曲线的点云压缩
本公开整体涉及点云的压缩和解压缩,这些点云包括多个点,每个点具有相关联的属性信息。相关技术描述各种类型的传感器(诸如光检测和测距(LIDAR)系统、3D相机、3D扫描仪等)可以捕获指示点在三维空间中的位置(例如在X、Y和Z平面中的位置)的数据。另外,此类系统除了针对相应点的空间信息之外还可捕获属性信息,诸如颜色信息(例如,RGB值)、强度属性、反射率属性、运动相关属性、模态属性或各种其他属性。在一些情况下,可以将附加属性分配给相应点,诸如捕获该点时的时间戳。由此类传感器捕获的点可以构成“点云”,该“点云”包括各自具有相关联的空间信息和一个或多个相关联的属性的一组点。在一些情况下,点云可以包括数千个点、数十万个点、数百万个点或甚至更多的点。另外,在一些情况下,与正由一个或多个传感器捕获的点云不同,可以例如在软件中生成点云。在任一种情况下,此类点云可包括大量数据,并且存储和传输这些点云可能成本高且耗时。
技术实现思路
在一些实施方案中,一种系统包括被配置为捕获共同构成点云的点的一个或多个传感器,其中这些点中的每个点包括标识3D空间中相应点的空间位置的空间信息和定义与相应点相关联的一个或多个属性的属性信息。系统还包括被配置为压缩针对这些点的属性信息的编码器。为了压缩属性信息,编码器被配置为基于包括在捕获点云中的属性信息将属性值分配给点云的至少一个点。另外,编码器被配置为:针对点云的点中的相应其他一些中的每个点,识别一组相邻点;至少部分地基于针对这些相邻点的预测或分配属性值来确定针对该相应点的预测属性值;并且至少部分地基于将针对该相应点的预测属性值与包括在捕获点云中的针对该点的属性信息进行比较来确定针对该点的属性校正值。编码器被进一步配置为对针对点云的压缩属性信息进行编码,其中压缩属性信息包括针对所述至少一个点的分配属性值以及针对点中的相应其他一些来指示相应的确定属性校正值的数据。在一些实施方案中,为了压缩属性信息,编码器被配置为构建针对点云的分级细节级别(LOD)结构。例如,编码器可被配置为确定待包括在针对点云的压缩属性信息的第一细节级别中的点,以及确定待包括在针对点云的压缩属性信息的一个或多个附加细节级别中的点。为了确定待包括在第一细节级别中的点或待包括在该一个或多个附加细节级别中的点,编码器被配置为基于空间填充曲线确定点云的这些点的次序,其中该点云的相应点被分配给索引,该索引基于这些相应点与沿该空间填充曲线的位置的接近度来索引这些相应点。进一步作为确定待包括在第一细节级别中的点或待包括在一个或多个附加细节级别中的点的一部分,编码器被配置为根据一个或多个采样率对索引进行采样,以确定点云的待包括在第一细节级别或一个或多个附加细节级别中的点。另外,编码器被配置为压缩被确定为包括在第一细节级别中的点的属性信息,以及压缩被确定为包括在一个或多个附加细节级别中的点的属性信息。例如,编码器可针对被确定为包括在第一细节级别中的点以及针对被确定为包括在一个或多个附加细节级别中的点生成属性校正值。在一些实施方案中,如上所述的预测和校正过程可用于确定被确定为包括在细节级别中的相应细节级别中的相应点集的属性校正值。在一些实施方案中,解码器被配置为接收针对点云的压缩属性信息,该压缩属性信息包括针对点云的至少一个点的至少一个分配属性值以及指示针对点云的其他点的属性的属性校正值的数据。在一些实施方案中,可以针对点云的点的多个子集以多个细节级别对属性校正值进行排序。例如,解码器可以接收如上所述由编码器压缩的压缩点云。解码器可被进一步配置为提供针对第一细节级别的解压缩属性信息,并且更新点云的解压缩版本以包括针对多个细节级别中的一个或多个其他细节级别处的点的附加子集的属性信息。在一些实施方案中,为了对属性信息进行解压缩,解码器被配置为接收针对点云的点的空间信息,以及接收针对点云的一个或多个细节级别的压缩属性信息。解码器被进一步配置为基于根据空间填充曲线确定点云的点的次序来确定待包括在针对该点云的一个或多个细节级别中的点,其中该点云的相应点被分配给索引,该索引基于这些相应点与沿该空间填充曲线的位置的接近度来索引这些相应点,以及根据一个或多个采样率对索引进行采样来确定点云的待包括在该一个或多个细节级别中的点。此外,解码器被配置为基于接收到的针对点云的相应一个或多个细节级别的点的压缩属性信息来确定被确定为包括在一个或多个细节级别中的点的属性值。例如,解码器可预测针对包括在给定细节级别中的点的属性值,然后将属性校正值应用于预测值,其中属性校正值包括在针对给定细节级别的压缩属性信息中。在一些实施方案中,非暂态计算机可读介质可存储程序指令,这些程序指令在由一个或多个处理器执行时使得该一个或多个处理器基于应用如本文所述的空间填充曲线来确定细节级别结构的细节级别。另外,这些程序指令可使得该一个或多个处理器使用如本文所述的确定细节级别结构来对点云的属性信息进行编码或解码。在一些实施方案中,方法包括基于应用如本文所述的空间填充曲线来确定细节级别结构的细节级别。该方法还可包括使用如本文所述的细节级别结构来对点云的属性信息进行编码或解码。附图说明图1A示出了根据一些实施方案的包括捕获针对点云的点的信息的传感器和压缩点云的属性信息和/或空间信息的编码器的系统,其中该压缩点云信息被发送至解码器。图1B示出了根据一些实施方案的用于确定待包括在用于对点云的属性信息进行压缩/编码的细节级别(LOD)中的点的过程。图1C至图1D示出了根据一些实施方案的用于对点云的点的属性信息进行压缩和编码的过程,该点云的点被选择为待包括在针对该点云的相应细节级别(LOD)中。图2A示出了根据一些实施方案的确定和发信号通知待用于确定待包括在针对点云的细节级别(LOD)中的点的采样率的过程。图2B示出了根据一些实施方案的通过将空间填充曲线应用到点云而生成的示例性索引,并且还示出了对索引进行采样以确定待包括在针对点云的相应细节级别(LOD)中的点。图3A示出了根据一些实施方案的确定和发信号通知待用于确定待包括在针对点云的细节级别(LOD)中的点的采样次序的过程。图3B示出了根据一些实施方案的通过将空间填充曲线应用到点云而生成的示例性索引,并且还示出了以正向采样次序对索引进行采样以确定点云的待包括在针对该点云的相应细节级别(LOD)中的点。图3C示出了根据一些实施方案的通过将空间填充曲线应用到点云而生成的示例性索引,并且还示出了以反向采样次序对索引进行采样以确定点云的待包括在针对该点云的相应细节级别(LOD)中的点。图3D示出了根据一些实施方案的通过将空间填充曲线应用到点云而生成的示例性索引,并且还示出了以内-外采样次序(interioroutorder)对索引进行采样以确定点云的待包括在针对该点云的相应细节级别(LOD)中的点。图4A示出了根据一些实施方案的确定和发信号通知待用于确定待包括在针对点云的细节级别(LOD)中的点的采样偏移值的过本文档来自技高网...

【技术保护点】
1.一种存储程序指令的非暂态计算机可读介质,所述程序指令在由一个或多个处理器执行时使得所述一个或多个处理器:/n确定待包括在针对其压缩属性信息的点云的第一细节级别中的点;以及/n确定待包括在针对其压缩属性信息的所述点云的一个或多个附加细节级别中的点,/n其中为了确定待包括在所述第一细节级别和所述一个或多个附加细节级别中的所述点,所述程序指令使得所述一个或多个处理器:/n基于空间填充曲线确定所述点云的所述点的次序,其中所述点云的相应点被分配给索引,所述索引基于所述相应点与沿所述空间填充曲线的位置的接近度来索引所述相应点;/n根据第一采样率对所述索引进行采样以确定所述点云的待包括在所述第一细节级别中的点;以及/n根据一个或多个其他采样率对所述索引进行采样以确定所述点云的待包括在所述一个或多个附加细节级别中的点;/n压缩针对被确定为包括在所述第一细节级别中的所述点的属性信息;以及/n压缩针对被确定为包括在所述一个或多个附加细节级别中的所述点的属性信息。/n

【技术特征摘要】
【国外来华专利技术】20190108 US 62/789,986;20200107 US 16/736,7031.一种存储程序指令的非暂态计算机可读介质,所述程序指令在由一个或多个处理器执行时使得所述一个或多个处理器:
确定待包括在针对其压缩属性信息的点云的第一细节级别中的点;以及
确定待包括在针对其压缩属性信息的所述点云的一个或多个附加细节级别中的点,
其中为了确定待包括在所述第一细节级别和所述一个或多个附加细节级别中的所述点,所述程序指令使得所述一个或多个处理器:
基于空间填充曲线确定所述点云的所述点的次序,其中所述点云的相应点被分配给索引,所述索引基于所述相应点与沿所述空间填充曲线的位置的接近度来索引所述相应点;
根据第一采样率对所述索引进行采样以确定所述点云的待包括在所述第一细节级别中的点;以及
根据一个或多个其他采样率对所述索引进行采样以确定所述点云的待包括在所述一个或多个附加细节级别中的点;
压缩针对被确定为包括在所述第一细节级别中的所述点的属性信息;以及
压缩针对被确定为包括在所述一个或多个附加细节级别中的所述点的属性信息。


2.根据权利要求1所述的非暂态计算机可读介质,其中所述程序指令在由所述一个或多个处理器执行时使得所述一个或多个处理器:
在位流中发信号通知所述第一采样率和所述一个或多个其他采样率以及针对所述第一细节级别的所述压缩属性信息和针对所述一个或多个附加细节级别的所述压缩属性信息。


3.根据权利要求1所述的非暂态计算机可读介质,其中所述程序指令在由所述一个或多个处理器执行时使得所述一个或多个处理器:
根据所述第一采样率确定待用于对所述索引进行采样的第一采样次序,以确定待包括在所述第一细节级别中的所述点;
根据所述一个或多个其他采样率确定待用于对所述索引进行采样的一个或多个其他采样次序,以确定待包括在所述一个或多个附加细节级别中的所述点;以及
在位流中发信号通知所述第一采样次序和所述一个或多个其他采样次序以及针对所述第一细节级别的所述压缩属性信息和针对所述一个或多个附加细节级别的所述压缩属性信息。


4.根据权利要求3所述的非暂态计算机可读介质,其中所述相应采样率指示当根据所述相应采样次序中的一个次序遍历索引位置以对所述索引进行采样来确定哪些点待包括在给定细节级别中时,待跳过或选择所述索引中的所述索引位置的相应频率。


5.根据权利要求4所述的非暂态计算机可读介质,其中所述第一采样次序和所述一个或多个其他采样次序包括以下中的一者或多者:
正向采样次序;
反向采样次序,其中在与所述正向采样次序相反的方向上对所述索引位置进行采样;或者
内-外采样次序,其中所述索引从内部索引位置以正向方向朝向所述索引的末端进行采样,并且从所述内部索引位置以反向方向朝向所述索引的开端进行采样。


6.根据权利要求5所述的非暂态计算机可读介质,其中所述程序指令在所述一个或多个处理器上执行时使得所述一个或多个处理器:
对相应细节级别执行速率失真优化分析,以选择待用于确定待包括在所述相应细节级别中的点的所述相应采样次序。


7.根据权利要求6所述的非暂态计算机可读介质,其中所述程序指令在所述一个或多个处理器上执行时使得所述一个或多个处理器:
基于速率失真优化分析,使用所述第一采样率确定待在根据所述第一采样次序对所述索引位置进行采样时待用作偏移的第一采样偏移,以确定待包括在所述第一细节级别中的所述点;
基于速率失真优化分析,使用所述一个或多个其他采样率来确定在根据所述一个或多个其他采样次序对所述索引位置进行采样时待用作偏移的一个或多个其他采样偏移,以确定待包括在所述一个或多个附加细节级别中的所述点;以及
在位流中发信号通知所述第一采样偏移和所述一个或多个其他采样偏移以及针对所述第一细节级别的所述压缩属性信息和针对所述一个或多个附加细节级别的所述压缩属性信息。


8.根据权利要求7所述的非暂态计算机可读介质,其中对于所述第一细节级别和所述一个或多个附加细节级别,所述发信号通知的位流包括以下一个或多个不同的相应项:
采样率;
采样次序;或者
采样偏移,
以用于确定待包括在所述细节级别中的所述相应细节级别中的所述点。


9.根据权利要求8所述的非暂态计算机可读介质,其中所述程序指令在由所述一个或多个处理器执行时使得所述一个或多个处理器:
在所述细节级别中的不同细节级别之间交织压缩属性值信息,使得不包括在给定细节级别中的属性值类型包括在相邻细节级别中。


10.根据权利要求1所述的非暂态计算机可读介质,其中所述程序指令在所述一个或多个处理器上执行时使得所述一个或多个处理器:
基于速率失真优化分析来确定待包括在另一个细节级别中的点,所述速率失真优化分析在最近邻点遍历技术和空间填充曲线采样技术之间进行选择以确定哪些点待包括在所述另一个细节级别中。


11.根据权利要求1所述的非暂态计算机可读介质,其...

【专利技术属性】
技术研发人员:K·马莫A·图拉皮斯J·金
申请(专利权)人:苹果公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1