本发明专利技术公开了一种系统，所述系统包括被配置为压缩关于点云的属性信息和/或空间信息的编码器、和/或被配置为解压缩关于所述点云的压缩属性信息和/或空间信息的解码器。为了压缩所述属性信息和/或空间信息，所述编码器被配置为将点云转换为基于图像的表示。另外，所述解码器被配置为基于点云的基于图像的表示来生成解压缩点云。在一些实施方案中，编码器利用环路外平滑将属性传递函数应用于基于图像的表示的属性，使得解码器可以应用所述解码器所支持的任何平滑滤波器，而不限于使用与所述编码器类似的平滑滤波器。述编码器类似的平滑滤波器。述编码器类似的平滑滤波器。
【技术实现步骤摘要】
【国外来华专利技术】具有非规范平滑的基于视频的点云压缩
技术介绍
[0001]本公开整体涉及包括多个点的点云的压缩和解压缩，每个点具有相关联的空间信息和属性信息。
[0002]相关技术描述
[0003]各种类型的传感器(诸如光检测和测距(LIDAR)系统、3D相机、3D扫描仪等)可以捕获指示点在三维空间中的位置(例如在X、Y和Z平面中的位置)的数据。另外，此类系统除了关于相应点的空间信息之外还可以捕获属性信息，诸如颜色信息(例如，RGB值)、纹理属性、强度属性、反射率属性、运动相关属性、模态属性或各种其他属性。在一些情况下，可以将附加属性分配给相应点，诸如捕获该点时的时间戳。由此类传感器捕获的点可以构成“点云”，该“点云”包括各自具有相关联的空间信息和一个或多个相关联的属性的一组点。在一些情况下，点云可以包括数千个点、数十万个点、数百万个点或甚至更多的点。另外，在一些情况下，与正由一个或多个传感器捕获的点云不同，可以例如在软件中生成点云。在任一种情况下，此类点云可包括大量数据，并且存储和传输这些点云可能成本高且耗时。
技术实现思路
[0004]在一些实施方案中，一种系统包括被配置为捕获共同构成点云的点的一个或多个传感器，其中每个点包括识别相应点的空间位置的空间信息和定义与相应点相关联的一个或多个属性的属性信息。
[0005]该系统还包括被配置为压缩点的属性信息和/或空间信息的编码器。为了压缩属性和/或空间信息，编码器被配置为针对点云确定多个补片，每个补片对应于点云的部分。编码器被进一步配置为针对每个补片：生成补片图像，该补片图像包括与投影到补片平面上的补片相对应的点集合，并且生成另一个补片图像，该另一个补片图像包括与补片相对应的点集合的几何信息诸如深度信息，其中该几何信息包括点在垂直于补片平面的方向上的深度。
[0006]例如，与投影到补片平面上的补片相对应的几何补片图像可以在两个方向(诸如，X和Y方向)上描绘包括在补片中的点云的点。点云的点可以投影到与法矢量大约垂直的补片平面上，该法矢量在补片的位置处与点云的表面垂直。另外，例如，包括补片中所包括的点集合的深度信息的几何补片图像可描绘深度信息，诸如Z方向上的深度距离。为了描绘深度信息，几何补片图像可以包括一个参数，该参数基于点云中的点在补片图像中的特定位置处的深度而在强度上变化。例如，描绘深度信息的几何补片图像可以具有与表示投影到补片平面上的点的属性的属性补片图像相同的形状。然而，几何信息补片图像可以是包括图像属性(诸如，一种或多种颜色)的图像，这些图像属性的强度基于深度发生变化，其中一个或多个图像属性的强度对应于点云的对应点在几何补片图像中的某位置处的深度，该位置是图像属性在描绘深度的几何补片图像中显示所在的位置。例如，更靠近补片平面的点
可被编码为描绘深度的补片图像中的较暗值，并且更远离补片平面的点可被编码为描绘深度的补片图像中的较亮值，例如在描绘深度的单色补片图像中。因此，当与表示投影到补片平面上的点的属性值的其他补片图像对准时，深度信息补片图像可以基于几何补片图像中与点在包括投影到补片平面上的点云点的其他补片图像中的位置相对应的位置处的相应图像属性强度来指示投影到补片平面上的点的相对深度。
[0007]编码器被进一步配置为将所确定的补片中的每个补片的所生成补片图像(包括几何补片图像，以及一个或多个其他属性诸如颜色、纹理、反射率等的一个或多个附加补片图像)打包到一个或多个图像帧中。另外，编码器被配置为将一个或多个打包的图像帧提供给视频编码部件(其可被包括在编码器中或可以是单独的视频编码部件)。另外，编码器被配置为在2D空间中缩减打包图像帧。例如，编码器可以利用视频编码部件的一个或多个缩减特征来在2D域中缩减图像帧。例如，编码器可以利用根据高效视频编码(HEVC/H.265)标准或其他合适的标准(诸如，高级视频编码(AVC/H.264)标准、由开放媒体联盟(AOMedia)制作的AOMedia视频1(AV1)视频编码格式等)的视频编码器。在一些实施方案中，编码器可利用根据运动图像专家组(MPEG)、联合图像专家组(JPEG)标准、国际电信联盟电信标准(例如ITU
‑
T标准)等的视频编码部件。
[0008]另外，编码器被配置为对包括属性补片的打包补片图像应用属性变换函数，以补偿可能包括在点云的解压缩/重构版本中的失真或伪影。例如，编码器可以对包括几何补片图像的图像帧进行视频编码和视频解码。编码器可以进一步确定解码/解压缩的几何补片图像中的失真或伪影。然后，编码器可以选择或调整待应用于属性补片图像以补偿引入点云几何中的压缩/解压缩伪影和/或失真的属性传递函数。然而，当确定属性传递函数时，编码器可以避免使用已经例如经由平滑滤波器经历几何平滑过程的点。通过不使用经平滑几何点来确定属性传递函数，编码器将编码器平滑作为编码器的必须由解码器处的匹配平滑滤波器匹配的规范特征移除。
[0009]例如，如果属性传递应用于已经被编码器侧几何平滑滤波器平滑的经编码器平滑点，则解码器需要对解压缩的几何点应用相同的几何平滑滤波器，以便使通过发信号通知的属性传递函数正确调整点的属性以匹配经平滑几何。然而，如果在编码器处将属性传递函数应用于非平滑点，则解码器可以对重构点应用通过发信号通知的属性传递函数，并且任选地选择待在解码器处应用的非规范平滑滤波器。另外，解码器可以应用第二属性传递函数来补偿由于应用解码器侧非规范几何平滑滤波器而导致的云点的点位置变化。因为解码器侧几何平滑滤波器是非规范的，所以解码过程的设计者或用户可以自定义几何平滑滤波器以满足设计者或用户的需求，而不限于使用标准中指定的规范几何平滑滤波器。
[0010]在一些实施方案中，解码器被配置为接收一个或多个已编码图像帧，这一个或多个已编码图像帧包括关于压缩点云的多个补片的补片图像，其中对于每个补片，这一个或多个已编码图像帧包括：包括投影到补片平面上的补片的点集合的补片图像，和包括关于补片的点集合的深度信息的补片图像，其中深度信息指示补片的点在垂直于补片平面的方向上的深度。在一些实施方案中，可以将深度补片图像和其他属性补片图像一起打包到图像帧中。例如，解码器可以接收包括由上述编码器生成的打包补片图像的一个或多个图像帧。图像帧或其一部分可已经在编码器处被缩减，并且解码器可以在2D视频域中放大缩减的图像帧。
[0011]解码器被进一步配置为对包括补片图像的一个或多个已视频编码图像帧进行视频解码。在一些实施方案中，解码器可利用根据高效视频编码(HEVC)标准或其他合适的标准(诸如，高级视频编码(AVC)标准、AOMedia视频1(AV1)视频编码格式等)的视频解码器。在一些实施方案中，解码器可利用根据运动图像专家组(MPEG)或联合图像专家组(JPEG)标准等的图像解码器。
[0012]解码器被进一步配置为接收或确定指示相应属性补片图像、深度补片图像和/或图像帧之间的关系的关系信息。例如，解码器可以将关系信息接收在压缩点云文件中，其中关系信息由编码器确定。另外，在一些实施方案中，解码器可以本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种存储程序指令的非暂态计算机可读介质，所述程序指令在由一个或多个处理器执行时使得所述一个或多个处理器：针对点云确定多个补片，其中每个补片包括所述点云投影在补片平面上的点；将对应于所述多个补片的属性补片图像和几何补片图像打包到对应的属性图像帧和几何图像帧中；将属性变换函数应用于所述属性图像帧的所述属性补片图像以补偿在所述几何图像帧的压缩和解压缩期间引入的失真或伪影；确定待在解码器的平滑滤波器处应用以平滑所述几何图像帧的所述几何补片图像的平滑参数；以及编码所述几何图像帧和已被应用所述属性变换函数的所述属性图像帧，其中所述属性变换函数是在未将所述平滑滤波器应用于几何图像帧的情况下使用所述几何图像帧应用的。2.根据权利要求1所述的非暂态计算机可读介质，其中所述平滑参数包括待在所述解码器处针对所述点云的不同层应用的不同平滑参数。3.一种存储程序指令的非暂态计算机可读介质，所述程序指令在由一个或多个处理器执行时使得所述一个或多个处理器：在解码器处接收已编码位流，所述已编码位流包括点云的几何图像帧的数据和属性图像帧的数据，其中所述几何图像帧包括所述点云投影在补片平面上的补片的几何信息，并且所述属性图像帧包括所述点云投影在所述补片平面上的所述补片的属性信息；对所述已编码位流进行解码；使用从所述已编码位流解码的已解码几何图像帧和已解码属性图像帧来重构所述点云的几何补片和属性补片；将平滑滤波器应用于：所述几何图像帧的几何补片；或者使用所述几何图像帧的所述几何补片生成的所述点云的重构版本；确定待应用于所述属性补片以补偿由于所述平滑滤波器的所述应用而导致的几何变化的属性传递函数的参数；以及将所述属性传递函数应用于所述属性补片的属性值以补偿经平滑几何补片或所述点云的经平滑重构版本的几何变化，其中所述几何变化是相对于所述几何图像的所述几何补片在应用所述平滑滤波器之前的相应几何的。4.根据权利要求3所述的非暂态计算机可读介质，其中所述程序指令进一步使得所述一个或多个处理器：将属性平滑滤波器应用于所述属性补片的所述属性值，其中所述属性平滑滤波器与应用所述属性传递函数组合应用。5.根据权利要求3所述的非暂态计算机可读介质，其中所述平滑滤波器由所述解码器的用户或设计者选择。6.根据权利要求3所述的非暂态计算机可读介质，其中：所述已编码位流包括待在所述解码器处应用的平滑参数，并且应用于所述几何补片或所述点云的所述重构版本的所述平滑滤波器在所述解码器处
至少部分地基于在所述位流中通过发信号通知的所述平滑参数来选择或调整。7.根据权利要求3所述的非暂态计算机可读介质，其中由所述解码器使用的所述平滑滤波器是就用于压缩和解压缩所述点云的压缩标准而言的非规范平滑滤波器。8.根据权利要求3所述的非暂态计算机可读介质，其中所述程序指令进一步使得所述一个或多个处理器：基于包括所述解码器的设备的操作模式或基于在所述位流中通过发信号通知的平滑参数，从所述解码器所支持的多个平滑滤波器选择待在所述解码器处应用的所述平滑滤波器。9.根据权利要求8所述的非暂态计算机可读介质，其中所述程序指令使得所述一个或多个处理器：在包括所述解码器的所述设备连接到外部电源的情况下选择第一平滑滤波器；以及在包括所述解码器的所述设备正从所述设备的电池接收电力的情况下选择第二平滑滤波器类型。10.根据权利要求3所述的非暂态计算机可读介质，其中所述程序指令使得所述一个或多个处理器：在逐点基础上针对所述点云的多个点并行执行所述应用所述平滑滤波器、所述确定所述属性传递函数的参数以及所述应用属性传递函数。11.根据权利要求3所述的非暂态计算机可读介质，其中所述程序指令使得所述一个或多个处理器：作为针对所述点云的点集合...
【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。