使用带有时间一致补片的视频编码进行点云压缩制造技术

一种系统，该系统包括被配置为压缩点云的属性信息和/或空间信息的编码器、和/或被配置为解压缩该点云的压缩属性信息和/或空间信息的解码器。为了压缩所述属性信息和/或空间信息，所述编码器被配置为将点云转换为基于图像的表示。另外，所述解码器被配置为基于点云的基于图像的表示来生成解压缩点云。在一些实施方案中，编码器针对该点云在多个时刻的多个版本生成时间一致补片，并且使用这些时间一致补片来生成该点云在该多个时刻的基于图像的表示。示。示。

【技术实现步骤摘要】
【国外来华专利技术】使用带有时间一致补片的视频编码进行点云压缩

技术介绍


[0001]本公开整体涉及包括多个点的点云的压缩和解压缩，每个点具有相关联的空间信息和属性信息。
[0002]相关技术描述
[0003]各种类型的传感器(诸如光检测和测距(LIDAR)系统、3D相机、3D扫描仪等)可以捕获指示点在三维空间中的位置(例如在X、Y和Z平面中的位置)的数据。另外，此类系统除了关于相应点的空间信息之外还可以捕获属性信息，诸如颜色信息(例如，RGB值)、纹理属性、强度属性、反射率属性、运动相关属性、模态属性或各种其他属性。在一些情况下，可以将附加属性分配给相应点，诸如捕获该点时的时间戳。由此类传感器捕获的点可以构成“点云”，该“点云”包括各自具有相关联的空间信息和一个或多个相关联的属性的一组点。在一些情况下，点云可以包括数千个点、数十万个点、数百万个点或甚至更多的点。另外，在一些情况下，与正由一个或多个传感器捕获的点云不同，可以例如在软件中生成点云。在任一种情况下，此类点云可包括大量数据，并且存储和传输这些点云可能成本高且耗时。

技术实现思路

[0004]在一些实施方案中，一种系统包括被配置为捕获共同构成点云的点的一个或多个传感器，其中每个点包括识别相应点的空间位置的空间信息和定义与相应点相关联的一个或多个属性的属性信息。
[0005]在一些实施方案中，一种系统还包括被配置为压缩点的属性信息和/或空间信息的编码器。为了压缩属性和/或空间信息，编码器被配置为针对点云确定多个补片，每个补片对应于点云的部分。编码器还被配置为针对每个补片：生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合，以及生成另一个补片图像，该另一个补片图像包括与补片对应的点的集合的几何信息，诸如深度信息，其中该几何信息包括点在垂直于补片平面的方向上的深度。
[0006]例如，对应于投影到补片平面上的补片的几何补片图像可以在两个方向(诸如，X和Y方向)上描绘包括在补片中的点云的点。点云的点可以投影到与法向量大约垂直的补片平面上，该法向量在补片的位置处与点云的表面垂直。另外，例如，包括在补片中所包括的点的集合的深度信息的几何补片图像可以描绘深度信息，诸如Z方向上的深度距离。为了描绘深度信息，几何补片图像可以包括一个参数，该参数基于点云中的点在补片图像中的特定位置处的深度而在强度上变化。例如，描绘深度信息的几何补片图像可具有与表示投影到补片平面上的点的属性的属性补片图像相同的形状。然而，几何信息补片图像可以是包括图像属性(诸如，一种或多种颜色)的图像，该图像属性基于深度在强度上变化，其中一个或多个图像属性的强度对应于点云的对应点在几何补片图像中的某位置处的深度，该位置是图像属性在描绘深度的几何补片图像中显示所在的位置。例如，更靠近补片平面的点可
被编码为描绘深度的补片图像中的较暗值，并且更远离补片平面的点可被编码为描绘深度的补片图像中的较亮值，例如在描绘深度的单色补片图像中。因此，深度信息补片图像当与表示投影到补片平面上的点的属性值的其他补片图像对准时，可基于几何补片图像中的对应于点在包括投影到补片平面上的点云点的其他补片图像中的位置的位置处的相应图像属性强度，来指示投影到补片平面上的点的相对深度。
[0007]在一些实施方案中，编码器可以在多个时刻中的每个时刻针为随时间变化的点云独立地生成补片。例如，针对表示行走的人的点云，编码器可以独立地生成包括人投射到在不同时间点确定的补片平面上的部分的补片，而不考虑针对其他时间点确定的补片。
[0008]另选地，在一些实施方案中，编码器可以随着点从一个时刻移动到另一个时刻基于这些点的映射为随时间变化的云生成补片。在此类实施方案中，可以生成时间一致补片，其中同一时间一致补片可以用于点云在不同时刻的多个版本。另外，时间一致补片可以跨多个时刻相对于点云保持相同的补片大小和取向。
[0009]编码器被进一步配置为将确定的补片中的每个补片的生成的补片图像(包括几何补片图像，以及关于一个或多个其他属性(诸如颜色、纹理、反射率等)的一个或多个附加补片图像)打包到一个或多个图像帧中。例如，编码器可利用根据高效视频编码(HEVC/H.265)标准或其他合适的标准(诸如，高级视频编码(AVC/H.264)标准、由开放媒体联盟(AOM)制作的AOMedia视频1(AV1)视频编码格式等)的视频编码部件。在一些实施方案中，编码器可利用根据运动图像专家组(MPEG)、联合图像专家组(JPEG)标准、国际电信联盟电信标准(例如ITU
‑
T标准)等的图像编码器。
[0010]在一些实施方案中，解码器被配置为接收一个或多个已编码图像帧，这一个或多个已编码图像帧包括关于压缩点云的多个补片的补片图像，其中对于每个补片，这一个或多个已编码图像帧包括：包括投影到补片平面上的补片的点集合的补片图像，和包括关于补片的点集合的深度信息的补片图像，其中深度信息指示补片的点在垂直于补片平面的方向上的深度。在一些实施方案中，可以将深度补片图像和其他属性补片图像一起打包到图像帧中。例如，解码器可以接收包括由上述编码器生成的打包补片图像的一个或多个图像帧。在一些实施方案中，该一个或多个图像帧可以包括时间一致补片。在一些实施方案中，可以针对使用相同时间一致补片的补片图像的序列来用信号发送公共占用图。在一些实施方案中，图像帧中的至少一个图像帧可以在编码器处被缩小，并且解码器可以在2D视频域中放大该缩小的图像帧。
[0011]解码器被进一步配置为对包括补片图像的一个或多个已视频编码图像帧进行视频解码。在一些实施方案中，解码器可利用根据高效视频编码(HEVC)标准或其他合适的标准(诸如，高级视频编码(AVC)标准、AOMedia视频1(AV1)视频编码格式等)的视频解码器。在一些实施方案中，解码器可利用根据运动图像专家组(MPEG)或联合图像专家组(JPEG)标准等的图像解码器。
[0012]解码器被进一步配置为接收或确定指示相应属性补片图像、深度补片图像和/或图像帧之间的关系的关系信息。例如，解码器可以接收压缩点云文件中的关系信息，其中该关系信息由编码器确定。另外，在一些实施方案中，解码器可以基于包括在压缩点云文件中的信息(诸如压缩点云的占用图和/或辅助信息)来确定关系信息。在一些实施方案中，解码器可利用接收到的或确定的关系信息来调整用于对视频编码的图像帧进行视频解码的一
个或多个参数。
[0013]解码器被进一步配置为：针对每个补片，至少部分地基于包括投影到补片平面上的补片的点的集合的属性补片图像和包括补片的点的集合的深度信息的几何补片图像来确定补片的点的集合的空间信息，以及至少部分地基于多个补片的确定的空间信息和补片中所包括的属性信息来生成压缩点云的重构版本。
[0014]在一些实施方案中，一种非暂态计算机可读介质存储程序指令，这些程序指令当由一个或多个处理器执行时，使得一个或多个处理器实现如本文所述的编码器以压缩点云的几何信息和属性信息。
[0015]在一些实施方案中，一种非暂本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种存储程序指令的非暂态计算机可读介质，所述程序指令在由一个或多个处理器执行时使得所述一个或多个处理器：针对包括点云的视觉体积内容集合确定多个补片，其中每个补片包括所述点云投影在补片平面上的点，其中为了确定所述多个补片，所述程序指令使得所述一个或多个处理器：确定一个或多个运动函数，所述一个或多个运动函数对所述点云的一个或多个片段跨多个时刻的运动进行建模；基于所述一个或多个运动函数确定所述点云的点跨所述多个时刻之间的映射；以及确定包括所述点云的点的一个或多个补片，所述点云的所述点具有在所述多个时刻中的每个时刻彼此偏离小于阈值量的表面法向量；以及将所确定的一个或多个补片的补片图像打包到多个图像帧中，其中所述多个图像帧包括所述点云跨所述多个时刻的一致补片。2.根据权利要求1所述的非暂态计算机可读介质，其中所述程序指令使得所述一个或多个处理器：将位于一致位置的所述补片图像打包在针对所述多个时刻的所述多个图像帧中。3.根据权利要求1所述的非暂态计算机可读介质，其中为了确定所述点云的点跨所述多个时刻之间的所述映射，所述程序指令使得所述一个或多个处理器：将所确定的一个或多个运动函数应用于第一时刻的点的第一集合，以确定所述点从所述第一时刻开始在所述多个时刻中的一个或多个其他时刻的估计位置；以及针对所述一个或多个其他时刻中的每个其他时刻，识别所述点云的在所述一个或多个其他时刻的最近邻近点，所述最近邻近点与所述点云的所述点的从所述第一时刻估计的所述估计位置相对应。4.根据权利要求1所述的非暂态计算机可读介质，其中所述程序指令使得所述一个或多个处理器针对所述点云的所述片段中的不同片段确定不同运动函数。5.根据权利要求1所述的非暂态计算机可读介质，其中所述一个或多个运动函数包括以下中的一者或多者：刚体运动变换函数；仿射运动变换函数；或者弹性运动变换函数。6.根据权利要求1所述的非暂态计算机可读介质，其中所述一个或多个运动函数是基于所述点云的所述点跨所述多个时刻的空间坐标和所述点云的所述点跨所述多个时刻的属性值而确定的。7.根据权利要求1所述的非暂态计算机可读介质，其中所述程序指令还使得所述一个或多个处理器：在确定所述一个或多个运动函数之前，将降噪滤波器应用于表示跨所述多个时刻的所述点云的数据。8.根据权利要求1所述的非暂态计算机可读介质，其中所述程序指令还使得所述一个或多个处理器：在确定所述一个或多个补片之前：识别所述点云的具有跨所述多个时刻偏离周围点的运动的一个或多个异常点；以及
从用于确定所述一个或多个补片的点云数据中去除所述一个或多个异常点。9.根据权利要求1所述的非暂态计算机可读介质，其中所述程序指令还使得所述一个或多个处理器：生成指示所述补片图像在针对所述多个时刻的所述图像帧中的位置的占用图。10.根据权利要求1所述的非暂态计算机可读介质，其中所述程序指令还使得所述一个或多个处理器：在图像帧的序列的序列标头中，指示待应用于包括在所述图像帧的序列中的所述图像帧的占用图。11.一种设备，所述设备包括：存储器，所述存储器存储用于使用二维(2D)图像帧压缩三维(3D)点云数据的程序指令；和一个或多个处理器，其中所述程序指令在由所述一个或多个处理器执行时使得所述一个或多个处理器：针对包括点云的视觉体积内容集合确定多个补片，其中每个补片包括所述点云投影在2D补片平面上的点，其中为了确定所述多个补片，所述程序指令使得所述一个或多个处理器：确定一个或多个运动函数，所述一个或多个运动函数对所述点云的一个或多个片段跨多个时刻的运动进行建模；基于...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：苹果公司，
类型：发明
国别省市：