用于编码及解码3D点云的方法、编码器及解码器技术

一种方法，用于通过对构成几何结构的几何表示的信息进行解码，来从比特流解码3D点云的几何结构，优选地在解码器中实现，包括：接收并解码比特流，其中，所述比特流包含八叉树信息以及顶点信息，所述八叉树信息包括关于点云的体的八叉树结构的信息，所述顶点信息包括关于立方体的边上的顶点存在以及顶点位置的信息；通过连接所述八叉树结构的一个立方体的顶点来确定三角形；以及将所述三角形体素化以确定所述点云的点，其中，至少一个三角形沿着至少一条边扩展以用于体素化。一条边扩展以用于体素化。一条边扩展以用于体素化。

【技术实现步骤摘要】
【国外来华专利技术】用于编码及解码3D点云的方法、编码器及解码器


[0001]本专利技术涉及一种用于从比特流解码3D点云的方法。此外，本专利技术的目的是提供一种将3D点云编码成比特流的方法。进一步，本专利技术的目的是提供一种编码器及解码器、根据本专利技术编码的比特流以及软件。特别地，本专利技术的目的是提供一种提高3D点云解码或重建过程精度的方法。

技术介绍

[0002]作为3D数据表示的格式，点云最近获得了关注，因为它们在表示所有类型的3D对象或场景方面具有多功能性。因此，许多用例可以通过点云来解决，其中包括
[0003]电影后期制作，
[0004]实时3D沉浸式临场感或虚拟现实(VR)/增强现实(AR)应用，
[0005]自由视点视频(例如，用于观看体育运动)，
[0006]地理信息系统(又称制图)，
[0007]文化遗产(将稀有物品的扫描件存储为数字形式)，
[0008]自动驾驶，包括环境的3D映射以及实时Lidar数据采集
[0009]点云是位于3D空间中的一组点，可选地，将附加值附加到每个点。这些附加值通常被称为点属性。因此，点云是几何结构(每个点的3D位置)与属性的组合。
[0010]属性可以是，例如，三分量颜色、材料属性诸如反射率、和/或与点相关联的表面的二分量法向量。
[0011]点云可以通过各种类型的设备捕获，例如，相机阵列、深度传感器、Lidar、扫描仪、或者可以由计算机生成(例如，在电影后期制作中)。根据用例的不同，点云可能有数千到数十亿个点用于制图应用。
[0012]点云的原始表示需要每个点具有非常高的比特数，每个空间分量X、Y、或Z具有至少十二个比特，并且可选地为属性提供更多比特，例如，三乘以10比特用于颜色。基于点云的应用的实际部署需要压缩技术，所述压缩技术能够以合理的存储和传输基础设施来存储和分发点云。
[0013]对于分发到终端用户并由终端用户可视化，例如，在AR/VR眼镜或任何其它支持3D的设备上，压缩可以是有损的(比如在视频压缩中)。其他用例确实需要无损压缩，例如，医疗应用或自动驾驶，以避免改变从压缩和传输的点云的分析中获得的决策结果。
[0014]直到最近，点云压缩(又名PCC)还没有被大众市场解决，并且没有可用的标准化点云编解码器。在2017年，标准化工作组ISO/JCT1/SC29/WG11，也称为运动图像专家组或MPEG，启动了关于点云压缩的工作项目。这产生了两个标准，即
[0015]MPEG
‑
I第5部分(ISO/IEC 23090
‑
5)或基于视频的点云压缩(V
‑
PCC)
[0016]MPEG
‑
I第9部分(ISO/IEC 23090
‑
9)或基于几何的点云压缩(G
‑
PCC)
[0017]V
‑
PCC和G
‑
PCC标准都在2020年末完成了它们的第一个版本，并且即将上市。
[0018]V
‑
PCC编码方法通过执行3D对象的多个投影以获得打包成图像(或者在处理动态
点云时打包成视频)的2D补丁(patch)来压缩点云。然后，使用现有的图像/视频编解码器压缩获取到的图像或视频，允许利用已经部署的图像和视频解决方案。就其本质而言，V
‑
PCC仅在密集和连续的点云上有效，因为图像/视频编解码器无法压缩非平滑补丁，例如像从Lidar采集的稀疏几何数据的投影中获得的非平滑补丁。
[0019]G
‑
PCC编码方法有两种用于压缩几何结构的方案。
[0020]第一种方案基于点云几何结构的占用树(八叉树/四叉树/二叉树)表示。被占用的节点被分割，直到达到特定大小，并且被占用的叶节点提供点的位置，通常在这些节点的中心。通过使用基于邻居的预测技术，可以获得对密集点云的高水平压缩。稀疏点云也通过对具有非最小尺寸的节点内的点的位置进行直接编码，通过当节点中仅存在孤立的点时停止树构建来处理；这种技术被称为直接编码模式(DCM,Direct Coding Mode)。
[0021]第二种方案基于预测树，每个节点表示一个点的3D位置，并且节点之间的关系是从父到子的空间预测。这种方法只能处理稀疏点云，并且与占用树相比，具有延迟更低、解码更简单的优点。然而，相较于第一种基于占用的方法，压缩性能仅稍微好一点，并且编码复杂，在构建预测树时密集地寻找最佳预测子(在一长串潜在的预测子中)。
[0022]在两种方案中，属性(解)编码在几何(解)编码完成后执行，导致两遍编码。因此，通过使用将3D空间分解成独立编码的子体的切片可以获得低延迟，而无需在子体之间进行预测。当使用很多切片时，可能会严重影响压缩性能。
[0023]一个重要的用例是动态AR/VR点云的传输。动态意味着点云随时间演变。而且，AR/VR点云通常是局部2D，因为它们在大多数时候表示对象的表面。因此，AR/VR点云是高度连接的(或者说是密集的)，因为点很少是孤立的，而是有许多邻居。
[0024]密集(或实心)点云表示连续的表面，其分辨率使得与点相关联的体(称为体素的小立方体)相互接触，而不会在表面上显示任何可见的孔。
[0025]这种点云通常用于AR/VR环境，并由终端用户通过例如电视、智能手机或耳机的设备查看。它们被传输到设备或存储在本地。许多AR/VR应用使用动态点云，而不是静态点云，所述动态点云随时间变化。因此，数据量巨大，并且必须进行压缩。如今，基于点云几何结构的八叉树表示的无损压缩可以实现每点略低于一比特(1bpp)。这对于实时传输可能是不够的，实时传输可能涉及每帧几百万个点，帧速率高达每秒50帧(fps)，从而导致每秒数百兆比特的数据。
[0026]因此，可以使用有损压缩，保持可接受的视觉质量的通常需求，同时充分压缩以适应由传输信道提供的带宽，同时保持帧的实时传输。在许多应用中，低至0.1bpp的比特率(比无损编码的压缩率高10倍)已经使实时传输成为可能。
[0027]基于MPEG
‑
I第5部分(ISO/IEC 23090
‑
5)或基于视频的点云压缩(V
‑
PCC)的编解码器VPCC可以通过使用视频编解码器的有损压缩来实现如此低的比特率，该视频编解码器压缩从点云在平面上的投影得到的2D帧。几何结构由组装成帧的一系列的投影补丁表示，每个补丁是一个小的局部深度图。然而，VPCC不是通用的，并且仅限于不表现出局部复杂几何结构(如树、头发)的狭窄类型的点云，因为获得的投影深度图不够平滑，无法被视频编解码器有效压缩。
[0028]纯3D压缩技术可以处理任何类型的点云。3D压缩技术能否在密集点云上与VPCC(或任何投影+图像编码方案)竞争，仍然是一个悬而未决的问题。标准化仍在朝着提供GPCC
的扩展(修订)的方向发展，该扩展可提供有竞争力的有损压缩，该有本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种从比特流解码3D点云几何结构的方法，优选地在解码器中实现，所述方法包括：接收并解码比特流，其中，所述比特流包含八叉树信息以及顶点信息，所述八叉树信息包括关于点云的体的八叉树结构的信息，所述顶点信息包括关于所述八叉树结构的叶节点的立方体的边上的顶点存在以及顶点位置的信息；通过连接与所述八叉树结构的叶节点相关联的一个立方体的顶点来确定三角形；以及将所述三角形体素化以确定所述点云的点，其中，至少一个三角形沿着至少一条边扩展以用于体素化。2.一种将3D点云编码成比特流的方法，优选地在编码器中实现，所述方法包括：获取八叉树信息，所述八叉树信息包括包含多个立方体的体的八叉树结构；从与叶节点相关联的每个立方体的点云的表面获得顶点信息，其中，所述顶点信息包括关于所述立方体的边上的顶点存在以及顶点位置的信息；将所述八叉树信息以及所述顶点信息编码成比特流；通过使用在前述编码过程中获取的八叉树信息及顶点信息，重建所述点云的几何数据，其中，重建所述点云的几何数据包括：通过连接与所述八叉树结构的叶节点相关联的一个立方体的顶点来确定三角形；以及将所述三角形体素化以确定所述点云的点；其中，至少一个三角形沿着至少一条边扩展以用于体素化。3.根据权利要求2所述的方法，其中，所述编码是Trisoup编码。4.根据权利要求1至3中任一项所述的方法，其中，所述至少一个三角形在两条或三条边上进行扩展以用于体素化。5.根据权利要求1至4中任一项所述的方法，其中，立方体中的每个三角形被扩展，并且优选地具有三角形的点云的每个立方体中的至少一个三角形被扩展。6.根据权利要求1至5中任一项所述的方法，其中，所述扩展对于每条边是相同的或者对于至少两条边是不同的。7.根据权利要求1至6中任一项所述的方法，其中，对于体素化使用
‑
Trumbore算法，和/或通过将点的坐标四舍五入到最接近的整数来获得所述点的体素化。8.根据权利要求7所述的方法，其中，凸包条件是
‑
ε≤u，v，w，其中，ε&gt...

【专利技术属性】
技术研发人员：高硕，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：