【技术实现步骤摘要】
【国外来华专利技术】
本申请总体上涉及编码/解码由旋转传感器头捕获的点云的方法和装置。
技术介绍
1、本节内容意图向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本申请的至少一个示例性实施例的各个方面相关。相信该讨论有助于向读者提供背景信息，以促进更好地理解本申请的各个方面。
2、作为针对3d数据的表示的格式，点云最近获得了关注，因为它们在表示所有类型的物理对象或场景的能力方面是通用的。点云可以用于各种目的，诸如文化遗产/建筑物，其中像雕像或建筑物这样的对象被3d扫描以便共享对象的空间配置，而无需发出或访问它。此外，这是在对象可能被破坏的情况下确保保存对象的知识的一种方式；例如，地震中的一座寺庙。此类点云典型地是静态的、彩色的且巨大的。
3、另一使用情况是在地形学和制图学中，其中使用3d表示允许不限于平面并且可以包括起伏的地图。谷歌地图(google maps)现在是3d地图的很好的示例，但它使用网格而不是点云。然而，点云可能是用于3d地图的合适数据格式，并且此类点云典型地是静态的、彩色的且巨大的。
4、虚拟现实(vr)、增强现实(ar)和沉浸式世界最近已成为热门话题并且被许多人预见为2d平面视频的未来。其基本思想是让观看者沉浸在周围环境中，相比之下，标准tv只允许观看者观看他/她面前的虚拟世界。沉浸感有几个层次，这取决于观看者在环境中的自由度。点云是用于分布vr/ar世界的很好的格式候选。
5、汽车行业并且更特别地是可预见的自动驾驶汽车也是点云可能被广泛使用的领域。自动驾驶汽车应该能
6、点云是位于三维(3d)空间中的一组点，可选地具有附加到每个点的附加值。这些附加值通常被称为属性。属性可以是例如三分量颜色、如反射率的材料属性和/或与点相关联的表面的两分量法向量。
7、因此，点云是几何形状(点在3d空间中的位置，通常由3d笛卡尔坐标x、y和z表示)和属性的组合。
8、点云可以由各种类型的设备捕获，如相机阵列、深度传感器、激光器(光探测与测距，也被称为激光雷达，lidar)、雷达，或者可以是计算机生成的(例如在电影后期制作中)。取决于使用情况，点云可能有数千到最高至数十亿个点用于制图应用。点云的原始表示需要每个点非常高的比特数，其中每个笛卡尔坐标x、y或z至少十几个比特，并且可选地，(一个或多个)属性需要更多的比特，例如颜色需要10个比特的三倍。
9、在许多应用中，重要的是能够通过仅消耗合理数量的比特率或存储空间来将点云分布到最终用户或者将它们存储在服务器中，同时维持可接受的(或优选地非常好的)体验质量。为了使许多沉浸式世界的分布链实用化，这些点云的高效压缩是关键点。
10、例如在ar/vr眼镜或任何其他具有3d功能的设备上，为了分布到最终用户并由最终用户可视化，压缩可能是有损耗的(如在视频压缩中)。其他使用情况确实需要无损压缩，如医疗应用或自动驾驶，以避免变更从对所压缩和所发送的点云的后续分析获得的决策的结果。
11、直到最近，点云压缩(又名pcc)还没有被大众市场解决，并且也没有标准化的点云编解码器可用。2017年，标准化工作组iso/jct1/sc29/wg11(也被称为运动图像专家组或mpeg)已经启动了关于点云压缩的工作项目。这产生了两个标准，即
12、mpeg-i第5部分(iso/iec 23090-5)或基于视频的点云压缩(v-pcc)
13、mpeg-i第9部分(iso/iec 23090-9)或基于几何的点云压缩(g-pcc)
14、v-pcc编码方法通过执行对3d对象的多个投影来压缩点云，以获得打包到图像(或处理动态点云时的视频)中的2d块(patch)。然后，使用现有的图像/视频编解码器来压缩所获得的图像或视频，从而允许利用已经部署的图像和视频解决方案。就其本质而言，v-pcc仅在密集和连续的点云上是有效的，因为图像/视频编解码器无法压缩如将从例如激光雷达捕获的稀疏几何数据的投影获得的非平滑块。
15、g-pcc编码方法具有用于压缩所捕获的稀疏几何数据的两种方案。
16、第一种方案基于占用树，在局部是八叉树、四叉树或二叉树中的任何类型的树，表示点云几何形状。被占用的节点被向下划分，直到达到一定的大小，并且被占用的叶节点提供点的3d位置，典型地在这些节点的中心处。占用信息由占用标志携带，该占用标志发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术，可以为密集的点云获得占用标志的高级压缩。稀疏点云也通过直接编码具有非最小大小的节点内的点的位置来解决，通过当仅孤立点存在于节点中时停止树构造；这种技术被称为直接编码模式(dcm)。
17、第二种方案基于预测树，其中每个节点表示一个点的3d位置，并且节点之间的父/子关系表示从父到子的空间预测。这种方法可以仅解决稀疏点云，并且提供比占用树低的时延和简单的解码的优势。然而，相对于第一种基于占用的方法，压缩性能只是稍微好一点，并且编码是复杂的，因为编码器在构造预测树时必须集中寻找最佳预测值(在一长串潜在预测值当中)。
18、在这两种方案中，属性编码(解码)在完整的几何编码(解码)之后执行，从而实际上导致两遍编码(解码)。因此，通过使用将3d空间分解成独立地编码的子体积的切片(slice)来获得联合几何/属性低时延，而无需子体积之间的预测。当使用许多切片时，这可能会严重影响压缩性能。
19、将对编码器和解码器简单性、低时延和压缩性能的要求组合在一起仍然是通过现有点云编解码器无法令人满意地解决的问题。
20、重要的使用情况是由安装在移动车辆上的旋转传感器(激光雷达)头捕获的稀疏几何数据的传输。这通常需要简单且低时延的机载编码器。简单性是所需的，因为编码器可能被部署在并行地执行诸如(半)自动驾驶的其他处理的计算单元上，从而限制了点云编码器可用的处理能力。低时延也是所需的，以允许从汽车到云的快速传输，以便基于多车辆采集来获得本地交通的实时视图，并且基于交通信息来做出适当的快速决策。虽然通过使用5g可以使传输时延足够低，但编码器本身不应因编码而引入太多时延。此外，压缩性能极其重要，因为从数百万辆汽车到云的数据流预计会极其大。
21、与旋转传感器捕获的稀疏几何数据相关的特定先验已经在g-pcc中被利用，并且已经得到非常显著的压缩增益。
22、首先，g-pcc利用从旋转传感器头捕获的仰角(相对于水平地面)，如图1和图2所描绘的。旋转传感器头10包括一组传感器11，这里表示出了五个传感器。旋转传感器头10可以围绕竖直轴线z旋转，以捕获物理对象的几何数据。传感器捕获的几何数据然后以球坐标(r3d,φ,θ)表示，其中r3d是点pn距旋转传感器头的中心的距离，φ是旋转传感器头的旋转相对于参考(例如旋转传感器头的纵向轴线)的方位角，并且θ是旋转传感器头的传感器k相对于水平参考平本文档来自技高网...
【技术保护点】
1.一种将由一组传感器捕获的点云编码到经编码的点云数据的比特流中的方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，编码(130)所述复制点数量(Ndupn)包括：
3.一种从经编码的点云数据的比特流解码由一组传感器捕获的点云的方法，所述方法包括：
4.根据权利要求3所述的方法，其中，解码(210)所述复制点数量(Ndupn)包括：
5.根据权利要求2或4所述的方法，其中，每个二进制数据被上下文自适应算术编码/解码，使得用于编码/解码二进制数据的上下文取决于与所述当前点/所述已经解码的当前点相关联的传感器索引。
6.根据权利要求2或4或5所述的方法，其中，编码/解码所述复制点数量(Ndupn)还包括编码/解码作为所述复制点数量(Ndupn)与所述最大界限之间的差获得的残差。
7.根据权利要求6所述的方法，其中，编码/解码所述残差包括使用指数哥伦布码。
8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：
9.一种将由一组传感器捕获的点云编码到经编码的点云数据的
10.一种从经编码的点云数据的比特流解码由一组传感器捕获的点云的装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为：
11.一种由一组传感器捕获的经编码的点云数据的比特流，其中，所述比特流包括至少一个语法元素，所述至少一个语法元素携带表示与所述点云的经解码的当前点(Pn)相关联的复制点数量(Ndupn)的至少一个信息。
12.一种包括指令的计算机程序产品，当所述程序被一个或多个处理器执行时，所述指令使得所述一个或多个处理器进行将由一组传感器捕获的点云编码到经编码的点云数据的比特流中的方法，其中，所述方法包括：
13.一种携带程序代码的指令的非暂时性存储介质，所述指令用于执行将由一组传感器捕获的点云编码到经编码的点云数据的比特流中的方法，其中，所述方法包括：
14.一种包括指令的计算机程序产品，当所述程序被一个或多个处理器执行时，所述指令使得所述一个或多个处理器进行将从经编码的点云数据的比特流解码由一组传感器捕获的点云的方法，所述方法包括：
15.一种携带程序代码的指令的非暂时性存储介质，所述指令用于执行从经编码的点云数据的比特流解码由一组传感器捕获的点云的方法，所述方法包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种将由一组传感器捕获的点云编码到经编码的点云数据的比特流中的方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，编码(130)所述复制点数量(ndupn)包括：
3.一种从经编码的点云数据的比特流解码由一组传感器捕获的点云的方法，所述方法包括：
4.根据权利要求3所述的方法，其中，解码(210)所述复制点数量(ndupn)包括：
5.根据权利要求2或4所述的方法，其中，每个二进制数据被上下文自适应算术编码/解码，使得用于编码/解码二进制数据的上下文取决于与所述当前点/所述已经解码的当前点相关联的传感器索引。
6.根据权利要求2或4或5所述的方法，其中，编码/解码所述复制点数量(ndupn)还包括编码/解码作为所述复制点数量(ndupn)与所述最大界限之间的差获得的残差。
7.根据权利要求6所述的方法，其中，编码/解码所述残差包括使用指数哥伦布码。
8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：
9.一种将由一组传感器捕获的点云编码到经编码的点云数据的比特流中的装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为：
【专利技术属性】
技术研发人员：塞巴斯蒂安·拉瑟利，乔纳森·塔奎特，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。