【技术实现步骤摘要】
【国外来华专利技术】
本申请一般而言涉及点云压缩，并且具体地涉及对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置。
技术介绍
1、本节旨在向读者介绍本领域的各个方面，这些方面可以与下面描述和/或要求保护的本申请的至少一个实施例的各个方面有关。本讨论被认为有助于向读者提供背景信息以促进更好地理解本申请的各个方面。
2、作为3d数据的表示的一种格式，点云最近获得了关注，因为它们在表示所有类型的物理对象或场景方面具有多种能力。点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3d方式扫描如雕像或建筑物之类的物体，以便在不发送或不访问物体的情况下共享物体的空间配置。而且，它是确保在物体可能被破坏的情况下保存物体的知识的方式；例如，被地震破坏的寺庙。此类点云通常是静态的、彩色的和巨大的。
3、另一个用例是在拓扑学和制图学中，其中使用3d表示允许地图不限于平面并且可以包括地貌。谷歌地图现在是3d地图的良好示例，但使用网格而不是点云。不过，点云可以是3d地图的合适数据格式，并且此类点云通常是静态的、彩色的且巨大的。
4、虚拟现实(vr)、增强现实(ar)和沉浸式世界最近成为热门话题，并被许多人预见为2d平面视频的未来。其基本理念是让观众沉浸在周围环境中，而标准电视只允许观众观看他/她眼前的虚拟世界。根据观众在环境中的自由度，沉浸感有几个层次。点云是分发vr/ar世界的良好格式候选。
5、汽车行业，尤其是可预见的自动驾驶汽车，也是可以大量使用点云的领域。自动驾驶汽车应当能够“探测”它们的环境，以基于检
6、点云是位于三维(3d)空间中的点集合，可选地为每个点附加附加值。这些附加值通常被称为属性。属性可以是例如三分量颜色、材料特性(如反射率)和/或与点相关联的表面的双分量法向量。
7、因此，点云是几何数据(3d空间中点的位置，通常由3d笛卡尔坐标x、y和z表示)和属性的组合。
8、点云可以由各种类型的设备感测，如相机的阵列、深度传感器、激光器(光检测和测距，也称为激光雷达)、雷达，或者可以由计算机生成(例如，在电影后期制作中)。取决于用例，点云可以有数千到数十亿个点用于制图应用。点云的原始表示要求每个点的比特数非常多，每个笛卡尔坐标x、y或z至少有十几个比特，并且可选地为(一个或多个)属性提供更多比特，例如10比特的三倍以用于颜色。
9、在许多应用中，通过仅消耗合理数量的比特率或存储空间同时维持可接受的(或优选地非常好的)体验质量，能够向最终用户分发点云或将它们存储在服务器中，是非常重要的。这些点云的高效压缩是使许多沉浸式世界的分发链实用的关键点。
10、对于由最终用户进行的分发和可视化，例如在ar/vr眼镜或任何其他支持3d的设备上，压缩可以是有损的(如在视频压缩中)。其他用例确实要求无损压缩，如医疗应用或自动驾驶，以避免更改从压缩和传输的点云的后续分析中获得的决策的结果。
11、直到最近，大众市场还没有解决点云压缩(又名pcc)问题，也没有可用的标准化的点云编解码器。2017年，标准化工作组iso/jct1/sc29/wg11，又名运动图像专家组或mpeg，发起了关于点云压缩的工作项目。这带来了两个标准，即
12、·mpeg-i第5部分(iso/iec 23090-5)或基于视频的点云压缩(又名v-pcc)
13、·mpeg-i第9部分(iso/iec 23090-9)或基于几何的点云压缩(又名g-pcc)
14、v-pcc编码方法通过对3d对象执行多次投影来压缩点云，以获得打包到图像(或处理动态点云时的视频)中的2d图块。然后使用现有的图像/视频编解码器压缩获得的图像或视频，从而允许充分利用已经部署的图像和视频解决方案。就其本质而言，v-pcc仅在密集和连续的点云上是高效的，因为图像/视频编解码器无法压缩非平滑的图块，例如从激光雷达感测到的稀疏几何数据的投影中获得的非平滑的图块。
15、g-pcc编码方法有两种用于压缩感测到的稀疏几何数据的方案。
16、第一种方案基于占用树，在本地是八叉树、四叉树或二叉树中的任何类型的树，表示点云几何形状。被占用的节点被拆分直到达到一定尺寸，并且被占用的叶节点提供点的3d位置，通常在这些节点的中心处。占用信息通过占用标志携带，占用标志发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术，可以获得密集点云的占用标志的高水平压缩。稀疏点云也可以通过直接编码节点内非最小尺寸的点的位置来解决，当节点中仅存在孤立点时停止树构造；这种技术被称为直接编码模式(dcm)。
17、第二种方案基于预测树，其中每个节点表示一个点的3d位置，并且节点之间的父/子关系表示从父到子的空间预测。这种方法只能解决稀疏点云，并提供比占用树更低时延和更简单解码的优势。但是，相对于第一种基于占用的方法，压缩性能仅稍微好一点，并且编码也是复杂的，因为编码器在构造预测树时必须(在潜在预测器的长列表中)集中寻找最佳预测器。
18、在这两种方案中，属性(解码)编码是在完成几何(解码)编码之后执行的，实际上导致了两次编码。因此，联合几何/属性低延迟是通过使用将3d空间分解成独立编码的子体积的切片获得的，而无需在子体积之间进行预测。当使用许多切片时，这会严重影响压缩性能。
19、将对编码器和解码器简单性、低时延和压缩性能的要求结合在一起仍然是现有点云编解码器尚未令人满意解决的问题。
20、重要的用例是传输由安装在移动车辆上的至少一个传感器感测到的稀疏几何数据。这通常要求简单且低时延的嵌入式编码器。要求简单性，因为编码器可能部署在并行执行其他处理(诸如(半)自动驾驶)的计算单元上，从而限制了点云编码器可用的处理能力。还要求低时延以允许从汽车到云端的快速传输，以便基于多车辆采集实时查看本地交通，并基于交通信息做出足够快速的决策。虽然通过使用5g可以使传输时延足够低，但编码器本身不应因编码而引入太多时延。而且，压缩性能极其重要，因为从数百万辆汽车到云端的数据流预计将非常庞大。
21、与自旋激光雷达感测到的稀疏几何数据相关的特定先验已在g-pcc中得到利用，并已经导致非常显著的压缩增益。
22、首先，g-pcc利用来自自旋激光雷达头10的感测的仰角(相对于水平地面)，如图1和图2中所描绘的。激光雷达头10包括传感器11(例如，激光器)的集合，这里表示了五个传感器。自旋激光雷达头10可以围绕竖直轴z旋转以感测物理对象的几何数据。然后，激光雷达感测到的几何数据用球坐标(r3d,φ,θ)表示，其中r3d是点p距激光雷达头的中心的距离，φ是激光雷达头相对于参考物自旋的方位角，并且θ是自旋激光雷达头10的传感器k相对于水平参考平面的仰角。
23、沿着方位角的规律分布已经在激光雷达感测到的数据上观察到，如图3上所描绘的。这种规律性在g-pcc中用于获得点云的准1d表本文档来自技高网...
【技术保护点】
1.一种将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的方法，其中所述方法包括：
2.如权利要求1所述的方法，其中相对于所述粗略点(Pλ(s))对所述点云的所述点(P)进行编码(170)包括基于所述点云的所述点(P)的角坐标和所述粗略点(Pλ(s))的角坐标对角残差(res(φ),res(θ))进行编码。
3.如权利要求1或2所述的方法，其中所述方法还包括将所述点云的所述点(P)的球坐标或柱面坐标的半径值编码(180)到所述比特流中。
4.如权利要求3所述的方法，其中所述方法还包括将基于所述点云的所述点(P)的笛卡尔坐标和从所述粗略点获得的笛卡尔坐标的所述点云的所述点(P)的笛卡尔坐标残差(xp,res,yp,res,zp,res)、所述角残差(res(φ),res(θ))以及所述点云的所述点(P)的球坐标或柱面坐标的半径编码(190)到所述比特流中。
5.一种从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的方法，其中所述方法包括：
6.如权利要求5
7.如权利要求5或6所述的方法，其中所述方法还包括从所述比特流中解码(250)所述点云的所述点(P)的半径值。
8.如权利要求5至7中的任一项所述的方法，其中所述方法还包括从所述比特流中解码(260)所述点云的所述点(P)的一个笛卡尔坐标残差(xP,res,yP,res,zP,res)，以及从解码的笛卡尔坐标残差中解码所述点云的所述点(P)。
9.一种将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的装置，其中所述装置包括至少一个处理器，所述至少一个处理器被配置为：
10.一种从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的装置，其中所述装置包括至少一个处理器，所述至少一个处理器被配置为：
11.一种表示由至少一个传感器感测到的点云的点的编码的点云数据的比特流，其中所述比特流包括表示用于感测所述点云的所述点的感测路径的信息(I(SP))，其中所述感测路径是根据二维角坐标空间中的传感器特点定义的，所述二维角坐标空间包括代表方位角的方位角坐标和仰角坐标，所述方位角表示传感器相对于参考物的感测角，所述仰角坐标表示传感器相对于水平参考平面的仰角。
12.一种包括指令的计算机程序产品，当程序被一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的方法，所述方法包括：
13.一种非暂态存储介质，携带用于执行将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的方法的程序代码的指令，所述方法包括：
14.一种包括指令的计算机程序产品，当程序被一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的方法，所述方法包括：
15.一种非暂态存储介质，携带用于执行从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的方法的程序代码的指令，所述方法包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的方法，其中所述方法包括：
2.如权利要求1所述的方法，其中相对于所述粗略点(pλ(s))对所述点云的所述点(p)进行编码(170)包括基于所述点云的所述点(p)的角坐标和所述粗略点(pλ(s))的角坐标对角残差(res(φ),res(θ))进行编码。
3.如权利要求1或2所述的方法，其中所述方法还包括将所述点云的所述点(p)的球坐标或柱面坐标的半径值编码(180)到所述比特流中。
4.如权利要求3所述的方法，其中所述方法还包括将基于所述点云的所述点(p)的笛卡尔坐标和从所述粗略点获得的笛卡尔坐标的所述点云的所述点(p)的笛卡尔坐标残差(xp,res,yp,res,zp,res)、所述角残差(res(φ),res(θ))以及所述点云的所述点(p)的球坐标或柱面坐标的半径编码(190)到所述比特流中。
5.一种从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的方法，其中所述方法包括：
6.如权利要求5所述的方法，其中相对于所述粗略点(pλ(s))对所述点云的所述点(p)进行解码(240)包括对角残差进行解码并将所述解码的角残差(resdec(φ),resdec(θ))与所述粗略点(pλ(s))的角坐标相加。
7.如权利要求5或6所述的方法，其中所述方法还包括从所述比特流中解码(250)所述点云的所述点(p)的半径值。
8.如权利要求5至7中的任一项所述的方法，其中所述方法还包括从所述比特流中解码(260)所述点云的所述点(p)的一个笛卡尔坐标残差(xp,res,yp,res,zp,res)，以及从解码的笛卡尔坐...
【专利技术属性】
技术研发人员：塞巴斯蒂安·拉瑟利，乔纳森·塔奎特，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。