使用方位编解码模式对点云几何数据进行编码制造技术

提供了将点云编码成表示物理对象的编码的点云数据的位流

【技术实现步骤摘要】
【国外来华专利技术】使用方位编解码模式对点云几何数据进行编码/解码的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求于
2021
年4月8日提交的欧洲专利申请
No.EP21305455.4
的优先权，其内容通过引用整体并入本公开中
。


[0003]本申请一般而言涉及点云压缩，并且具体地涉及使用方位编解码模式对点云几何数据进行编码
/
解码的方法和装置
。

技术介绍

[0004]本节旨在向读者介绍本领域的各个方面，这些方面可以与下面描述和
/
或要求保护的本申请的至少一个示例性实施例的各个方面有关
。
本讨论被认为有助于向读者提供背景信息以促进更好地理解本申请的各个方面
。
[0005]作为
3D
数据的表示的一种格式，点云最近获得了关注，因为它们在表示所有类型的物理对象或场景方面具有多种能力
。
点云可以被用于各种目的，诸如文化遗产
/
建筑物，其中以
3D
方式扫描如雕像或建筑物之类的物体，以便在不发送或不访问物体的情况下共享物体的空间配置
。
而且，它是确保在物体可能被破坏的情况下保存物体的知识的方式；例如，被地震破坏的寺庙
。
此类点云通常是静态的
、
彩色的和巨大的
。
[0006]另一个用例是在拓扑学和制图学中，其中使用
3D
表示允许地图不限于平面并且可以包括地貌
。
谷歌地图现在是
3D
地图的良好示例，但使用网格而不是点云
。
不过，点云可以是
3D
地图的合适数据格式，并且此类点云通常是静态的
、
彩色的且巨大的
。
[0007]虚拟现实和沉浸式世界最近成为热门话题，并被许多人预见为
2D
平面视频的未来
。
其基本思想是让观看者沉浸在观看者周围的环境中，这与观看者只能看观看者面前的虚拟世界的标准
TV
形成鲜明对比
。
根据观看者在环境中的自由度，沉浸感有几个等级
。
点云是分发虚拟现实
(VR)
世界的良好候选格式
。
[0008]汽车工业和自主汽车也是可以使用点云的领域
。
自主汽车应当能够“探测”它们的环境，以便基于它们的近邻的现实情况做出正确的驾驶决定
。
[0009]点云是位于三维
(3D)
空间中的点集合，可选地为每个点附加附加值
。
这些附加值通常被称为属性
。
属性可以是例如三分量颜色
、
材料特性
(
如反射率
)
和
/
或与点相关联的表面的双分量法向量
。
[0010]因此，点云是几何
(3D
空间中点的
3D
位置，由
3D
笛卡尔坐标
x、y、z
表示
)
和属性的组合
。
[0011]点云可以由各种类型的设备捕获，如相机的阵列
、
深度传感器
、
激光器
(
光检测和测距
)、
扫描仪，或者可以由计算机生成
(
例如，在电影后期制作中
)。
取决于用例，点云可以有数千个到数十亿个用于制图应用的点
。
点云的原始表示要求每个点的位数非常多，每个笛卡尔坐标
x、y
或
z
至少有十几个位，并且可选地为
(
一个或多个
)
属性提供更多位，例如
10
位的三倍以用于颜色
。
[0012]在许多应用中，通过仅消耗合理数量的位速率
(
或用于存储应用的存储空间
)
同时维持可接受的
(
或优选地非常好的
)
体验质量，能够向最终用户分发动态点云
(
或将它们存储在服务器中
)
是非常重要的
。
这些动态点云的高效压缩是使许多沉浸式世界的分发链实用的关键点
。
[0013]对于由最终用户进行的分发和可视化，例如在
AR/VR
眼镜或任何其他支持
3D
的设备上，压缩可以是有损的
(
如在视频压缩中
)。
其他用例确实要求无损压缩，如医疗应用或自动驾驶，以避免更改从压缩和传输的点云的分析中获得的决策的结果
。
[0014]直到最近，大众市场还没有解决点云压缩
(
又名
PCC)
问题，也没有可用的标准化的点云编解码器
。2017
年，标准化工作组
ISO/JCT1/SC29/WG11
，也称为运动图像专家组或
MPEG
，发起了关于点云压缩的工作项目
。
这带来了两个标准，即
[0015]·
MPEG
‑
I
第5部分
(ISO/IEC 23090
‑
5)
或基于视频的点云压缩
(V
‑
PCC)
[0016]·
MPEG
‑
I
第9部分
(ISO/IEC 23090
‑
9)
或基于几何的点云压缩
(G
‑
PCC)
[0017]V
‑
PCC
编码方法通过对
3D
对象执行多次投影来压缩点云，以获得打包到图像
(
或处理移动点云时的视频
)
中的
2D
图块
。
然后使用现有的图像
/
视频编解码器压缩获得的图像或视频，从而允许充分利用已经部署的图像和视频解决方案
。
就其本质而言，
V
‑
PCC
仅在密集和连续的点云上是高效的，因为图像
/
视频编解码器无法压缩非平滑的图块，例如从激光雷达捕获的稀疏几何数据的投影中获得的非平滑的图块
。
[0018]G
‑
PCC
编解码方法有两种用于压缩捕获的稀疏几何数据的方案
。
[0019]第一种方案基于点云几何形状的占用树
(
八叉树
)
表示
。
被占用的节点被分割直到达到一定的尺寸，并且被占用的叶节点提供点的
3D
位置
。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种将点云编码成表示物理对象的编码的点云数据的位流的方法，所述方法包括提供用于对所述点云的点的坐标进行编码的一系列位的方位编解码模式，其中所述方法包括：
‑
将所述点坐标所属的父区间划分
(202)
为左半区间和右半区间；
‑
从与所述父区间相关联的至少一个继承角度中，对与所述左半区间相关联的左角和与所述右半区间相关联的右角进行插值
(203)
；
‑
根据所述左角和所述右角选择
(106)
上下文；以及
‑
基于所选择的上下文，将位
(b
d
)
上下文自适应二进制熵编码
(107)
成所述位流，所述编码的位
(b
d
)
指示所述点坐标属于所述两个半区间中的哪一个
。2.
一种从表示物理对象的编码的点云数据的位流中解码点云的方法，所述方法包括提供用于解码所述点云的点的坐标的一系列位的方位编解码模式，其中所述方法包括：
‑
将所述点坐标所属的父区间划分
(202)
为左半区间和右半区间；
‑
从与所述父区间相关联的至少一个继承角度中，对与所述左半区间相关联的左角和与所述右半区间相关联的右角进行插值
(203)
；
‑
根据所述左角和所述右角选择
(106)
上下文；以及
‑
基于所选择的上下文，从所述位流中以上下文自适应的方式对位
(b
d
)
进行二进制熵解码
(302)
，所述解码的位
(b
d
)
指示所述点坐标属于所述两个半区间中的哪一个
。3.
如权利要求1或2所述的方法，其中通过将第一角度与第二角度和第三角度的加权差相加来对所述左角进行插值，并且通过将第四角度与第五角度和第六角度的加权差相加来对所述右角进行插值
。4.
如权利要求3所述的方法，其中所述第一角度
、
第二角度
、
第三角度
、
第四角度
、
第五角度和第六角度是与所述父区间相关联的继承角度
。5.
如权利要求4所述的方法，其中所述第一角度
、
第三角度和第四角度都等于与所述父区间相关联的同一继承角度并且所述第二角度
、
第四角度和第五角度都等于与所述父区间的中点相关联的另一个继承角度并且，通过执行反正切函数来计算与所述左半区间或右半区间的中点相关联的角度
6.
如权利要求4所述的方法，其中所述第一角度
、
第三角度和第五角度都等于相同的继承角度并且所述第二角度
、
第四角度和第六角度都等于另一个等于所述父区间的上限的继承角度并且，通过执行反正切函数来计算与所述左半区间的上限相关联的角度或与所述右半区间的下限相关联的角度
7.
如权利要求6所述的方法，其中与所述左半区间的所述上限相关联的所述角度或与所述右半区间的所述下限相关联的所述角度等于与所述父区间的所述中点相关联的继承角度
8.
如权利要求6所述的方法，其中通过执行反正切函数来计算与所述左半区间的所述
上限相关联的所述角度或与所述右半区间的所述下限相关联的所述角度以用于编码第一位，并且为了对后续位进行编码，与所述左半区间的所述上限相关联的所述角度或与所述右半区间的所述下限相关联的所述角度等于与所述父区间的所述中点相关联的继承角度
9.
如权利要求7或8所述的方法，其中与所述父区间的所述中点相关联的所述继承角度是从与所述父区间相关联的两个继承角度和进行插值的
。10.
如权利要求7或8所述的方法，其中当所述父区间的尺寸大于或等于确定的阈值时，通过执行反正切函数来计算与所述父区间的所述中点相关联的所述继承角度或者否则从与所述父区间相关联的两个继承角度
(
和
)
进行插值
。11.
一种将点云编码成表示物理对象的编码的点云数据的位流的装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为实现提供用于对所述点云的点的坐标进行编码的一系列位的方位编解码模式，所述方位编解码方式包括：
‑
将所述点坐标所属的父区间划分为左半区间和右半区间；
‑
从与所述父区间相关联的至少一个继承角度中，对与所述左半区间相关联的左角和与所述右半区间相关联的右角进行插值；
‑
根据所述左角和所述右角选择上下文；...

【专利技术属性】
技术研发人员：高硕，塞巴斯蒂安，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：