经由制造技术

在一个具体实施中，提出了通过

【技术实现步骤摘要】
【国外来华专利技术】经由TEARING TRANSFORM的基于学习的点云压缩


[0001]本实施方案整体涉及用于点云压缩和处理的方法和装置
。

技术介绍

[0002]点云
(PC)
数据格式是跨若干商业领域的通用数据格式，例如从自主驾驶
、
机器人
、
增强现实
/
虚拟现实
(AR/VR)、
土木工程
、
计算机图形到动画
/
电影产业
。3D LiDAR(
激光雷达
)
传感器已部署在自动驾驶汽车中，并且
Velodyne Velabit、Apple iPad Pro 2020
和
Intel RealSense LiDAR
相机
L515
发布经济实惠的
LiDAR
传感器
。
随着感测技术的进步，
3D
点云数据变得比以往更加实用，并有望成为本文讨论的应用的最终推动者
。

技术实现思路

[0003]根据实施方案，提供了一种用于解码点云数据的方法，该方法包括：访问码字，该码字提供点云的表示；访问网格图像，该网格图像向所述点云的所述表示提供细化信息；以及响应于所述解码的码字和所述解码的网格图像，使用基于神经网络的模块重构所述点云
。
[0004]根据另一实施方案，呈现了一种用于解码点云数据的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：访问码字，该码字提供点云的表示；访问网格图像，该网格图像向所述点云的所述表示提供细化信息；以及响应于所述解码的码字和所述解码的网格图像，使用基于神经网络的模块重构所述点云
。
该装置还可以包括耦接到所述所述多个或多个处理器的至少一个存储器
。
[0005]根据另一实施方案，提供了一种用于编码点云数据的方法，该方法包括：由基于神经网络的第一模块生成码字，该码字提供与所述点云数据相关联的输入点云的表示；基于所述码字和网格图像，由基于神经网络的第二模块重构第一点云；以及基于所述第一重构的点云
、
所述码字和所述输入点云，由基于神经网络的第三模块调整所述网格图像以生成另一网格图像
。
[0006]根据另一实施方案，呈现了一种用于编码点云数据的装置，包括一个或多个处理器，其中所述一个或多个处理器被配置为：由基于神经网络的第一模块生成码字，该码字提供与所述点云数据相关联的输入点云的表示；基于所述码字和网格图像，由基于神经网络的第二模块重构第一点云；以及基于所述第一重构的点云
、
所述码字和所述输入点云，由基于神经网络的第三模块调整所述网格图像以生成另一网格图像
。
该装置还可以包括耦接到所述所述多个或多个处理器的至少一个存储器
。
[0007]一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案中的编码方法或解码方法
。
本专利技术实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对点云数据进行编码或解码的指令
。
[0008]一个或多个本专利技术实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流
。
一个或多个本专利技术实施方案还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置
。
附图说明
[0009]图1示出了其中可实现本专利技术实施方案的各方面的系统的框图
。
[0010]图2示出了简化的
TearingNet
图
。
[0011]图3示出了根据实施方案所提出的用于
TearingTransform
的图
。
[0012]图4示出了根据实施方案的用于
PN
模块的网络架构设计的示例
。
[0013]图5示出了根据实施方案的用于
FN
模块的网络架构设计的示例
。
[0014]图6示出了根据实施方案的用于
TN
模块的网络架构设计的示例
。
[0015]图7示出了根据实施方案所提出的增强的
TearingTransform
的正变换
。
[0016]图8示出了根据实施方案所提出的增强的
TearingTransform
的逆变换
。
[0017]图9示出了根据实施方案所提出的
TearingCompression
编码器的框图
。
[0018]图
10
示出了根据实施方案所提出的
TearingCompression
解码器的框图
。
[0019]图
11
示出了根据实施方案的在
FoldingNet
架构中具有所提出的
PN
和
FN
的框图
。
[0020]图
12
示出了根据实施方案的用于压缩系统的框图
。
[0021]图
13
示出了根据实施方案的用于机器的压缩系统的框图
。
具体实施方式
[0022]图1示出了其中可实现各种方面和实施方案的系统的示例的框图
。
系统
100
可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面
。
此类设备的示例包括但不限于各种电子设备，诸如个人计算机
、
膝上型计算机
、
智能电话
、
平板电脑
、
数字多媒体机顶盒
、
数字电视接收器
、
个人视频录制系统
、
连接的家用电器和服务器
。
系统
100
的元件可单独地或组合地体现在单个集成电路
、
多个
IC
和
/
或分立部件中
。
例如，在至少一个实施方案中，系统
100
的处理和编码器
/
解码器元件跨多个
IC
和
/
或分立的部件分布
。
在各种实施方案中，系统
100
经由例如通信总线或通过专用输入和
/
或输出端口通信地耦接到其他系统或其他电子设备
。
在各种实施方案中，系统
100
被配置为实现本申请所述的方面的一个或多个方面
。
[0023本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于解码点云数据的方法，所述方法包括：访问码字，所述码字提供点云的表示；访问网格图像，所述网格图像向所述点云的所述表示提供细化信息；以及响应于所述解码的码字和所述解码的网格图像，使用基于神经网络的模块重构所述点云
。2.
根据权利要求1所述的方法，所述方法包括：从至少比特流解码所述码字；以及从所述至少比特流解码所述网格图像
。3.
根据权利要求1或2所述的方法，所述方法还包括：访问描述沿法线方向的偏移误差的分量，用于所述重构的点云中的点；以及使用所述解码的分量细化所述重构的点云
。4.
根据权利要求3所述的方法，其中所述法线是基于初步重构的点云计算的
。5.
根据权利要求1‑4中任一项所述的方法，所述方法还包括：从所述至少比特流解码所述分量
。6.
根据权利要求1‑5中任一项所述的方法，其中所述基于神经网络的模块包括至少第一组层和第二组层，其中所述第一组层响应于所述解码的码字和所述解码的网格图像，并且其中所述第二组层响应于所述第一组层和所述解码的码字的输出
。7.
根据权利要求6所述的方法，其中所述第一组层对应于第一组被共享的多层感知器
(MLP)
，并且所述第二组层对应于第二组被共享的
MLP。8.
根据权利要求1‑7中任一项所述的方法，其中所述码字是表示潜在空间中的所述点云的特征矢量
。9.
根据权利要求1‑8中任一项所述的方法，其中所述网格图像包括一组像素，所述网格图像中的每个像素包括指示
2D
位置的两个信道
。10.
根据权利要求1‑9中任一项所述的方法，其中所述网格图像中的所述像素还包括指示沿法线方向的偏移的第三信道
。11.
根据权利要求1‑
10
中任一项所述的方法，其中所述码字由与变分自动编码器相关联的解码器解码
。12.
根据权利要求1‑
11
中任一项所述的方法，其中网格图像由与变分自动编码器相关联的解码器或由
2D
视频解码器解码
。13.
一种用于编码点云数据的方法，所述方法包括：由基于神经网络的第一模块生成码字，所述码字提供与所述点云数据相关联的输入点云的表示；基于所述码字和网格图像，由基于神经网络的第二模块重构第一点云；以及基于所述第一重构的点云
、
所述码字和所述输入点云，由基于神经网络的第三模块调整所述网格图像以生成另一网格图像
。14.
根据权利要求
13
所述的方法，所述方法还包括：压缩所述码字；压缩所述另一网格图像；以及生成至少包括所述压缩的码字和所述压缩的另一网格图像的比特流，其中所述压缩的
另一网格图像将被用于在解码期间细化所述输入点云的所述表示
。15.
根据权利要求
13
或
14
所述的方法，所述方法还包括：从所述输入点云为所述重构的第一点云中的点识别最近相邻点；获得所述重构的第一点云中的所述最近相邻点的法线矢量；获得从所述点到所述最近相邻点的误差矢量；以及沿所述法线矢量投影所述误差矢量，以形成所述点的投影误差矢量
。16.
根据权利要求
15
所述的方法，所述方法还包括：压缩所述重构的点云中的所述点的所述投影误差矢量的长度
。17.
根据权利要求
13
‑...

【专利技术属性】
技术研发人员：田东，庞家豪，M，
申请(专利权)人：交互数字专利控股公司，
类型：发明
国别省市：