基于图字典学习的三维点云编解码方法、压缩方法及装置制造方法及图纸

本发明专利技术提供三维点云图字典学习方法以及基于图字典学习的编解码方法、压缩方法及装置，包括：获得N幅训练集点云数据；对点云数据进行体素化处理，获得体素化的训练集点云数据；对训练集点云数据进行体素块划分，选取若干体素块作为训练集，根据训练集构建图字典学习模型；对图字典学习的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典。本发明专利技术有效地利用点云信号之间的空间相关性，渐进最优地去除点云信号之间的冗余性；利用不同层级信号之间的数据相关性由低层级自上而下进行预测编码，有效地提升了3D点云属性信号的压缩效率，有效减少编码开销，灵活地满足实际需求中对不同质量的解码信号的需求，具有可伸缩性。伸缩性。伸缩性。

3D point cloud encoding and decoding method, compression method and device based on graph dictionary learning

【技术实现步骤摘要】
基于图字典学习的三维点云编解码方法、压缩方法及装置


[0001]本专利技术涉及一种3D点云数据压缩
的方案，具体地说，涉及的是一种基于图字典学习的三维点云编解码方法、压缩方法及装置。

技术介绍

[0002]近年来，随着3D采集和感知设备的迅猛发展，3D点云等非规则数据被广泛应用于自动驾驶、虚拟现实、增强现实、3D远景视频通信和遗迹重建等诸多新兴
一幅3D点云图像通常包含数以百万计个包含几何信息和属性信息的点，因此其数据规模往往巨大，需要耗费大量的计算资源与存储空间。受到实际网络带宽与有限存储空间的制约，现有的存储和传输在此方式下的需求，已经远远超出节点和局部计算的资源限制。因此，探索有效的3D点云压缩方法成为亟待解决的重要问题。
[0003]经过对现有技术的文献检索发现，早期的3D点云属性压缩方案通过使用固定的解析基函数对点云信号进行表示编码。C.Zhang等人在2014年的IEEE International Conference on Image Processing(ICIP2014)会议上发表的“Point Cloud Attribute Compression with Graph Transform”一文中开创性地利用图傅里叶变换来去除点云体素块属性信号之间的相关性。它利用点云体素块之间的空间相关性构建最近邻图，并计算得到图拉普拉斯矩阵作为变换基矩阵，以对点云信号进行编码。然而，由于计算图拉普拉斯矩阵需要进行特征值分解，计算复杂度很高，不利于实时传输。
[0004]为了降低计算复杂度，R.L.de Queiroz等人在2016年的《IEEE Transactions on Image Processing》(TIP2016)期刊上发表的“Compression of 3D Point Clouds Using a Region
‑
Adaptive Hierarchical Transform”一文中提出标准正交的区域自适应的哈尔变换(Region
‑
Adaptive Haar Transform,RAHT)，利用3D点云的几何信息自适应地设计哈尔变化基，对点云进行变化编码。随后，S.Gu等人在2020年的《IEEE Transactions on Image Processing》(TIP2020)期刊上发表的“3D point cloud attribute compression using geometry
‑
guided sparse representation”一文中提出了一种基于范数约束的几何自适应的稀疏编码方法，利用点云信号的几何信息设计固定的变化基并基于稀疏编码方法去除点云信号之间的冗余性，进行编码压缩。然而，上述的非欧空间稀疏表示方法严重依赖于几何信息，忽略了信号本身的统计特性，需要借助由严格数学表达式推导出的固定变换基，无法自适应地表达复杂的空间非规则的多维信号。
[0005]Y.Shen等人在2020年的IEEE Transactions on Circuits and Systems for Video Technology》(TCSVT2020)期刊上发表的“Multi
‑
scale structured dictionary learning for3
‑
D point cloud attribute compression”一文中提出一种基于多尺度字典学习的结构化稀疏表示编码方案，利用3D点云信号本身的统计特性学习一个多尺度字典并获得结构化的稀疏表示结果，以提升压缩表示性能。但是这种方案并没有考虑信号本身固有的潜在结构特征，因此无法有效地表达分布在复杂拓扑空间的非规则的多维信号，使得其表示压缩性能得到限制。
[0006]另外，MPEG 3DG PCC标准化组织自2017年起开始对3D点云压缩技术进行提案征集，目前已进入最终的草案撰写阶段。它将3D点云划分成三种不同类别，分别是：静态点云(Category 1)、动态时变的点云(Category 2)和动态获得的点云(Category 3)。针对这三种不同类型的3D点云，它发布了3种不同的测试模型(TMs)，包括采用区域自适应的小波变换的针对静态点云的TMC1，基于图像视频编码方案的针对动态时变点云的TMC2以及基于预测提升变换的针对动态获得的点云的TMC3。由于TMC1和TMC3都是基于几何信息的变换编码方案，它们最终被合并在一起，称作Geometry
‑
based Point Cloud Compression(G
‑
PCC)标准技术；而TMC2通过将3D点云投影成2D平面序列并利用现有的HEVC等视频编码标准对其进行压缩，被称作Video
‑
based Point Cloud Compression(V
‑
PCC)标准技术。但是V
‑
PCC在投影过程中会引入不可避免的失真，而G
‑
PCC的属性空间变换方案仅依赖于几何信息，没有考虑属性信号本身的统计特点，因此降低了属性信号的压缩质量。

技术实现思路

[0007]本专利技术针对上述问题，提出了一种三维点云的图字典学习方法以及基于图字典学习的编解码方法、压缩方法及装置。
[0008]根据本专利技术的第一方面，提供了一种三维点云的图字典学习方法，包括：
[0009]获得N幅训练集点云数据；
[0010]对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据；
[0011]对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，根据所述训练集构建图字典学习模型，建立图字典学习目标函数；
[0012]对所述图字典学习的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典。
[0013]优选地，对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据，包括：
[0014]将点云数据划分为空间坐标系对齐的、规则的体素；
[0015]计算每个体素的几何坐标和属性信号，得到体素化的点云数据。
[0016]优选地，对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，包括：
[0017]将所述所有体素化的训练集点云数据所在的边界立方体均匀划分为m
×
m
×
m的体素块，m为预先设定的边长；
[0018]对每幅训练集点云数据的所有体素块按照所包含体素的数量进行降序排序；
[0019]从每幅训练集点云数据中选取包含体素数量最多的前r个体素块，计算所述前r个体素块中每个体素块所包含体素的所述属性信号的平均值，作为体素块的直流属性信号，r为预先设定的正整数；
[0020]从每个体素中减去所述直流属性信号，得到残差属性信号作为训练信号，构成图字典学习的训练集。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维点云的图字典学习方法，其特征在于，包括：获得N幅训练集点云数据；对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据；对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，根据所述训练集构建图字典学习模型，建立图字典学习目标函数；对所述图字典学习的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典。2.根据权利要求1所述的一种三维点云的图字典学习方法，其特征在于，对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据，包括：将点云数据划分为空间坐标系对齐的、规则的体素；计算每个体素的几何坐标和属性信号，得到体素化的点云数据。3.根据权利要求1述的一种三维点云的图字典学习方法，其特征在于，对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，包括：将所述所有体素化的训练集点云数据所在的边界立方体均匀划分为m
×
m
×
m的体素块，m为预先设定的边长；对每幅训练集点云数据的所有体素块按照所包含体素的数量进行降序排序；从每幅训练集点云数据中选取包含体素数量最多的前r个体素块，计算所述前r个体素块中每个体素块所包含体素的所述属性信号的平均值，作为体素块的直流属性信号，r为预先设定的正整数；从每个体素中减去所述直流属性信号，得到残差属性信号作为训练信号，构成图字典学习的训练集。4.根据权利要求1所述的三维点云的图字典学习方法，其特征在于，所述根据所述训练集构建图字典学习模型，建立图字典学习目标函数，包括：将所述训练集信号作为图信号构建图拓扑连接结构其中V表示m3个结点的集合，ε表示连接m3个节点的边的集合，表示边的权值矩阵；利用构建图拓扑连接结构的p拉普拉普算子的特征基函数构造图字典学习模型，建立图字典学习目标函数：其中，表示第i个训练集体素块，是每个元素取值为0或1的掩膜矩阵用于从x
i
中提取对应的m
i
个体素，表示由S个完备子字典组成的过完备图字典，即：D＝[D1，...，D
s
]，用于约束对应完备子字典D
s
的p
s
拉普拉普算子的特征基，w
ij
表示权值矩阵W的第i行第j列的元素，d
sk
表示第s个子字典的第k个原子，d
ski
表示d
sk
的第i个元素，表示稀疏系数矩阵，为稀疏系数矩阵A的列向量表示信号x
i
在图字典D上的稀疏系数，表示单位矩
阵，n＝Nr是训练集体素块的个数，p
s
表示第s个子字典对应的幂指参数，β、γ和λ表示对应的正则化参数。5.根据权利要求4所述的三维点云的图字典学习方法，其特征在于，对所述图字典学习模型的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典，包括：对所述图字典学习目标函数迭代优化以得到图字典，其中，每次迭代中交替固定字典D求解几何自适应的稀疏编码子问题和固定稀疏系数矩阵A求解图字典更新子问题，直到预定的迭代次数，得到用于三维点云信号的编解码的图字典。6.根据权利要求5所述的一种三维点云的图字典学习方法，其特征在于，对所述图字典学习目标函数迭代优化以得到图字典，包括：根据所述图字典更新子问题求解得到的固定图字典D，对每个训练集体素块，逐个求解几何自适应的稀疏编码子问题，得到稀疏系数矩阵A：根据所述几何自适应的稀疏编码子问题求解得到的固定稀疏系数矩阵A，利用交替方向乘子法求解所述图字典更新子问题，得到图字典D：其中，表示逐元素相乘的哈达玛积，表示训练集信号的集合，表示所有训练集信号的掩膜矩阵集合，表示元素全为1的向量。7.根据权利要求6所述的一种三维点云的图字典学习方法，其特征在于，所述交替方向乘子法，包括：通过引入一个辅助变量Z代替D将所述字典更新优化子问题中非凸的第二项和第三项与凸的第一项分离，转化成一个约束优化问题：其中，Z＝[Z1，...，Z
s
]，Z
s
＝D
s
，s＝1，...，S表示每个字典对应的子辅助变量；引入一个对偶变量将所述约束优化问题转变为它的增广拉格朗日函数，获得三个子优化问题：获得三个子优化问题：U
+
＝U+D
‑
Z其中，ρ表示引入的惩罚参数；
交替求解三个子优化问题对三个变量进行交替更新，直至收敛，获得图字典。8.一种基于图字典学习的三维点云信号编码方法，其特征在于，根据权利要求1
‑
7任一项所述的方法获得的图字典，对三维点云信号编码，生成三维点云信号码流。9.根据权利要求8所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述对三维点云信号编码，生成三维点云信号码流，包括：将所述三维点云信号进行质量层划分，获得l个质量层；单一质量层点云信号编码，获得所在质量层的点云信号码流；单一质量层点云信号解码，获得所在质量层的重构点云信号；依次对l个质量层编解码，合并l个质量层点云信号码流，得到三维点云信号码流。10.根据权利要求9所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述将所述三维点云信号进行质量层划分，获得l个质量层，包括：将三维点云数据划分为l个质量层，按照质量层由低到高，第1层为基本层，之后l
‑
1层为增强层，分别为第1个增强层直至第l
‑
1个增强层，并分别获得所述基本层和各个所述增强层的点云信号。11.根据权利要求10所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述获得基本层和各个增强层的点云信号，包括：体素化点云数据，输出体素化的点云信号，作为最高质量层的点云信号；对所述体素化的点云信号进行l
‑
1次体素块合并，获得l
‑
1个不同质量层的点云信号，作为基本层以及第1到第l
‑
2个增强层的点云信号；其中，所述每次体素块合并的输入为前一次体素块合并得到的高质量层的点云信号，输出低质量层的点云信号，作为下一次体素块合并的输入。12.根据权利要求11所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述体素块合并，包括：将所述高质量层的点云信号所在的边界立方体划分为均匀分布的c
×
c
×
c体素块；合并每个体素块中包含的体素，作为所述低质量层的点云信号的一个体素；将每个体素块所包含体素的几何坐标的最大值缩小c倍并四舍五入取整作...

【专利技术属性】
技术研发人员：戴文睿，李鑫，李劭辉，李成林，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：