一种基于神经网络的点云属性有损压缩装置及方法制造方法及图纸

本发明专利技术公开了一种基于神经网络的点云属性有损压缩装置及方法，包括编码压缩和解码重建两个部分。其中编码压缩部分包括下采样、特征提取和特征融合三个步骤，首先分别对点云的特征和坐标进行下采样，然后提取点云特征，最后将深层的点云特征与浅层的点云属性进行融合。解码重建部分包括特征融合、特征提取和上采样三个步骤，首先对编码压缩部分得到的码流进行解码，然后将点云属性和点云特征进行融合，再多次对融合后的特征进行特征提取与上采样操作，以得到重建点云。本发明专利技术所提出的方法能够将点云属性用一个紧密的特征表示，从而以较少的数据量进行传输，并对点云进行重建，恢复点云属性。复点云属性。复点云属性。

【技术实现步骤摘要】
一种基于神经网络的点云属性有损压缩装置及方法


[0001]本专利技术属于点云压缩
，具体涉及一种基于神经网络的点云属性有损压缩装置及方法。

技术介绍

[0002]点云作为三维空间中对象的有效表示，可以被三维传感器广泛地捕捉，其中每个点都具有对应的坐标和其他相关属性，例如颜色、反射率等，因此点云可以真实有效地表示任意三维对象。目前，点云已经被广泛应用于自动驾驶、智能城市、虚拟现实、增强现实等场景。由于点云通常包括数百万个甚至更多的点，这为点云的高效存储和传输带来了巨大的挑战。因此需要一种高效的点云压缩框架，尤其是针对具有多种属性的点云。Moving Picture Experts Group(MPEG)所提供的传统点云压缩标准Geometry
‑
based Point Cloud Compression(G
‑
PCC)中有三种属性编码方法：区域自适应分层变换(RAHT)编码、基于插值的分层近邻预测(Predicting Transform)和基于插值的带更新/提升步长的分层近邻预测(Lifting Transform)。
[0003]随着人工智能技术的不断发展，结合深度神经网络的点云属性压缩方法成为点云压缩领域的一个热门研究方向。目前基于深度学习的点云属性压缩方法主要有基于点的学习、基于投影的学习和基于体素的学习三种。其中基于点的学习方法可以直接处理点云，但往往难以提取有效的特征，因此性能较差；基于投影的学习方法通过学习基于神经网络的映射函数，将三维点云转换为二维网格，然后应用传统的图像编解码器对投影属性进行编码，这种方法的模型泛化性较差；基于体素的学习方法通过将坐标格式的原始数据转换为体素来处理，可以从几何角度提取点云特征，往往压缩性能较好，因此受到了广泛关注。现有技术中，基于神经网络的点云属性压缩方法主要使用自动编码器的结构，并假设点云几何坐标已经被无损压缩，但是存在仅从单一的特征空间上提取信息，无法捕获更加全面的细节的问题。

技术实现思路

[0004]针对现有技术的不足，本专利技术提出了一种基于神经网络的点云属性有损压缩装置及方法，利用体素学习方法具有充分几何信息的优势，在编码端对点云数据的属性与特征进行融合，获得更加紧密的点云特征，提升点云重建质量。
[0005]一种基于神经网络的点云属性有损压缩装置，包括编码压缩端和解码重建端。
[0006]所述编码压缩端包括第一下采样模块、第一特征提取模块、第二下采样模块、第一特征融合模块、熵编码模块和G
‑
PCC编码模块。
[0007]所述第二下采样模块通过平均池化对原始点云进行下采样，输出浅层的点云属性。第一下采样模块和第一特征提取模块通过稀疏卷积对原始点云进行下采样和特征提取，得到浅层的点云特征，然后对浅层的点云特征重复进行下采样和特征提取，得到深层的点云特征。第一特征融合模块用于对浅层的点云属性和深层的点云特征进行融合，得到融
合后的点云特征。熵编码模块和G
‑
PCC编码模块分别将融合后的点云特征和浅层的点云属性压缩成码流。
[0008]所述解码重建端包括第二特征融合模块、第二特征提取模块和上采样模块。
[0009]所述第二特征融合模块接收解压后的点云特征和点云属性，进行属性与特特征的融合后，输出融合结果。第二特征提取模块和上采样模块用于对第二特征融合模块输出的融合结果进行多次特征提取和上采样，输出重建点云。
[0010]一种基于神经网络的点云属性有损压缩方法，包括编码压缩和解码重建，具体包括以下步骤：
[0011]步骤一、编码压缩
[0012]s1.1、通过平均池化操作对原始点云进行下采样，得到浅层的点云属性。
[0013]s1.2、通过稀疏卷积操作对原始点云进行下采样，再进行特征提取操作，得到浅层的点云特征；对浅层的点云特征重复K
‑
1次下采样和特征提取，得到深层的点云特征。
[0014]s1.3、将s1.1得到的浅层点云属性与s1.2得到的深层点云特征进行融合，得到融合的点云特征。
[0015]s1.4、对s1.1得到的浅层点云属性进行G
‑
PCC编码，对s1.3得到的融合的点云特征进行熵编码，完成编码压缩过程。
[0016]步骤二、解码重建
[0017]s2.1、将s1.4压缩后的点云特征和点云属性分别解压，得到解压的点云特征和点云属性。
[0018]s2.2、将s2.1解压后的点云特征与点云属性融合，得到融合后的点云特征。
[0019]s2.3、对s2.2融合后的点云特征进行K次的特征提取和上采样操作，得到重建点云。
[0020]本专利技术具有以下有益效果：
[0021]使用神经网络同时捕获浅层的点云属性和深层的点云特征可以通过特征融合互相提供不同程度的点云细节，使得提取到的信息更加全面，从而提升压缩效率，在同等码率下重建质量更高。
附图说明
[0022]图1为一种基于神经网络的点云属性有损压缩装置结构示意图；
[0023]图2为一种基于神经网络的点云属性有损压缩方法流程图；
[0024]图3为实施例1中第二下采样模块示意图；
[0025]图4为实施例1中第一下采样模块示意图；
[0026]图5为实施例1中第一特征提取模块示意图；
[0027]图6为实施例1中第一特征融合模块示意图；
[0028]图7为实施例1中熵编码模块示意图；
[0029]图8为实施例1中G
‑
PCC编码模块示意图；
[0030]图9为实施例1中第二特征融合模块示意图；
[0031]图10为实施例1中第二特征提取模块示意图；
[0032]图11为实施例1上采样模块示意图。
[0033]图12为实施例2中第一特征提取模块示意图；
[0034]图13为实施例2中KNN
‑
Transformer模块示意图；
[0035]图14为实施例2中KNN模块示意图；
[0036]图15为实施例2中自注意力模块示意图；
[0037]图16为实施例3中第一特征融合模块示意图；
[0038]图17为实施例4中第二特征融合模块示意图；
[0039]图18为实施例5中第二特征提取模块示意图。
具体实施方式
[0040]以下结合附图对本专利技术作进一步的解释说明；
[0041]如图1所示，一种基于神经网络的点云属性有损压缩装置，包括编码压缩端100和解码重建端300。
[0042]所述编码压缩端100包括第一下采样模块101、第一特征提取模块103、第二下采样模块102、第一特征融合模块104、熵编码模块201和G
‑
PCC编码模块202。
[0043]所述第二下采样模块102通过平均池化对原始点云进行下采样，输出浅层的点云属性。第一下采样模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的点云属性有损压缩装置，其特征在于：包括编码压缩端和解码重建端；所述编码压缩端包括第一下采样模块、第一特征提取模块、第二下采样模块、第一特征融合模块、熵编码模块和G
‑
PCC编码模块；所述第二下采样模块通过平均池化对原始点云进行下采样，输出浅层的点云属性；第一下采样模块和第一特征提取模块通过稀疏卷积对原始点云进行下采样和特征提取，得到浅层的点云特征，然后对浅层的点云特征重复进行下采样和特征提取，得到深层的点云特征；第一特征融合模块用于对浅层的点云属性和深层的点云特征进行融合，得到融合后的点云特征；熵编码模块和G
‑
PCC编码模块分别将融合后的点云特征和浅层的点云属性压缩成码流；所述解码重建端包括第二特征融合模块、第二特征提取模块和上采样模块；所述第二特征融合模块接收解压后的点云特征和点云属性，进行属性与特特征的融合后，输出融合结果；第二特征提取模块和上采样模块用于对第二特征融合模块输出的融合结果进行多次特征提取和上采样，输出重建点云。2.如权利要求1所述一种基于神经网络的点云属性有损压缩装置，其特征在于：所述第一特征融合模块通过稀疏卷积对浅层点云属性进行处理后，与深层点云特征进行拼接，再通过稀疏卷积处理，得到融合的点云特征。3.如权利要求1所述一种基于神经网络的点云属性有损压缩装置，其特征在于：所述第一特征融合模块通过稀疏卷积对浅层点云属性与深层点云特征进行处理后，与深层点云特征进行拼接，将拼接结果通过稀疏卷积后再与深层点云特征相加，得到融合的点云特征。4.如权利要求1所述一种基于神经网络的点云属性有损压缩装置，其特征在于：所述第一特征提取模块通过稀疏卷积和KNN
‑
Transformer模块提取点云特征；KNN
‑
Transformer模块的输入数据依次通过KNN模块与自注意力模块后，与KNN模块的输出相加，得到的结果与通过归一化、线性层处理后的结果相加，再通过归一化层，完成一次特征提取。5.如权利要求4所述一种基于神经网络的点云属性有损压缩装置，其特征在于：所述KNN模块通过KNN算法对输入数据的坐标和特征分别进行聚合，得到聚合坐标与聚合特征，随后通过线性层对...

【专利技术属性】
技术研发人员：丁丹丹，章骏腾，刘舸昕，张俊哲，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：