基于自注意生成对抗网络的激光点云超分辨率重建方法技术

本发明专利技术公开了一种基于自注意生成对抗网络的激光点云超分辨率重建方法，通过生成器网络中对激光点云图像进行特征提取，获得激光点云特征；对所述激光点云特征进行特征扩展，再进行坐标重建，获得密集点云数据；对所述密集点云数据进行鉴别确定对应的置信度；根据所述密集点云数据的置信度预判对应的密集点云数据，如果该置信度值接近1，则鉴别器预测输入可能来自具有高置信度的目标分布，否则来自生成器，对所述密集点云数据进行特征集成，获得输出特征；通过输出特征对对抗网络进行训练得到最终的稠密点云数据。本发明专利技术能够实现不同特征提取单元之间的特征信息共享，在提高重建精度的同时减小模型的大小，利于网络模型的轻量化。化。化。

【技术实现步骤摘要】
基于自注意生成对抗网络的激光点云超分辨率重建方法


[0001]本专利技术属于激光点云数据超分辨率领域，具体涉及一种基于自注意生成对抗网络的激光点云超分辨率重建方法。

技术介绍

[0002]随着无人驾驶技术的不断发展，近年来基于激光3D点云数据的三维数据显示、3D效果渲染、3D目标分割、检测识别等算法得到了越多的关注。但一般的激光雷达采集的原始3D点云数据均存在分布稀疏、均匀性差、噪声明显等缺点，以上缺点也体现在KITTI、ScanNet等广泛应用的公共基准数据集中。因此，在对原始3D点云数据进行后续处理和分析前，有必要对其进行预处理以提升原始点云数据的质量，为后续算法的开展提供更均匀、稠密的点云数据。
[0003]近年来基于神经网络的超分辨率技术在图像空间的成功应用推动了三维点集上采样方法的发展，大量的深度学习超分辨率技术已经在单图像超分辨率性能方面取得了显著的成果。然而，对于三维点云来说，这是一个挑战，因为与图像不同，点云数据具有非结构化和不规则的特点，而且点云通常是客户级扫描设备的结果，通常是稀疏的、有噪声的和不完整的。因此，上采样技术尤为重要，然而图像空间技术对点集的自适应并不简单。目前点云上采样的方法主要分为基于优化的方法和基于神经网络的方法。基于优化的方法大都依赖于几何拟合如正态估计和多尺度结构保持等先验知识；基于神经网络的方法近年来得到了一定的发展，这种方法多采用端对端的学习方法，通过一个卷积神经网络实现点云数据的多倍上采样。

技术实现思路

[0004]鉴于此，本专利技术的主要目的在于提供一种基于自注意生成对抗网络的激光点云超分辨率重建方法。
[0005]为达到上述目的，本专利技术实施例的技术方案是这样实现的：
[0006]本专利技术实施例提供一种基于自注意生成对抗网络的激光点云超分辨率重建方法，该方法为：
[0007]通过生成器网络中对激光点云图像进行特征提取，获得激光点云特征；
[0008]对所述激光点云特征进行特征扩展，再进行坐标重建，获得密集点云数据；
[0009]对所述密集点云数据进行鉴别确定对应的置信度；
[0010]根据所述密集点云数据的置信度预判对应的密集点云数据，如果该置信度值接近1，则鉴别器预测输入可能来自具有高置信度的目标分布，否则来自生成器，对所述密集点云数据进行特征集成，获得输出特征；
[0011]通过输出特征对对抗网络进行训练得到最终的稠密点云数据。
[0012]上述方案中，所述通过生成器网络中对激光点云图像进行特征提取，获得激光点云特征，具体为：在从大小为N
×
d的稀疏点云输入P中提取激光点云特征F(N
×
C)，其中d为
点云的维数，，将N
×
3的稀疏点云输入特征提取单元，特征提取单元由一系列密集块组成，每个密集块的内部采用密集连接方式，密集块之间采用长跳跃连接方式，实现不同特征提取单元之间的特征信息共享，在每个密集块中，将输入转换为固定数量的特征，使用基于特征的最近邻算法(KNN)对特征进行分组，通过密集连接的MLP链优化每个分组的特征，最后通过最大池化层计算激光点云特征。
[0013]上述方案中，所述对所述激光点云特征进行特征扩展，再进行坐标重建，获得密集点云数据，具体为：对提取的激光点云特征F进行拓展得到扩展特征F
up
，对所述扩展特征F
up
进行上采样，生成上采样后的扩展特征F
′
up
后再对其下采样，然后通过计算上采样前和下采样后特征间的特征差Δ，将所述特征差Δ上采样得到上采样后的特征差Δ
up
，再将所述上采样后的特征差Δ
up
添加到上采样后的扩展特征F
′
up
对扩展后的特征进行校正，获得校正后的扩展特征；所述扩展特征通过一组联合多层感知器(CMLP)回归得到点云的3D坐标集，每个MLP的输出即提取的点云特征可与后续的MLP共享重复使用，所述回归得到的点云坐标集即为最终网络输出的密集点云数据。
[0014]上述方案中，所述对所述密集点云数据进行鉴别确定对应的置信度，具体为：对于生成器网络G和判别器网络D采用最小平方损失作为对抗性损失。
[0015]上述方案中，所述根据所述密集点云数据的置信度预判对应的密集点云数据是来自置信度高的目标点云还是来自生成器，具体为：通过一组MLPs和最大池化层生成全局特征，并利用全连接层回归最终的置信度，若该置信度值接近1，则判别器预判其输入可能来自置信度高的目标点云，否则判定其来自生成器。
[0016]上述方案中，所述对所述密集点云数据进行特征集成，具体为：在自注意单元中通过两个独立的CMLP将输入特征转换成M和N，然后通过(3)式从M和N生成注意权重W，
[0017]W＝f
softmax
(M
T
N)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0018]式中，f
softmax
表示softmax函数，将得到的加权特征W与原始输入特征T、通过另一个CMLP从输入中提取的特征K进行加权，最后生成输出特征。
[0019]上述方案中，所述通过输出特征对对抗网络进行训练得到最终的稠密点云数据，具体为：对采用均匀损失对生成器的Q值进行评估，根据最远采样点选择原则，对点云数据进行分块处理；
[0020]将点云局部分布的均匀性与局部非均匀性结合定义均匀性损失以促使产生均匀性更好的结果，PSR
‑
Net模型的训练策略为利用最小化生成器L
G
和判别器L
D
对网络进行端对端训练，在整个网络训练的过程中，对生成器G和判别器D交替进行优化。
[0021]与现有技术相比，本专利技术的有益效果：
[0022](1)本专利技术采用更高效的长跳跃连接实现不同特征提取单元之间的特征信息共享，在提高重建精度的同时减小模型的大小，有利于网络模型的轻量化；
[0023](2)采用联合多层感知器从拓展特征中回归点云的3D坐标集，每个MLP的输出即提取的点云特征可与后续的MLP共享重复使用，从而能最大程度地保留原始点云数据的局部特征，提升特征提取效率。
[0024](3)在自注意单元中引入多层感知器结构进行输入特征的提取和转换，在增强连接后的特征集成的同时提高了网络的效率，减少网络运行时间。
附图说明
[0025]图1为本专利技术的网络结构图；
[0026]图2为本专利技术的PSR
‑
Net模型中特征提取单元的结构图；
[0027]图3为本专利技术的PSR
‑
Net模型中联合多层感知器(CMLP)结构图。
具体实施方式
[0028]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0029]本专利技术实施例提供一种基于自注意生成对抗网络的激光点云超分辨率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意生成对抗网络的激光点云超分辨率重建方法，其特征在于，该方法为：通过生成器网络中对激光点云图像进行特征提取，获得激光点云特征；对所述激光点云特征进行特征扩展，再进行坐标重建，获得密集点云数据；对所述密集点云数据进行鉴别确定对应的置信度；根据所述密集点云数据的置信度预判对应的密集点云数据，如果该置信度值接近1，则鉴别器预测输入可能来自具有高置信度的目标分布，否则来自生成器，对所述密集点云数据进行特征集成，获得输出特征；通过输出特征对对抗网络进行训练得到最终的稠密点云数据。2.根据权利要求1所述的一种基于自注意生成对抗网络的激光点云超分辨率重建方法，其特征在于，所述通过生成器网络中对激光点云图像进行特征提取，获得激光点云特征，具体为：在从大小为N
×
d的稀疏点云输入P中提取激光点云特征F(N
×
C)，其中d为点云的维数，，将N
×
3的稀疏点云输入特征提取单元，特征提取单元由一系列密集块组成，每个密集块的内部采用密集连接方式，密集块之间采用长跳跃连接方式，实现不同特征提取单元之间的特征信息共享，在每个密集块中，将输入转换为固定数量的特征，使用基于特征的最近邻算法(KNN)对特征进行分组，通过密集连接的MLP链优化每个分组的特征，最后通过最大池化层计算激光点云特征。3.根据权利要求2所述的一种基于自注意生成对抗网络的激光点云超分辨率重建方法，其特征在于，所述对所述激光点云特征进行特征扩展，再进行坐标重建，获得密集点云数据，具体为：对提取的激光点云特征F进行拓展得到扩展特征F
up
，对所述扩展特征F
up
进行上采样，生成上采样后的扩展特征F
′
up
后再对其下采样，然后通过计算上采样前和下采样后特征间的特征差Δ，将所述特征差Δ上采样得到上采样后的特征差Δ
up
，再将所述上采样后的特征差Δ
up
添加到上采样后的扩展特征F
′
up
对扩展后的特征进行校正，获得校正后的扩展特征；所述扩展特征通过一组联...

【专利技术属性】
技术研发人员：秦翰林，李莹，延翔，马琳，林凯东，杨硕闻，乐阳，张嘉伟，姚迪，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：