一种基于深度学习的三维单木点云的补全方法技术

本发明专利技术属于林业遥感领域，具体涉及一种基于深度学习的三维单木点云的补全方法。本发明专利技术结合深度学习技术，搭建了适用于单木结构补全的TC

【技术实现步骤摘要】
一种基于深度学习的三维单木点云的补全方法


[0001]本专利技术属于林业遥感领域，具体涉及一种基于深度学习的三维单木点云的补全方法。

技术介绍

[0002]基于三维点云分析树木的重要生物属性(如三维绿量、生物量、树高、胸径和冠径等)或是进行精准的三维建模都要求并依赖于植被点云结构完整。然而城市区域地物空间分布复杂，存在大量的相互间遮挡；传感器精度和穿透能力有限；加之传感器会受限于采集设备观察角度，共同导致树木点云结构缺失，严重影响后续步骤的精度。
[0003]林业遥感领域解决这一问题的常用方法大体可以分为三类：即多视角/多传感器的点云融合，基于先验或建模修正结果以及基于特征的原始单木点云数据的结构补全。
[0004]其中多视角/多传感器的点云融合依赖于额外的数据，会受场地条件和实验条件限制，并且会大幅提升成本。如地基激光雷达或背包激光雷达的多视角融合，机载激光雷达点云和背包激光雷达的加权融合等。无人机只能在特定高度且需要绕过较高人造物，车辆则只能沿着道路行驶，导致树木相当部分缺乏完整视角观测条件，进而导致植被冠层点云缺失，影响三维绿量计算的精度。如图1所示，从左到右依次为同地物的车载激光雷达点云、无人机载激光雷达点云和无人机倾斜影像重建点云，其中车载激光雷达数据中缺失远离采集车方向的树冠点云，无人机载激光雷达点云和基于无人机倾斜影像重建点云中缺失靠近地面的树干点云。
[0005]基于先验或建模修正结果的方法如Xu H等人首先从原始缺失点云中得到粗糙的树木骨架，再基于冠层结构生成骨架的分枝，最后把叶子分配到骨架对应位置完成建模。Zhang X等人首先从原始缺失点云中得到可见的骨架，再基于分层树冠特征点生成不可见骨架，最后基于粒子流方法将两部分组合得到最终树木模型。基于特征的原始单木点云数据的结构补全的方法首先基于L1
‑
Median算法从缺失点云提取的关键点，再基于关键点的主方向和点云密度分布进行点云补全。
[0006]点云结构补全在基于深度学习的点云处理领域是一个时兴问题，如L
‑
GAN基于自编码器模型结合生成对抗网络完成点云补全。FoldingNet设计了基于折叠的解码器更好的还原物体三维表面信息。PCN组合L
‑
GAN和FoldingNet的优势，并加入可以使结果更加光滑的后处理操作，达到更好补全效果。RL
‑
GAN
‑
Net将强化学习和条件生成对抗网络结合，使其可以稳定的补全大片缺失点云。
[0007]PF
‑
Net保留原始点云，并在此基础上预测缺失区域详细几何结构，这类方法可以有效的还原缺失点云的细节特征。具体而言，PF
‑
Net设计一种多尺度金字塔结构特征编码
‑
解码器，用以对缺失点云进行分层估计。设计多尺度补全损失函数来完成反向传播，并设计相应鉴别器和对抗损失函数来实现更优的训练过程。TopNet设计分层的树结构编码器来实现补全。DPGG
‑
Net基于生成对抗网络设计两种模块，将点云补全任务转化为解码器基于缺失点云生成的点云全局特征和完整点云全局特征对抗训练任务。PMP
‑
Net++将点云补全任
务视为变形(deformation)任务，通过三次移动缺失点云来预测完整点云。移动过程中会保证总移动距离最小，且每一次移动的结果会作为下一次移动的输出。
[0008]总之，多视角/多传感器的点云融合依赖于额外的数据，会受场地条件和实验条件限制，并且会大幅提升成本；基于先验或建模修正结果以及基于特征的原始单木点云数据的结构补全无法做到准确补全且补全部分会有细节缺失。由此，现有三维单木点云的补全方法均存在一定的局限性，成为实际应用中一个亟待解决的问题。

技术实现思路

[0009]针对上述存在问题或不足，为解决现有三维单木点云补全方法受限于场景条件、成本、以及准确度不佳的问题，本专利技术引入了深度学习技术，将其应用于单木结构补全领域，提供了一种基于深度学习的三维单木点云的补全方法。
[0010]一种基于深度学习的三维单木点云的补全方法，包括如下步骤：
[0011]步骤1.对城市植被采用车载激光雷达进行扫描，获得原始的点云数据；
[0012]步骤2.将树木部分的点云从步骤1采集到的原始点云数据集中划分出来，并将选取其中点云结构完整的点云数据，用来构建完整
‑
不完整单木点云对。
[0013]步骤3.结合Self
‑
Supervised、Multi
‑
Scale Encoder
‑
Decoder、Transformer Block和Self
‑
Attention深度学习技术搭建端到端的、数据驱动式深度学习网络模型TC
‑
Net，TC
‑
Net(Tree Completion Net)适用于单木结构补全，如图3所示。
[0014]采用Self
‑
Supervised基于步骤2构建的完整
‑
不完整单木点云对，以数据驱动的方式学会预测单木点云的缺失结构，使模型学会基于不完整的单木点云来生成对应完整的单木点云。
[0015]采用Multi
‑
Scale Encoder
‑
Decoder捕捉单木点云不同空间尺度的语义特征，并将其用于逐步预测缺失部分点云。
[0016]利用Transformer Block采用自注意力机制Self
‑
Attention，根据输入数据的每个部分的重要性进行不同的加权，捕捉三维点云中不同位置之间的长距离依赖关系，从而显著提升模型对于城市区域三维点云的大空间尺度、复杂地物间关系等特性的表达能力和理解能力，同时Transformer具有序列排列不变特性适用于空间上具有分散和无序特点的三维点云。
[0017]步骤4.在大型开源数据集ShapeNet
‑
Part上对步骤3所构建的网络模型进行预训练，并保存最后的模型参数。
[0018]步骤5.针对激光雷达扫描得到的点云数据存在密度不均缺失的特点，构造具有密度不均缺失特点的数据集，并将其用以对步骤4预训练得到的模型(作为初始值)继续进行训练，得到最终的模型。
[0019]步骤6.使用步骤5所得最终的模型对不完整点云进行结构补全。
[0020]进一步的，所述步骤3具体为：
[0021]步骤3.1.搭建Encoder部分：
[0022]首先通过FPS(Farthest Point Sampling)来得到三个分辨率的降采样不完整点云X
i
(i＝1,2,3，点数分别为N、N/k和N/k2)和相对应的缺失补全点云Y
i
(i＝1,2,3，点数分别为M、M/k和M/k2)。其中X代表不完整点云，点数分别为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的三维单木点云的补全方法，其特征在于，包括如下步骤：步骤1、对城市植被采用车载激光雷达进行扫描，获得原始的点云数据；步骤2、将树木部分的点云从步骤1采集到的原始点云数据集中划分出来，并将选取其中点云结构完整的点云数据，用来构建完整
‑
不完整单木点云对；步骤3、结合Self
‑
Supervised、Multi
‑
ScaleEncoder
‑
Decoder、TransformerBlock和Self
‑
Attention搭建端到端的、数据驱动式深度学习网络模型TC
‑
Net；采用Self
‑
Supervised基于步骤2构建的完整
‑
不完整单木点云对，以数据驱动的方式学会预测单木点云的缺失结构；采用Multi
‑
ScaleEncoder
‑
Decoder捕捉单木点云不同空间尺度的语义特征，并将其用于逐步预测缺失部分点云；利用TransformerBlock采用自注意力机制Self
‑
Attention，根据输入数据的每个部分的重要性进行不同的加权，捕捉三维点云中不同位置之间的长距离依赖关系；步骤4、在ShapeNet
‑
Part上对步骤3所构建的网络模型进行预训练，并保存最后的模型参数；步骤5、构造具有密度不均缺失特点的数据集，并将其用以对步骤4预训练得到的模型继续进行训练，得到最终的模型；步骤6、使用步骤5所得最终的模型对不完整点云进行结构补全。2.如权利要求1所述基于深度学习的三维单木点云的补全方法，其特征在于，所述步骤3具体为：步骤3.1、搭建Encoder部分：首先通过FPS来得到三个分辨率的降采样不完整点云X
i
和相对应的缺失补全点云Y
i
；其中X代表不完整点云，点数分别为N、N/k和N/k2；Y代表相对应的缺失补全点云，点数分别为M、M/k和M/k2；i＝1,2,3，N为不完整点云的点数，M为相对应缺失补全点云的点数，k为人为设置的降采样参数；此后，将三个不同采样率的点云通过多分辨率Encoder提取分层语义特征，多分辨率点云首先通过PointTransformer层得到特征F
i
，F代表PointTransformer层输出的特征，X
i
通过PointTransformer层得到F
i
，再利用MLP将特征融合得到V，V代表全局空间语义特征的向量；PointTransformer模块采用Offset
‑
Attention机制，计算不同点云特征间的语义相似性来实现语义建模，同时预测残差块；设Query，Key和Value分别为Q，K和V，Offset
‑
Attention原理如式(1)：(Q,K,V)＝F
in
·
(W
q
,W
k
,W
v
)(1)其中Q,其中Q,W
q
,为该层共享的可学习线性变换；d
e
＝C
j
，d
a
＝d
e
/R，R为可调超参数；N
j
和C
j
分别为每一空间尺度层特征点数和维度数；Attention层输入F
out
计算如式(2)所示：A＝Softmax(Q
·
K
T
)F
out
＝LBR(F
in
‑
A
·
V)+F
in
(2)A表示AttentionScore，LBR表示线性层、BathNorm层和ReLU层三者的组合；
步骤3.2、搭建Decoder部分：Decoder部分使用多尺度生成网络逐步预测缺失部分点云；首先从V出发，通过线性层得到三个特征层FC
i
；通过PointTransformer层将最深的FC1转换为第一层预测点云Y
primary
；FC2以Y
primary
中每个点为中心预测第二层点云Y
secondary
中对应点的相对坐标；FC3以Y
secondary
中每个点为中心预测第三层点云Y
detail
中对应点的相对坐标，同时，Y
detail
会作为最后的输出预测缺失部分的点云结构；Y
primary
与Y1的点数均为M，Y
secondary
与Y2的点数均为M/k，Y
detail
与Y3的点数均为M/k2；TC<...

【专利技术属性】
技术研发人员：黄方，葛镔赋，吕清哲，陈胜亿，强晓勇，何伟丙，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：