一种基于HPCT模型的城市区域植被点云语义分割方法技术

本发明专利技术属于林业遥感技术领域，具体为一种基于深度学习模型的城市区域植被点云语义分割方法。本发明专利技术结合深度学习技术构建HPCT模型：将模型构建为多个层次，每个层次可处理三维点云不同级别的特征，进而捕捉与植被相关的不同空间尺度和地物相对关系的语义特征；采用自注意力机制，根据输入数据的每个部分的重要性进行不同的加权，捕捉三维点云中不同位置之间的长距离依赖关系，从而显著提升HPCT模型的表达能力和理解能力；同时，本发明专利技术采集了三种数据源的城市区域点云数据并将其进行语义标注，形成植被点云数据集，用来进行模型的训练及预测，为HPCT模型训练提供数据基础，也缓解了点云数据集稀缺的现状。了点云数据集稀缺的现状。了点云数据集稀缺的现状。

【技术实现步骤摘要】
一种基于HPCT模型的城市区域植被点云语义分割方法


[0001]本专利技术属于林业遥感
，具体涉及一种基于深度学习模型的城市区域植被点云语义分割方法。

技术介绍

[0002]植被点云语义分割的目的是从城市区域复杂的地物分布中提取出树木点云，在林业遥感中，植被点云语义分割是一项重要的前置任务，是后续处理的前提。随着深度学习技术快速发展，深度神经网络由于其具有的强大的高维特征提取能力，成为图像处理任务的主流技术。然而，点云数据具有空间上分散和无序特点，使得基于二维图像的模型无法直接迁移到点云上，为此需要研究点云组织方式。点云处理任务常用有三种点云组织方式，即多视角投影(View projection)，三维重构(Voxel)以及直接处理点云(Point
‑
set)。
[0003]多视角投影即将点云降维表示为多个二维深度图像，此后就可以使用二维卷积神经网络来处理。如SnapNet通过预处理减少点云数量，计算特征以及生成格网。再通过虚拟相机生成格网的多视角图像，最后使用图像语义分割技术完成点云提取并投影回三维空间。多视角投影运用到点云提取中将有两个明显缺陷，其一是会带来几何结构损失，因为多视角投影仅为点云的一个近似；其二是对于复杂的场景，多视角投影图像难以包含所有点云。
[0004]三维重构即将点云重新建立规则三维数据结构，再使用三维全卷积神经网络来处理。如SegCloud在预处理阶段将点云重建为规则三维像素矩阵，此后通过三维全卷积神经网络，插值以及全连接条件随机场完成点云提取任务，然而其因为冗余三维结构，造成巨大计算和内存负担。为了解决这一问题，OctNet以及O
‑
CNN使用更加结构化的八叉树来完成重建，大大减少冗余。VV
‑
Net基于自编码器结构将点云重建为比三维像素矩阵信息更加丰富的结构。MinkowskiNets提供一种四维卷积网络提取时空特征用以处理三维点云视频，它同时也能被用在点云提取任务上。基于三维重构的方法仍有两个较为严重的缺陷，其一是重建过程中空间信息的损失，其二是重建后空间的冗余。
[0005]直接处理点云能充分利用点云语义信息，是十分热点且具有潜力的研究方向。PointNet是这个方向最具影响力的框架，其基于三个方面设计。其一是为了解决点云无序问题，基于最大池化层和多层感知机使得整个网络为对称结构(点云输入顺序不影响结果)；其二是针对特征提取，为点云提取任务设置全局特征和点云个体特征组合机制；其三是为了消除几何变换(如平移和旋转等)对结果影响，设计小型网络T
‑
net来进行仿射坐标变换，并且通过设置损失函数来使得仿射变换矩阵近似正交矩阵。但PointNet也有一个明显缺陷，在特征提取时没有考虑区域语义特征。为了解决这一问题，PointNet++在其基础上采用分层网络结构提取区域语义特征。这一类框架有一个局限，因为其是在固定的空间尺度(采样率)下完成特征提取，无法有效的提取不同层级的语义信息。

技术实现思路

[0006]针对上述存在问题或不足，为解决现有植被点云语义分割中二维图像模型迁移到点云时点云组织方式准确度不佳的问题，本专利技术提供了一种基于深度学习模型的城市区域植被点云语义分割方法。
[0007]本专利技术的具体技术方案如下：
[0008]一种基于HPCT模型的城市区域植被点云语义分割方法，包括以下步骤：
[0009]步骤1、对于目标城市区域，采集同时相的三源点云数据，分别为车载激光雷达点云、无人机倾斜影像重建点云以及无人机载激光雷达点云；
[0010]步骤2、将步骤1采集到的三源点云数据利用点云处理软件(如CloudCompare)进行逐像素语义标签的标注，将植被点云提取出来标注为1，其他点标注为0，由此得到用于模型训练及测试的点云数据集；
[0011]步骤3、由于异源点云具有不同的空间尺度，本专利技术提出了统一异源数据输入的空间尺度的处理方法，通过该方法对步骤2中的训练数据集进行处理，具体过程为：
[0012]步骤3.1、将所有点云坐标转换为世界坐标系，以米为单位。世界坐标系是一个地心坐标系，原点是地球的质心，三个轴是相对于地球的形状和方向定义。世界坐标系属于笛卡尔坐标系，即使用直角坐标来表示空间中的点；
[0013]步骤3.2、输入步骤2所得的训练点云数据集，同时给定区域分割参数bs、采样点数ns和采样参数sr；
[0014]步骤3.3、对点云数据集的坐标进行归一化(坐标范围到0
‑
1)，再随机选择区域内一个点(x
c
,y
c
,z
c
)作为采样中心，得到关于这个点x和y坐标周围bs/2范围内的所有点形成集合P：
[0015][0016]步骤3.4、从点集P中随机采样ns个点作为HPCT模型的输入，采样参数sr用于控制每一个迭代轮次中epoch的采样次数N
iteration
；
[0017]N
iteration
＝N
training
/ns
×
sr (2)
[0018]其中N
training
表示训练集总点数。
[0019]步骤4、本专利技术提出了一个适用于植被点云语义分割的HPCT模型；结合深度学习技术Hierarchical Structure和Transformer Block构建HPCT模型，设置模型参数，将步骤3中处理后的训练数据集输入到模型中进行训练；
[0020]其中，Hierarchical Structure是指将模型构建为多个层次，每个层次可处理三维点云不同级别的特征，进而捕捉与植被相关的不同空间尺度和地物相对关系的语义特征；Transformer Block采用自注意力机制(Self
‑
Attention)，能够根据输入数据的每个部分的重要性进行不同的加权，捕捉三维点云中不同位置之间的长距离依赖关系，从而显著提升模型对于城市区域三维点云的大空间尺度、复杂地物间关系等特性的表达能力和理解能力，同时Transformer具有序列排列不变特性适用于空间上具有分散和无序特点的三维点云。
[0021]步骤5、将测试数据集输入步骤4中训练好的模型中，对输入的训练数据集进行自动化地分割出其植被点云，查看植被点云语义分割结果。
[0022]进一步的，所述步骤4中HPCT模型的结构具体如下(如图2所示)：
[0023]由级联的三个不同空间尺度特征提取模块组成，其中每一模块的降采样环节中Linear Embedding和Grid Merging层是通过Farthest Point Sampling(FPS)、Ball Query和线性层组合实现。
[0024]设输入为FPS会从中选一个子集{x
i1
,x
i2
,
…
,x
im
}，其中x
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于HPCT模型的城市区域植被点云语义分割方法，其特征在于，包括以下步骤：步骤1、对于目标城市区域，采集同时相的三源点云数据，分别为车载激光雷达点云、无人机倾斜影像重建点云以及无人机载激光雷达点云；步骤2、将步骤1采集到的三源点云数据利用点云处理软件进行逐像素语义标签的标注，将植被点云提取出来标注为1，其他点标注为0，由此得到用于模型训练及测试的点云数据集；步骤3、将步骤2中的训练数据集进行统一异源数据输入的空间尺度的处理；步骤3.1、将所有点云坐标转换为世界坐标系，以米为单位，使用直角坐标来表示空间中的点；步骤3.2、输入步骤2所得的训练点云数据集，同时给定区域分割参数bs、采样点数ns和采样参数sr；步骤3.3、对点云数据集的坐标进行归一化，坐标范围到0
‑
1；再随机选择区域内一个点(x
c
,y
c
,z
c
)作为采样中心，得到关于这个点x和y坐标周围bs/2范围内的所有点形成集合P：步骤3.4、从点集P中随机采样ns个点作为HPCT模型的输入，采样参数sr用于控制每一个迭代轮次中epoch的采样次数N
iteration
；N
iteration
＝N
training
/ns
×
sr (2)其中N
training
表示训练集总点数；步骤4、结合深度学习技术Hierarchical Structure和Transformer Block构建HPCT模型，设置模型参数，将步骤3中处理后的训练数据集输入到HPCT模型中进行训练；Hierarchical Structure是指将模型构建为多个层次，每个层次可处理三维点云不同级别的特征，进而捕捉与植被相关的不同空间尺度和地物相对关系的语义特征；Transformer Block采用自注意力机制Self
‑
Attention，根据输入数据的每个部分的重要性进行不同的加权，捕捉三维点云中不同位置之间的长距离依赖关系；步骤5、将测试数据集输入步骤4中训练好的模型中，对输入的训练数据集进行自动化地分割出其植被点云，查看植被点云语义分割结果。2.如权利要求1所述基于HPCT模型的城市区域植被点云语义分割方法，其特征在于：所述步骤4中HPCT模型的结构具体如下：由级联的三个不同空间尺度特征提取模块组成，其中每一模块的降采样环节中Linear Embedding和Grid Merging层通过FPS、Ball Query和线性层组合实现；设输入为FPS会从中选一个子集{x
i1
,x
i2
,
…
,x
im
}，其中x
ij
是在所有通道组成的线性空间中距离最远的m个点；此后，Ball Query首先计算找到x
ij
在线性空间指定半径r内的所有点，并将随机采样其中的K个点进行通道叠加得到最后，线性层将通道变换降采样输出经过降采样变换，点云维度由变到同一空间尺度的Point Transformer Block采用级联模式连接，可由式(3)表示：
F
i
＝AT
i
(F
i
‑1),1＝1,2,...,M
j
,(3)其中AT
i
表示第i个的Attention层，F
i
‑1表示第i
‑
1层输出，其中第0层为Linear Embedding或Grid Merging层的输出。3.如权利要求2所述基于HPCT模型的城市区域植被点云语义分割方法，其特征在于：所述Attention层采用Offset
‑
Att...

【专利技术属性】
技术研发人员：黄方，强晓勇，何伟丙，陈胜亿，吕清哲，葛镔赋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：