一种基于深度学习的栅格化点云像素级分类方法及系统技术方案

本发明专利技术涉及一种基于深度学习的栅格化点云像素级分类方法及系统，包括将二维光栅数据切分成不同大小的块，找出最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的LIDAR二维光栅数据特征进行提取，对模型进行训练；通过信息细化块选择主干网络提取的信息特征，将不同层次特征图进行交叉融合，扩大浅层特征图的感受野；聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示，进而提高了LIDAR数据的分类精度。本发明专利技术通过迁移学习对模型参数进行初始化训练，引入信息细化和交叉融合模块来选择主干网络提取的信息特征，并利用对象上下文表示完成特征加强，最终提高了栅格化后激光雷达数据的分类效果。效果。效果。

【技术实现步骤摘要】
一种基于深度学习的栅格化点云像素级分类方法及系统


[0001]本专利技术涉及雷达数据处理
，尤其涉及一种基于深度学习的栅格化点云像素级分类方法及系统。

技术介绍

[0002]激光雷达(Light Detection and Ranging)由于它独特的优点,在民用和军用应用范围广泛，并且发展前景一片光明。它可以独立使用或与光学数据源如航空图像一起使用，然而，与可用许多有效工具的原始图像相反，使它们很难处理。为了克服激光雷达点云数据的非结构化和稀疏性这种特殊性质，目前的标准方法是将点云转换为数字高程模型(DEM)，表示为二维光栅。这样的光栅可以类比于光学图像使用，例如与用于语义分割的2
‑
D卷积神经网络(CNN)一起使用。在许多研究中，土地覆盖地图通常被简化为数字高程模型，用作与多光谱或高光谱图像融合的附加信息。
[0003]随着传感技术的最新发展，多模态数据已逐渐可轻松用于各种领域，尤其是在遥感(Remote Sensing)中，有许多数据类型，如多光谱(MSI)，高光谱(HSI)，激光雷达(LiDAR)等。为了充分利用高光谱图像(HSI)和激光雷达数据，自过去十年以来已经提出了许多不同的方法和策略。目前，已经开发了许多使用HSI数据的分类方法。由于不同的源数据具有特定的优点，因此也提出了各种分类融合策略，以结合不同数据源的多种特征。但是目前很少考虑有如何在栅格化LIDAR数据的分类方法中取得更好效果这一方面，因此，如何对激光雷达点云进行精确分割分类是现阶段需要考虑的问题。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点，提供了一种基于深度学习的栅格化点云像素级分类方法及系统，解决了现有技术存在的不足。
[0006]本专利技术的目的通过以下技术方案来实现：一种基于深度学习的栅格化点云像素级分类方法，所述分类方法包括：
[0007]特征提取步骤：将二维光栅数据切分成不同大小的patch，找出栅格化后LIDAR数据的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的LIDAR二维光栅数据特征进行提取，对模型进行训练；
[0008]特征细化步骤：通过信息细化块选择主干网络提取的LIDAR信息特征，将不同层次特征图进行交叉融合，扩大浅层LIDAR特征图的感受野；
[0009]特征强化步骤：聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示；
[0010]最终通过对栅格化后LIDAR数据的特征进行提取、细化、融合与强化，从原始特征中选择最有效的特征对模型进行训练，提高了模型对LIDAR数据的分类精度，从而对HSI和LIDAR数据分类融合进行提升。
[0011]所述特征提取步骤具体包括：
[0012]以像素为中心将二维光栅数据切分成半径r的数据补丁块作为输入数据，将数据补丁送入到2
‑
DCNN隧道中，通过Resnet50模型从中心目标像素周围域提取空间特征；Resnet50模型包括Conv Block和Identity Block两种基本块，多个Conv Block基本块之间并联以改变网络的维度，多个Identity Block基本块之间串联以加深网络的深度；
[0013]Resnet50模型中含有4个卷积块，每个卷积块中分别有3、4、6、3个瓶颈结构，通过卷积块和最大池化层降低特征图的空间分辨率，最后选择提取第二和第三卷积块输出的特征图(F3和F4)作为特征细化步骤的输入。
[0014]所述特征细化步骤包括：
[0015]将所述特征提取步骤中第二和第三卷积块输出的特征图F
in
作为信息细化块的输入，使用具有BN和ReLU的3
×
3卷积层减少输入的特征图F
in
的通道数从而降低网络的计算量；
[0016]统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有BN和Sigmoid激活函数的3
×
3卷积层生成全局权重向量Mc，将全局权重向量Mc和特征图F
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；
[0017]第二和第三卷积块输出的特征图(F3和F4)，经过信息细化后得到低级特征图F
low
和高级特征图F
high
，将两个特征图输入到交叉融合块，使用双线性插值运算将高级特征图F
high
的分辨率更改为与低级特征图F
low
相同的分辨率，通过具有BN和ReLU的3
×
3卷积层精细化上采样高级特征图；
[0018]通过级联运算将上采样后的高级特征图F
high
和低级特征图F
low
进行级联，并通过具有BN和ReLU的1
×
1卷积层生成交叉融合块的输出。
[0019]所述特征强化步骤包括：
[0020]通过信息细化及融合后将得到的特征图分成k个对象区域{M1，M2，
…
，M
k
}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征f
k
；
[0021]计算每个像素和每个对象区域之间的关系ω
ik
，通过聚合k个对象区域的表示以及通过对象区域特征f
k
和像素与区域之间的关系ω
ik
，经过具有BN和ReLU的1
×
1卷积层来实现特征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。
[0022]一种基于深度学习的栅格化点云像素级分类系统，它包括特征提取单元、特征细化单元和特征强化单元；
[0023]所述特征提取单元：用于将二维光栅数据切分成不同大小的patch，找出栅格化后点云的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的LIDAR二维光栅数据特征进行提取，对模型进行训练；
[0024]所述特征细化单元：用于通过信息细化块选择主干网络提取的信息特征，将不同层次特征图进行交叉融合，扩大浅层特征图的感受野；
[0025]所述特征强化单元：用于聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示，通过提高LIDAR数据的分类精度，对HIS和LIDAR数据分分类融合进行提升。
[0026]特征细化单元包括信息细化子单元和交叉融合子单元；
[0027]所述信息细化子单元：用于将特征提取单元中第二和第三卷积块输出的特征图F
in
作为信息细化块的输入，使用具有BN和ReLU的3
×
3卷积层减少输入的特征图F
in
的通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述分类方法包括：特征提取步骤：将二维光栅数据切分成不同大小的patch，找出栅格化后LIDAR数据的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的LIDAR二维光栅数据特征进行提取，对模型进行训练；特征细化步骤：通过信息细化块选择主干网络提取的LIDAR信息特征，将不同层次特征图进行交叉融合，扩大浅层LIDAR特征图的感受野；特征强化步骤：聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示；最终通过对栅格化后LIDAR数据的特征进行提取、细化、融合与强化，从原始特征中选择最有效的特征对模型进行训练，提高了模型对LIDAR数据的分类精度，从而对HSI和LIDAR数据分类融合进行提升。2.根据权利要求1所述的一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述特征提取步骤具体包括：以像素为中心将二维光栅数据切分成半径r的数据补丁块作为输入数据，将数据补丁送入到2
‑
DCNN隧道中，通过Resnet50模型从中心目标像素周围域提取空间特征；Resnet50模型包括Conv Block和Identity Block两种基本块，多个Conv Block基本块之间并联以改变网络的维度，多个Identity Block基本块之间串联以加深网络的深度；Resnet50模型中含有4个卷积块，每个卷积块中分别有3、4、6、3个瓶颈结构，通过卷积块和最大池化层降低特征图的空间分辨率，最后选择提取第二和第三卷积块输出的特征图(F3和F4)作为特征细化步骤的输入。3.根据权利要求1所述的一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述特征细化步骤包括：将所述特征提取步骤中第二和第三卷积块输出的特征图F
in
作为信息细化块的输入，使用具有BN和ReLU的3
×
3卷积层减少输入的特征图F
in
的通道数从而降低网络的计算量；统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有BN和Sigmoid激活函数的3
×
3卷积层生成全局权重向量Mc，将全局权重向量Mc和特征图F
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；第二和第三卷积块输出的特征图(F3和F4)，经过信息细化后得到低级特征图F
low
和高级特征图F
high
，将两个特征图输入到交叉融合块，使用双线性插值运算将高级特征图F
high
的分辨率更改为与低级特征图F
low
相同的分辨率，通过具有BN和ReLU的3
×
3卷积层精细化上采样高级特征图；通过级联运算将上采样后的高级特征图F
high
和低级特征图F
low
进行级联，并通过具有BN和ReLU的1
×
1卷积层生成交叉融合块的输出。4.根据权利要求1所述的一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述特征强化步骤包括：通过信息细化及融合后将得到的特征图分成k个对象区域{M1，M2，
…
，M
k
}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征f
k
；计算每个像素和每个对象区域之间的关系...

【专利技术属性】
技术研发人员：刘凯琪，董娇，韩嘉威，李伟，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：