一种融合光学图像和激光雷达点云的遥感语义分割方法技术

本发明专利技术公开了一种融合光学图像和激光雷达点云的遥感语义分割方法，包括：获取目标区域的多个三维激光雷达点云数据；采用核点卷积网络分别对每个三维激光雷达点云数据进行处理，获得本分支编码器各层级的激光雷达点云数据特征；对激光雷达点云数据特征进行鸟瞰图投影，获得每个分支编码器各层级的激光雷达特征；获取目标区域的光学图像，并对光学图像进行多层次特征提取，获得光学图像的RGB特征；将激光雷达特征和相匹配的RGB特征通过L

【技术实现步骤摘要】
一种融合光学图像和激光雷达点云的遥感语义分割方法


[0001]本专利技术属于模式识别与机器学习
，特别是一种融合光学图像和激光雷达点云的遥感语义分割方法。

技术介绍

[0002]随着卫星技术的不断发展，遥感卫星图像在各个领域中都得到了广泛的应用。在很多应用场景中需要对遥感卫星图像进行语义分割，也就是将图像中的不同特征划分为不同的类别。这个过程通常是自动完成的，需要借助计算机视觉和机器学习等技术。
[0003]近年来，随着深度学习和卷积神经网络(CNN)的出现，该领域取得了重大进展。已经开发出了各种基于CNN架构的对2D图像进行语义分割的模型，例如全卷积网络(FCN)，U
‑
Net，PSPNet和SegNet。然而，这些基于CNN的网络没有关注整体和局部特征的关联性。为了克服这一限制，ViT将最初为自然语言处理开发的Transformer架构应用于计算机视觉领域，随后，进行了一系列改进，包括SegFormer，SwinTransformer和Mask2Former，他们在分割精度方面显示出了显著的提高。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合光学图像和激光雷达点云的遥感语义分割方法，其特征在于，包括以下步骤：S1、获取目标区域的多个三维激光雷达点云数据；S2、采用核点卷积网络分别对每个所述三维激光雷达点云数据进行处理，获得本分支编码器各层级的激光雷达点云数据特征；S3、对所述激光雷达点云数据特征进行鸟瞰图投影，获得每个分支编码器各层级的激光雷达特征；S4、获取所述目标区域的光学图像，并对所述光学图像进行多层次特征提取，获得所述光学图像的RGB特征；S5、将所述激光雷达特征和相匹配的所述RGB特征通过L
‑
AAM模块进行特征融合处理，获得融合后的RGB特征；S6、分别对各层级融合后的RGB特征进行上采样，并对各层级的采样结果进行拼接，获得语义分割结果。2.如权利要求1所述的一种融合光学图像和激光雷达点云的遥感语义分割方法，其特征在于，在所述步骤S4中，采用Transformer模块对所述光学图像进行多层次特征提取。3.如权利要求1所述的一种融合光学图像和激光雷达点云的遥感语义分割方法，其特征在于，所述步骤S5具体包括：S51、将所述激光雷达特征和所述RGB特征在通道维度上进行串联；S52、将串联后的特征作为输入特征，输入至L
‑
AAM模块中；S53、在所述L
‑
AAM模块中...

【专利技术属性】
技术研发人员：张浩鹏，刘威，王禾，乔亦诚，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：