一种基于球形邻域的多尺度多特征算法的语义分割方法技术

一种基于球形邻域的多尺度多特征算法的语义分割方法，所述方法包括：将获取到的点云数据与遥感影像进行配准，生成融合RGB信息的点云数据；选定球形邻域来获取融合RGB信息的点云数据的局部邻域特征，并通过改变球形邻域半径大小，提取多尺度的点云特征；将提取的基础特征、至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输进基于PointNet的改进的模型MSMF

【技术实现步骤摘要】
一种基于球形邻域的多尺度多特征算法的语义分割方法


[0001]本专利技术属于遥感与摄影测量
，具体涉及一种基于球形邻域的多尺度多特征算法的语义分割方法。

技术介绍

[0002]深度学习是一种可以通过深层网络结构自动学习提取输入数据高级特征的新兴技术，是当前模式识别，计算机视觉和数据分析中最有影响力，发展最快的前沿技术。在应用于3D数据之前，深度学习已成为2D计算机视觉和图像处理中各种任务的有效力量，特别是2012年AlexNe在ImageNet的图像识别竞赛上应用卷积神经网络(Convolutional Neural Networks,CNN)以高出第二名十几个百分点的成绩夺冠后，以CNN为主的深度神经网络结构在图像分类、分割和识别等领域取得了重大的突破。但由于三维激光点云的高密度、海量及无结构的特性，传统的深度学习方法无法直接应用于三维点云的分割。
[0003]大量学者在三维点云数据的深度学习上做了大量的工作，为了能够在三维激光点云数据上应用现有的神经网络结构，在将点云数据输入到神经网络之前需要对其进行数据预处理，目前常用的方法有三种，(1)将3D点云数据投影为多视角2D影像后使用传统的卷积神经网络；(2)将点云转化为栅格体素后使用3D卷积神经网络；(3)将点云转化为图(Graph)结构后使用3D图卷积神经网络。
[0004]但是上述方法在预处理过程中，都会造成数据信息的丢失，针对这一缺点2017年，斯坦福大学的学者Qi等发表了一个开创性的研究工作，提出了一个深度学习模型PointNet，能够直接应用到三维点云数据上面，使得语义分割的精度进一步提高。然而PointNet网络结构主要提取点云间的全局特征，忽略了点云中点与点之间相关联的局部特征提取，而局部特征的提取能力不足往往会导致分割精度不足，物体细节分割效果较差等问题。
[0005]一方面，由于三维激光点云的高密度、海量及无结构特性，研究快速有效的三维场景语义分割算法具有重要的理论价值。另一方面，由于真实自然场景的复杂性，三维目标间的重叠、遮挡等现象，研究与其他领域技术的结合，提出高鲁棒、自动化、智能化的复杂三维场景目标语义分割方法对进一步研究点云语义分割及其在各个领域的应用具有重要的现实意义。

技术实现思路

[0006]为解决上述问题，提供一种基于球形邻域的多尺度多特征算法的语义分割方法。
[0007]本专利技术的目的是以下述方式实现的：
[0008]一种基于球形邻域的多尺度多特征算法的语义分割方法，所述方法包括：
[0009]S1：将获取到的点云数据与遥感影像进行配准，生成融合RGB信息的点云数据；
[0010]S2:对融合RGB信息的点云数据进行多尺度邻域的设计及特征提取：通过研究点云空间索引结构，选定球形邻域来获取融合RGB信息的点云数据的局部邻域特征，并通过改变
球形邻域半径大小，提取多尺度的点云特征；所述点云特征包括基础特征和基于协方差的多特征；所述基础特征包括点云的xyz坐标信息和RGB信息；所述基于协方差的多特征包括5维邻域特征，即基于协方差的全方差、粗糙度、平整度、线性度和垂直度信息；
[0011]S3：将提取的基础特征、至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输进基于PointNet的改进的模型MSMF
‑
PointNet中进行语义分割，输出分类结果。
[0012]所述基于PointNet的改进的模型MSMF
‑
PointNet包括改进的PointNet网络和至少两个Mini
‑
pointnet网络；所述点云的xyz坐标信息和RGB信息输入改进的PointNet网络，改进的PointNet网络输出的是64维的点特征和1024维的全局特征；所述至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输入Mini
‑
pointnet网络；Mini
‑
PointNet输出的是两个256维的特征向量，将两部分输出后的数据进行全连接，输进softmax分类器进行分类。
[0013]所述改进的PointNet网络包括六层，从输入至输出依次为第一T
‑
Net点云旋转变换、第一感知器mlp、第二T
‑
Net、第二感知器mlp、第三感知器mlp和Max pooling网络。
[0014]所述Mini
‑
pointnet网络包括4层，从输入至输出依次为T
‑
Net点云旋转变换、两层感知器mlp和Max pooling网络。
[0015]所述点云的xyz坐标信息根据系统的GPS、INS和激光测距仪记录的数据解算出来；RGB信息由成像装置获取。
[0016]所述S1中配准主要通过Arcigs中“值提取到点”的功能将影像每个波段不同像素点的光谱信息赋给点云数据。
[0017]一种电子设备，包括：
[0018]至少一个处理器；
[0019]以及
[0020]与所述至少一个处理器通信连接的存储器；其中，
[0021]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
[0022]一种存储有计算机指令的非瞬时计算机可读存储介质，其中，
[0023]所述计算机指令用于使所述计算机执行上述的方法。
[0024]一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法。
[0025]本专利技术的有益效果：(1)所提方法在机载LiDAR扫描获得的室外场景点云数据中能获得远远优于PointNet的分类精度，因加入线性度、垂直度等特征，建筑物立面，篱笆等得到了更好的分类，加入粗糙度、全方差，树和灌木的分类结果更好，加入平整度，屋顶和不透水地面的分类结果更好。
[0026](2)本专利技术方法中加入了光谱信息和其他几何特征，并基于深度学习进行训练，可有效弥补点云空间几何特征的不足，提高了点云分类精度，对屋顶、不透水地面以及树木的分类精度更高。
附图说明
[0027]图1是基于虚拟规则格网的索引建立示意图。
[0028]图2是不同半径的分类效果对比图。
[0029]图3是MSMF
‑
PointNet网络模型架构。
[0030]图4是不同尺度下各类地物和整体分类精度。
[0031]图5是基于球形邻域的多尺度多特征算法的语义分割模型流程图。
具体实施方式
[0032]下面结合附图1至附图5和具体实施方式对本专利技术作进一步详细的说明。
[0033]应该指出，以下详细说明都是例式性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的技术含义相同。
[0034]一种基于球形邻域的多尺度多特征算法的语义分割方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于球形邻域的多尺度多特征算法的语义分割方法，其特征在于：所述方法包括：S1：将获取到的点云数据与遥感影像进行配准，生成融合RGB信息的点云数据；S2: 对融合RGB信息的点云数据进行多尺度邻域的设计及特征提取：通过研究点云空间索引结构，选定球形邻域来获取融合RGB信息的点云数据的局部邻域特征，并通过改变球形邻域半径大小，提取多尺度的点云特征；所述点云特征包括基础特征和基于协方差的多特征；所述基础特征包括点云的xyz坐标信息和RGB信息；所述基于协方差的多特征包括5维邻域特征，即基于协方差的全方差、粗糙度、平整度、线性度和垂直度信息；S3：将提取的基础特征、至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输进基于PointNet的改进的模型MSMF
‑
PointNet中进行语义分割，输出分类结果。2.如权利要求1所述的基于球形邻域的多尺度多特征算法的语义分割方法，其特征在于：所述基于PointNet的改进的模型MSMF
‑
PointNet包括改进的PointNet网络和至少两个Mini
‑
pointnet网络；所述点云的xyz坐标信息和RGB信息输入改进的PointNet网络，改进的PointNet网络输出的是64维的点特征和1024维的全局特征；所述至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输入Mini
‑
pointnet网络；Mini
‑
PointNet输出的是两个256维的特征向量，将两部分输出后的数据进行全连接，输进softmax分类器进行分类。3.如权利要求2所述的基于球形邻域的多尺度多特征算法的语...

【专利技术属性】
技术研发人员：何培培，费美琪，王靖伟，程星星，胡青峰，高科甲，廖磊，
申请(专利权)人：日照市国土空间数据中心，
类型：发明
国别省市：