一种基于局部特征增强的RandLA-Net室外场景语义分割方法技术

本发明专利技术公开了一种基于局部特征增强的RandLA

【技术实现步骤摘要】
一种基于局部特征增强的RandLA
‑
Net室外场景语义分割方法


[0001]本专利技术属于点云场景分割
，涉及一种基于局部特征增强的RandLA
‑
Net室外场景语义分割方法。

技术介绍

[0002]三维场景理解与分析一直是计算机视觉领域的重要研究内容。近些年，随着三维激光技术、深度相机等三维数据采集技术日趋成熟，三维点云处理方法也得到了快速发展。其中，点云的语义分割作为点云数据处理与分析的核心技术，对于更深层的空间信息的挖掘具有重要意义，在自动驾驶、智能机器人、医学影像分割等领域中发挥着重要作用，具有广泛的应用前景。
[0003]点云场景语义分割是指通过提取点云特征，将场景划分为若干个具有不同语义类别的区域。对于室外大规模场景数据而言，使用传统方法的语义分割方法对场景进行划分需要耗费较长时间，分割效率较低。随着计算机的硬件存储能力和GPU计算能力的发展，基于深度学习的场景语义分割方法已愈发成熟。PointNet是第一个直接处理点云分类和分割网络，后续有很多人基于该网络进行了不同方向的改进，但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部特征增强的RandLA
‑
Net室外场景语义分割方法，其特征在于，具体按照如下步骤实施：步骤1，数据预处理：输入原始点云数据，使用体素网格滤波方法对原始场景进行下采样得到预处理后的点云数据；步骤2，法向量计算：使用主成分分析方法估计预处理后的点云表面法向量；步骤3，数据集封装：原始点云包括x,y,z,r,g,b,cls七维信息，其中，x、y、z分别表示点云的三维坐标信息，r、g、b表示点云的颜色信息，cls表示点云所属类别信息，将预处理后的点云表面法向量加入到预处理后的点云数据中，保存成ply格式文件，并生成kdtree文件和投影文件；步骤4，优化RandLA
‑
Net网络编码器并进行特征提取：将封装后的ply格式的点云数据输入优化后的RandLA
‑
Net网络编码器，进行点云特征提取；步骤5，使用RandLA
‑
Net网络解码器进行特征映射：将提取到的点云特征输入RandLA
‑
Net网络解码器，将点云特征映射到每个点上即得到映射后的点云特征；步骤6，语义分割：将映射后的点云特征通过RandLA
‑
Net网络的三个全连接层和一个dropout层处理得到每个点云的类别分数，实现大规模场景语义分割。2.根据权利要求1所述的一种基于局部特征增强的RandLA
‑
Net室外场景语义分割方法，其特征在于，所述步骤1具体为：步骤1.1，计算每个体素网格的中心点在原始点云数据上绘制体素网格，假设当前输入点为p
i
(x
i
,y
i
,z
i
)，体素网格边长L
grid
，则体素网格的中心点坐标W(X
cen
,Y
cen
,Z
cen
)为，根据体素网格的边长和体素网格的中心点坐标得到每个体素网格在空间中的位置；步骤1.2，计算每个体素网格的重心点假设网格的重心点为G(X,Y,Z)，则对于含有n个点的体素网格，每个体素网格的重心点表示为：步骤1.3，使每个体素网格的重心点替换对应体素网格内的所有点，过滤掉重心点以外的剩余点，得到预处理后的点云数据。3.根据权利要求2所述的一种基于局部特征增强的RandLA
‑
Net室外场景语义分割方法，其特征在于，所述步骤2具体为：
步骤2.1，首先建立kd树，将预处理后的点云组织成有序的点，并查找每个点的k近邻点；步骤2.2，根据最小二乘原理，将每个点的k邻域点拟合成一个局部平面P，此平面公式如式(3)所示：式(3)中，表示局部拟合平面P的法向量，p
k
表示点p的任一近邻点，d表示拟合平面P到坐标原点的距离；步骤2.3，计算协方差矩阵M：式(4)中，M表示3*3的协方差矩阵，p
k
表示当前点，p0表示点p的k邻域点的质心；步骤2.4，使用奇异值分解对协方差矩阵M进行特征值分解，根据矩阵与特征向量之间的关系，将M与之间的关系表示为：式(5)中，λ表示矩阵M对应的特征值矩阵，表示特征值矩阵对应的特征向量矩阵，特征值矩阵由三个特征值组成，当特征值最小时对应的特征向量即为预处理后的点云表面法向量。4.根据权利要求3所述的一种基于局部特征增强的RandLA
‑
Net室外场景语义分割方法，其特征在于，所述步骤3具体为，步骤3.1，将预处理后的点云表面法向量加入预处理后的点云数据，并封装成具有x,y,z,r,g,b,n
x
,n
y
,n
z
,cls十维特征的ply格式文件，并分成三部分用作训练数据、验证数据和测试数据，其中n
x
、n
y
、n
z
分别表示点云表面法向量信息；步骤3.2，在进行网络训练时，搜索每个点周围邻近点的N个点作为一次输入样本，为了方便最邻近点的搜索，使用步骤2.1构建好kd树，将其以二进制形式保存到“点云名_kdtree...

【专利技术属性】
技术研发人员：宁小娟，王兰兰，石其帅，金海燕，石争浩，王映辉，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：