一种点云分类与语义分割方法技术

本发明专利技术公开了一种点云分类与语义分割方法，包括：对采集的点云数据进行特征提取，对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；将划分为相同类别的特征点汇总合并，实现点云的语义分割。本发明专利技术利用代表单个点特征信息的特征向量构建全局特征相似度矩阵，利用点之间的欧式距离增加点之间的关联约束，从而提高点云分类的精度。

A method of point cloud classification and semantic segmentation

【技术实现步骤摘要】
一种点云分类与语义分割方法
本专利技术涉及三维环境分割领域，具体涉及一种点云分类与语义分割方法。
技术介绍
对三维环境的有效认知与识别是机器人完成自主行为的前提和基础，点云的分类与语义分割是该领域的关键步骤。因此，点云的准确分类与精确分割工作至关重要。目前常见的三维物体分类方案，多先将体素化、表面网格化或从多视角将三维点云转化为易于表达的形式从而完成物体分割。随着传感器的更新升级与大数据的发展，空间环境的点云的获取越来越便利。然而在点云数据处理问题中，存在物体扫描被遮挡、传感器含噪声以及物体刚性旋转的问题，使得点云难以被以上方式有效表达。
技术实现思路
本专利技术的目的是提出一种点云分类与语义分割方法，利用采集的原始点云数据产生的特征点信息和几何位置的信息构建点与点之间的相关性，基于图论完成点云的分类与语义分割。本专利技术采用以下技术方案：一种点云分类与语义分割方法，包括以下步骤：对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；将划分为相同类别的特征点汇总合并，实现点云的语义分割。进一步地，所述的对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类，包括：对特征点的特征向量中最大值与次大值比例以40为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于40的特征点作为高置信度特征点，小于40的特征点作为低置信度特征点。进一步地，所述的对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵Mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵Mdm；则特征点之间的相似度表达矩阵M＝‖Mfv-Mdm‖2。进一步地，所述的特征相关性矩阵Mfv中，任意两个特征点的特征表达向量Vi、Vj的相似度为：其中cov(Vi,Vj)为Vi、Vj的协方差，D(Vi)、D(Vj)分别为Vi、Vj的方差。进一步地，所述的距离相关性矩阵Mdm中，任意两特征点的P、Q的距离为：其中，(xP,yP,zP)、(xQ,yQ,zQ)表示特征点的P、Q的归一化后的坐标。进一步地，所述将所述相似度表达矩阵作为特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中。进一步地，所述的利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：建立网络图，以所有特征点作为网络图中的顶点，相邻特征点之间的关联为图的边，根据特征点之间的相似性定义各个边的权值，其中，以所述相似度表达矩阵定义边上的权重；然后利用边的权重计算每个低置信度特征点到达各个高置信度特征点的概率，将最大概率的高置信度特征点的类别作为低置信度特征点的类别，将低置信度特征点划分到该类别中。本专利技术与现有技术相比具有以下技术特点：1.直接对三维点云进行语义分割，不需要体素化、网格化等预处理工作。2.评估点云中特征点的特征向量的置信度，分步处理特征向量。对于具有高置信度的特征向量，直接用其预测该点的分类；对于执行度低的特征向量，采用图论建立网络图重新预测点的类别。3.同时采用点云的特征信息和位置关联信息。利用代表单个点特征信息的特征向量构建全局特征相似度矩阵，利用点之间的欧式距离增加点之间的关联约束，从而提高点云分类的精度。附图说明图1为本专利技术方法的流程示意图；图2为特征点的特征表达与真实类别的对比示意图；图3为特征点的全局表达中的最大值与次大值的比值的分布(*表示所有大于50的比例)；图4为三维点云语义分割的示意图。具体实施方式本专利技术提出了一种三维点云的物体分类与语义分割的方法，基于三维扫描设备采集的原始三维点云位置信息而无需体素化或网格化等特殊预处理，本方法流程如图1所示：根据三维扫描设备采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别，若特征表达置信度较高，则将其归为相应类别；若特征表达置信度较低，则引入该点与相邻点的点位置信息，重新建立局部相似度表达。利用图论构建网络图对局部相似度分类，从而提高点云的分类效果；将特征表达和局部相似度表达所判别得出的相同类别的点云分类结果汇总合并，实现点云的语义分割。具体步骤如下：S1，对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类。S11，本实施例中，利用机器人载体上的三维扫描设备，例如深度相机或激光雷达获取周围环境信息，例如室内环境的点云数据，不借助于体素化、网格化等常规预处理工作，而直接处理点云数据中每个点的x,y,z坐标，使用3D空间变换矩阵预测网络T-Net学习到的转换矩阵将点云数据对齐，以保证点云数据的空间旋转不变性；使用使用多层感知器MLP对点云数据进行特征点提取并用T-net对特征点进行对齐；对特征点进行最大池化，从而获得特征点的全局特征表达特征向量。S12，由于点云的特征由特征向量表达，该向量表示了该点归属于每个类别的可能性预测值，并取最大值对应的类别作为该点的分类，而这样取最大值的方法造成了点云类别的误判。本专利技术将S1中提取的所有特征点的全局特征表达中最大值所代表的特征点的类别与特征点的类别真实值对比，如图2所示，两者类别相同则为正确预测，否则为错误预测。根据统计，特征点的特征向量中的最大值与次大值的比值的分布如图3所示，统计发现错误预测的特征点中，有90％的特征向量中最大值与次大值比例小于40，因此本专利技术对特征点的特征向量中最大值与次大值比例以40为阈值，区分特征表达的置信度。取40为阈值以确保90％以上的错误预测点可以被二次处理。根据统计确定的阈值，对于特征向量中最大值与次大值的比例大于40的特征点作为高置信度特征点，小于40的特征点作为低置信度特征点。S2，对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵。针对低置信度的特征点，利用这些特征点的特征表达向量，构建特征点之间的特征相关性矩阵Mfv，其中任意两个特征点的特征表达向量Vi、Vj的相似度为：其中cov(Vi,Vj)为Vi、Vj的协方差，D(Vi)、D(V本文档来自技高网...

【技术保护点】
1.一种点云分类与语义分割方法，其特征在于，包括以下步骤：/n对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；/n对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；/n将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；/n将划分为相同类别的特征点汇总合并，实现点云的语义分割。/n

【技术特征摘要】
1.一种点云分类与语义分割方法，其特征在于，包括以下步骤：
对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；
对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；
将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；
将划分为相同类别的特征点汇总合并，实现点云的语义分割。


2.如权利要求1所述的点云分类与语义分割方法，其特征在于，所述的对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类，包括：
对特征点的特征向量中最大值与次大值比例以40为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于40的特征点作为高置信度特征点，小于40的特征点作为低置信度特征点。


3.如权利要求1所述的点云分类与语义分割方法，其特征在于，所述的对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：
利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵Mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵Mdm；则特征点之间的相似度表达矩阵M＝‖Mfv-Mdm‖2。


4.如权利要求...

【专利技术属性】
技术研发人员：朱蕾，陈炜楠，何力，管贻生，张宏，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44