基于自适应特征采样的点云语义分割方法及系统技术方案

本发明专利技术公开了一种基于自适应特征采样的点云语义分割方法及系统，包括：进行点云数据的颜色通道转换；对转换后的点云数据最远点采样并进行邻域搜索；对各邻域使用自适应特征变换；对所有点的特征进行非局部特征变换；融合上述的降采样后的特征、自适应特征以及非局部特征；重复进行三次降采样；进行基于邻近点插值的三层上采样；使用softmax函数预测结果，进行基于交叉熵损失函数的模型训练。使用训练好的模型预测待分割的点云数据。本发明专利技术方法在降采样点的邻域范围进行重新加权，自适应地调整采样点，同时通过局部与非局部特征的融合以构建长距离采样点之间的关联性，有效地降低了噪声点对于分割结果的影响，并且提高了数据非均衡物体的分割效果。衡物体的分割效果。衡物体的分割效果。

【技术实现步骤摘要】
基于自适应特征采样的点云语义分割方法及系统


[0001]本专利技术属于涉及三维点云数据语义分割
，具体涉及一种基于自适应特征采样的点云数据语义分割方法及系统。

技术介绍

[0002]随着激光雷达、深度相机等三维数据采集设备的普及，三维场景重建与场景理解受到了越来越多的关注，语义分割是实现场景理解的关键一步，是后续数据精细化处理的必要条件。点云作为三维数据的主要形式，其语义分割是场景理解必不可少的工作。随着点云处理技术的进步，点云分割方法同样在不断发展，国内外研究人员在理论和工程上提出了适用于不同场景的分割方法。尽管当前基于传统的点云分割方法和以深度学习为基础的点云分割方法取到了众多的进展，涌现出大量具有深远意义的研究成果，如PointNet、PointNet++、RSNet、PointCNN等，但在场景分割中依然存在点云数据特征非均衡的问题。这个问题体现在以下三个方面：其一，同一场景中，不同类别的物体，其特征差异或大或小，所表示的点数也不尽相同；其二，不同物体由于材质和功能的不同所导致结构上的不均匀；其三，人与物体交互的有效信息不均匀。类别不均衡的点云数据会导致低频小目标类别的物体在进行语义分割时的分割效果不够理想。
[0003]同时，在点云采集设备采集目标时，由于受到采集设备、周围环境、目标特性、人为扰动等因素的影响，所采样到的点云数据是无序且稀疏的，并且不可避免的存在着离群点、缺失点或噪声点。这些数据异常值不仅破坏了点云图像的真实信息，而且影响了点云图像的视觉效果，这给点云语义分割网络的能力带来了极大的挑战。

技术实现思路

[0004]本专利技术的目的在于提供一种基于自适应特征采样的点云语义分割方法及系统，以克服现有技术中由于点云数据特征非均衡以及存在数据异常值而影响分割效果的问题。本专利技术在网络的下采样层充分考虑了点云数据的邻域信息，在网络进行最远点采样时对初始采样点的邻域点进行重新加权，自适应地调整采样点，同时通过非局部特征与局部特征的融合以构建长距离采样点之间的关联性，有效地降低了噪声点对于场景分割结果的影响，并且提高了数据非均衡物体的分割效果。
[0005]为达到上述目的，本专利技术采用如下技术方案：
[0006]基于自适应特征采样的点云语义分割方法，包括以下步骤：
[0007]步骤一：对包含颜色信息的点云数据进行颜色通道转换，将其中的RGB通道转换为HSV通道，并保留原始点云数据的三维空间坐标，获得转换后的点云数据；
[0008]步骤二：对转换后的点云数据，使用最远点采样方法进行降采样，得到点集以及点集对应的特征；
[0009]步骤三：对点集中的每个点进行邻域搜索，获取到k个邻居点；
[0010]步骤四：将步骤三中获得的k个邻居点的特征进行自适应特征变换，获得自适应调
整后的各邻域内自适应特征；
[0011]步骤五：将步骤四获得自适应调整后的各邻域内自适应特征采用一个权值共享的多层感知机关联起来，并归一化获得某点的自适应特征，对该点的自适应特征与点集中的所有点以及对应的特征空间进行非局部特征变换获得该点的非局部特征；
[0012]步骤六：将步骤五中获得的某点的自适应特征与非局部特征，以及步骤二中的特征相结合，获得本次降采样过程的输出特征；
[0013]步骤七：重复步骤二至步骤六，再次进行降采样并分别获得自适应特征以及非局部特征，直到网络进行了三次降采样并且进行了三次自适应特征变换与非局部特征变换，由此建立了网络的三层下采样层；
[0014]步骤八：通过近邻点加权插值以及回溯的方法进行三次上采样，将步骤七中下采样得到的点云数据重新恢复到原始点云规模并使用多层感知机融合特征；使用softmax逐点判断重新恢复后点云数据中的每个点所属背景或类别的概率，得到分割结果；
[0015]步骤九：选择交叉熵损失函数用以计算训练网络的误差，通过梯度下降法最小化网络损失，训练可学习的网络参数，使得网络结果达到收敛，得到训练好的点云分割网络；
[0016]步骤十：给定新的待分割的点云数据，根据步骤九中训练好的点云分割网络参数，执行步骤一至步骤八，得到点云数据的分割结果。
[0017]进一步地，步骤二具体为：对转换后的点云数据，使用最远点采样方法进行降采样，得到点集其中N代表降采样后的点集中点的个数，3代表每个点的三维空间坐标，对应的特征表示为其中N代表降采样后的点集中点的个数，6代表每个点的三维空间坐标和颜色特征H、S、V，分别用x
i
和f
i
代表点集中的每个点三维空间坐标与其特征。
[0018]进一步地，步骤三具体为：采用K
‑
近邻算法对点集中的每个点x
i
进行邻域搜索，获取到k个邻居点以及k个邻居点的特征，其中，k个邻居点表示为k个邻居点的特征表示为
[0019]进一步地，步骤四具体为：将步骤三中获得的k个邻居点的特征进行自适应特征变换，获得自适应调整后的各邻域内自适应特征
[0020][0021][0022]其中：f
i，c
是点集和的点x
i
所在邻域内的第c个邻居点特征，其经自适应特征变换调整之后得到自适应特征f
’
i，c
，函数通过枚举点x
i
的每个邻居点x
i，j
，(j＝1，...，k)与x
i
的第c个邻居点x
i，c
进行距离加权点积计算，以此衡量点x
i
的第c个邻居点与所有邻居点的特征相似度，θ和δ是三个相互独立的卷积操作，其目的是转换点坐标或特征的维度使得矩阵乘法得以进行，γ是池化操作。
[0023]进一步地，步骤五具体为：将步骤四获得自适应调整后的各邻域内自适应特征
采用一个权值共享的多层感知机关联起来，并归一化获得点x
i
的自适应特征f
’
i
，对点x
i
的自适应特征f
’
i
与点集中的所有点x1，...，x
N
以及其特征f1，...，f
N
进行非局部特征变换获得点x
i
的非局部特征f
ni
：
[0024][0025][0026][0027]其中H(f
’
i
，f
j
)函数用于完成点x
i
的自适应特征f
’
i
与点集中其他点特征f
j
的相似度度量，θ
′
和g
′
是三个空间映射操作，将一个空间里的实体投射到线性向量空间中，W
g
、和W
θ
是可学习的权重矩阵。
[0028]进一步地，步骤六具体为：将步骤五中获得的点x
i
的自适应特征f
’
i
与非局部特征f
n本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应特征采样的点云语义分割方法，其特征在于，包括以下步骤：步骤一：对包含颜色信息的点云数据进行颜色通道转换，将其中的RGB通道转换为HSV通道，并保留原始点云数据的三维空间坐标，获得转换后的点云数据；步骤二：对转换后的点云数据，使用最远点采样方法进行降采样，得到点集以及点集对应的特征；步骤三：对点集中的每个点进行邻域搜索，获取到k个邻居点；步骤四：将步骤三中获得的k个邻居点的特征进行自适应特征变换，获得自适应调整后的各邻域内自适应特征；步骤五：将步骤四获得自适应调整后的各邻域内自适应特征采用一个权值共享的多层感知机关联起来，并归一化获得某点的自适应特征，对该点的自适应特征与点集中的所有点以及对应的特征空间进行非局部特征变换获得该点的非局部特征；步骤六：将步骤五中获得的某点的自适应特征与非局部特征，以及步骤二中的特征相结合，获得本次降采样过程的输出特征；步骤七：重复步骤二至步骤六，再次进行降采样并分别获得自适应特征以及非局部特征，直到网络进行了三次降采样并且进行了三次自适应特征变换与非局部特征变换，由此建立了网络的三层下采样层；步骤八：通过近邻点加权插值以及回溯的方法进行三次上采样，将步骤七中下采样得到的点云数据重新恢复到原始点云规模并使用多层感知机融合特征；使用softmax逐点判断重新恢复后点云数据中的每个点所属背景或类别的概率，得到分割结果；步骤九：选择交叉熵损失函数用以计算训练网络的误差，通过梯度下降法最小化网络损失，训练可学习的网络参数，使得网络结果达到收敛，得到训练好的点云分割网络；步骤十：给定新的待分割的点云数据，根据步骤九中训练好的点云分割网络参数，执行步骤一至步骤八，得到点云数据的分割结果。2.根据权利要求1所述的基于自适应特征采样的点云语义分割方法，其特征在于，步骤二具体为：对转换后的点云数据，使用最远点采样方法进行降采样，得到点集其中N代表降采样后的点集中点的个数，3代表每个点的三维空间坐标，对应的特征表示为其中N代表降采样后的点集中点的个数，6代表每个点的三维空间坐标和颜色特征H、S、V，分别用x
i
和f
i
代表点集中的每个点三维空间坐标与其特征。3.根据权利要求2所述的基于自适应特征采样的点云语义分割方法，其特征在于，步骤三具体为：采用K
‑
近邻算法对点集中的每个点x
i
进行邻域搜索，获取到k个邻居点以及k个邻居点的特征，其中，k个邻居点表示为k个邻居点的特征表示为4.根据权利要求3所述的基于自适应特征采样的点云语义分割方法，其特征在于，步骤四具体为：将步骤三中获得的k个邻居点的特征进行自适应特征变换，获得自适应调整后的各邻域内自适应特征
其中：f
i,c
是点集中的点x
i
所在邻域内的第c个邻居点特征，其经自适应特征变换调整之后得到自适应特征函数通过枚举点x
i
的每个邻居点x
i,j
,(j＝1,
…
,k)与x
i
的第c个邻居点x
i,c
进行距离加权点积计算，以此衡量点x
i
的第c个邻居点与所有邻居点的特征相似度，θ和δ是三个相互独立的卷积操作，其目的是转换点坐标或特征的维度使得矩阵乘法得以进行，γ是池化操作。5.根据权利要求4所述的基于自适应特征采样的点云语义分割方法，其特征在于，步骤五具体为：将步骤四获得自适应调整后的各邻域内自适应特征采用一个权值共享的多层感知机关联起来，并归一化获得点x
i
的自适应特征f
’
i
，对点x
i
的自适应特征f
’
i
与点集中的所有点x1,
…

【专利技术属性】
技术研发人员：杨静，江舟，李昊哲，岳小力，宣春宇，杜少毅，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：