一种基于统计投影的室外点云语义分割方法技术

本发明专利技术公开了一种基于统计投影的室外点云语义分割方法，应用于点云数据处理技术领域；首先，将三维点云投影至二维平面，生成密度、单位反射强度投影图并基于点云标签生成注意力回归投影图；然后，对密度、单位反射强度投影信息在多个尺度上进行特征提取，最终回归得到网络预测的注意力程度图；通过一层卷积神经网络对其进行特征升维，将特征映射回原始三维点云作为特征扩展；最后，通过随机上下采样的方式获取各尺度下的点云特征，并对特征进行跳跃连接融合不同层级的语义信息，输出语义分割的结果。本发明专利技术在大规模道路点云数据集中展现了突出的语义分割性能，相较于传统的仅基于点云或投影的模型均获得了更好的效果。云或投影的模型均获得了更好的效果。云或投影的模型均获得了更好的效果。

【技术实现步骤摘要】
一种基于统计投影的室外点云语义分割方法


[0001]本专利技术涉及点云数据处理
，更具体的说是涉及一种基于统计投影的室外点云语义分割方法。

技术介绍

[0002]三维高精地图是下一代数字地图的主要发展方向，是实现汽车自动驾驶和辅助驾驶的前提条件，能够为自动驾驶汽车进行精确定位和正确决策提供主要依据。其中，使用点云语义分割算法将室外环境的各类物体的点云进行准确的分类以及精细化的判别环境中存在的物体及其结构是理解室外环境的重要技术方向。
[0003]传统的点云语义分割方法中，基于纯点云分析的神经网络模型虽然相较其他方法有着较高的细粒度，但其对点云局部特征的提取以及每个点特征的感受野范围均不如利用图像卷积的投影法或使用空间卷积的体素法。此外，目前国内外点云语义分割的主要关注点仍在自动驾驶领域，而对路面高精度地图构建的研究较少。相较于自动驾驶领域，创建高精度地图则要求点云的语义分割更关注路面的标志信息及路周围的物体，这使得在该目的下对路面投影获得的信息更为重要。如何提取局部特征、扩大每个点特征的感受野范围，使点云的语义分割更关注路面的标志信息及路周围的物体是本领域技术人员亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于统计投影的室外点云语义分割方法，结合有效信息引导网络对重要特征的关注，提升点云解析部分的效果，提升语义分割精度。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于统计投影的室外点云语义分割方法，包括以下步骤：
[0007]S1、对输入的原始三维点云信息采用三维点云投影解析算法，将所述原始三维点云投影至二维xoy平面，生成点云数据在二维xoy平面上的密度投影图、单位反射强度投影图，并基于点云标签生成注意力回归投影图；
[0008]S2、将所述密度投影图和所述单位反射强度投影图组合输入至U形神经网络中，以所述注意力回归投影图为真实标签得到注意力程度图；
[0009]S3、通过卷积网络对所述注意力程度图的特征进行维度扩展，并增大特征的感受野；
[0010]S4、根据所述注意力程度图中各像素的位置，将经过所述S3处理后的所述注意力程度图的特征重新映射至所述原始三维点云信息并进行特征组合拼接；
[0011]S5、将经过所述S4中特征组合拼接后的点云信息作为输入，使用所述U形神经网络进行点云特征的信息提取并输出最终的点云语义分割结果。
[0012]优选的，所述S1中的三维点云投影的方式为俯视图投影，其投影表现为正方形区域。
[0013]优选的，所述S1中的所述三维点云投影解析算法为：通过点云二维化平面均布的采样点对点云做k
‑
邻域采样，通过采样点邻域的临近点云密度、单位反射强度以及点标签得到投影图。
[0014]优选的，所述S2中的所述密度投影图和所述单位反射强度投影图通过下采样、上采样以及不同层级特征的跳跃连接后使用回归的方式输出所述注意力程度图。
[0015]优选的，所述S3中的所述卷积网络采用3
×
3的卷积核，所述U形卷积网络将所述注意力程度图的通道数由1变为32。
[0016]优选的，所述S4中的所述映射为所述S1中三维点云投影的逆过程。
[0017]优选的，所述S5中经过特征组合拼接后的点云信息通过下采样、上采样以及不同层级特征的跳跃连接后使用多分类的方式输出点云语义分割结果。
[0018]优选的，所述密度投影图、所述单位反射强度投影图和所述注意力回归投影图的像素均为128
×
128。
[0019]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于统计投影的室外点云语义分割方法，具有以下有益效果：通过高效的创建俯视投影图，结合更多的有效信息引导网络对重要特征的关注；通过将注意力图特征转换并映射回原始点云，拓展点云的初始特征，提升了点云解析部分的效果，特别是对于高精度地图构建或自动驾驶领域所关注的地面交通标志、路标、路灯等特征的语义分割精度有显著的提升。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0021]图1为本专利技术的方法流程图；
[0022]图2为本专利技术的点云投影解析算法示意图；
[0023]图3为本专利技术的U形神经网络示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]本专利技术实施例公开了一种基于统计投影的室外点云语义分割方法，如图1所示，包括以下步骤：
[0026]S1、对输入的原始三维点云信息采用三维点云投影解析算法，将原始三维点云投影至二维xoy平面，生成点云数据在二维xoy平面上的密度投影图、单位反射强度投影图，并基于点云标签生成注意力回归投影图；
[0027]S2、将密度投影图和单位反射强度投影图组合输入至U形神经网络中，以注意力回归投影图为真实标签得到注意力程度图；
[0028]S3、通过卷积网络对注意力程度图的特征进行维度扩展，并增大特征的感受野；
[0029]S4、根据注意力程度图中各像素的位置，将经过S3处理后的注意力程度图的特征重新映射至原始三维点云信息并进行特征组合拼接；
[0030]S5、将经过S4中特征组合拼接后的点云信息作为输入，使用U形神经网络进行点云特征的信息提取并输出最终的点云语义分割结果。
[0031]在本专利技术的另一个实施例中，S1中的投影方式为俯视图投影，其投影表现为正方形区域，在本实施例中正方形区域的长宽为15米。
[0032]在本专利技术的另一个实施例中，S1中的点云投影解析算法如图2所示：通过点云二维化平面均布的采样点对点云做k
‑
邻域采样，通过采样点邻域的临近点云密度、单位反射强度以及点标签得到投影图；
[0033]进一步的，点云投影解析算法的目的是从原始的点云输入P及其对应的标签中获取点云二维化后各区域的点云密度图M
d
、单位反射强度M
i
以及作为标签的注意力回归图M
a
，算法如表1所示：
[0034]表1：投影解析算法
[0035][0036]其中，运算符
⊙
定义为依据坐标进行点信息(反射强度i，加权后的类别标签weight(P
i
))的一对一映射；
[0037]在生成二维平面P
xoy本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于统计投影的室外点云语义分割方法，其特征在于，包括以下步骤：S1、对输入的原始三维点云信息采用三维点云投影解析算法，将所述原始三维点云投影至二维xoy平面，生成点云数据在二维xoy平面上的密度投影图、单位反射强度投影图，并基于点云标签生成注意力回归投影图；S2、将所述密度投影图和所述单位反射强度投影图组合输入至U形神经网络中，以所述注意力回归投影图为真实标签得到注意力程度图；S3、通过卷积网络对所述注意力程度图的特征进行维度扩展，并增大特征的感受野；S4、根据所述注意力程度图中各像素的位置，将经过所述S3处理后的所述注意力程度图的特征重新映射至所述原始三维点云信息并进行特征组合拼接；S5、将经过所述S4中特征组合拼接后的点云信息作为输入，使用所述U形神经网络进行点云特征的信息提取并输出最终的点云语义分割结果。2.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述S1中的三维点云投影的方式为俯视图投影，其投影表现为正方形区域。3.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述S1中的所述三维点云投影解析算法为：通过点云二维化平面均布的采样点对点云做k
...

【专利技术属性】
技术研发人员：邹文明，杨莹，陈昱臻，周少岳，钱赛男，戴丞雷，
申请(专利权)人：浙江省测绘科学技术研究院，
类型：发明
国别省市：