基于激光点云的城市场景语义分割细粒度边界提取方法技术

本发明专利技术涉及基于激光点云的城市场景语义分割细粒度边界提取方法，本发明专利技术设计了适应城市场景的深度卷积神经网络模型，对模型进行训练，然后用训练得到的模型对获取到的数据中的影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；通过后处理式和嵌入式两种条件随机场进行精细化边界提取；最后，通过直接变换算法根据相机的内方位元素计算出相机的外方位元素，得到影像与对应激光点云之间的整体映射，在此基础上输入点云，得到基于激光点云的精细化语义分割结果。本发明专利技术能够提高城市场景语义分割的精度和效果。高城市场景语义分割的精度和效果。高城市场景语义分割的精度和效果。

【技术实现步骤摘要】
基于激光点云的城市场景语义分割细粒度边界提取方法


[0001]本专利技术涉及一种基于激光点云的城市场景语义分割细粒度边界提取方法。

技术介绍

[0002]近年来，随着大规模数据集的出现，计算机硬件成本的降低以及GPU并行计算能力的提高，深层神经网络(Deep Convolutional Neural Networks,DCNNs)的应用更加广泛。DCNNs与传统手工制作的特征不同，DCNNs能够从数据中自动学习丰富的特征表示，因此在语义分割等许多计算机视觉问题上表现出色。DCNNs中的全卷积神经网络(Fully Convolutional Networks,FCNs)是DCNNs的一种，其在提取特征上的表现尤为突出。对于场景语义分割任务来说，不同类别标签之间的全局上下文信息影响其精准定位。然而，FCNs由于其全卷积特性不具备为不同类别标签之间的上下文关系进行建模的能力；具有较大感受野的卷积核得到的语义分割结果比较粗糙；同时，池化层产生的层次特征也会丢失部分定位信息，进一步降低了输出精细化语义分割结果的可能性，场景分割效果示例如图1所示。
[0003]2017年，斯坦福大学的Charles等人提出了PointNet和PointNet++框架，直接以原始点云作为深度神经网络的输入，属于深度学习成功应用于三维点云的一项开创性的工作，为分类(classification)、构件分割(part segmentation)和场景语义分割(semantic segmentation)提供了一个通用框架。PointNet模型针对点云数据的特点，使用MaxPooling作为对称函数来处理点云模型的无序性，使用两个T
‑
net网络对模型进行旋转不变性处理。该模型的不足之处在于只使用一个MaxPooling层整合单点特征，网络对模型局部信息的提取能力不足。针对该问题，同年6月该研究团队对PointNet进行改进，提出了其分层网络结构PointNet++，该模型先对点云进行采样(sampling)和区域划分(grouping)，在各个小区域内采用基础的PointNet网络进行特征提取，根据需求使该过程迭代多次，然后对点云的全局和局部特征进行融合，但由于该模型首先要为每个区域选择质点，然后为每个质点在其大规模邻域内运行PointNet，计算量代价非常大，计算效率远远低于PointNet。
[0004]后续，在此启发下，并以此为基准，相继出现了一些新的LiDAR点云语义分割框架。但由于点云数据具有海量，无规则等特性，计算复杂度远超对2D图像的处理，计算效率明显降低。另外，经DCNNs模型训练得到的分割结果，可实现三维点级的分割，并且保持较高精度，但其分割边缘信息细粒度不够完整。具有多个最大池化层的深层模型有较好的分类性能，然而空洞卷积带来的大的感受野和模型固有的不变性不能得到很好的目标定位，只能产生平滑的响应，网络中并没有考虑三维点之间的关联性。
[0005]针对该挑战，目前基于深度卷积神经网络的多目标分割边界细化问题，主要集中在图像分割领域。在处理多类图像分割和标签任务时，常见的方法是用CRFs对图像的像素或者图像块进行最大后验推理。CRFs势函数合并了在相似像素中最大化标签一致性的平滑项，并且可以整合建模各类别间上下文关系的更加复杂的项。
[0006]传统上的CRFs被用来平滑有噪声的分割映射。典型情况下，这些模型将相邻的节点耦合在一起，假设空间相邻节点具有相似性，作为一个弱监督的方法去预测边缘相似节
点的labels，可有效消除噪声，让分割边缘更加平滑。从质量上讲，这些短距离CRFs(short
‑
range CRFs)的主要功能是清除建立在本地手工定义特征之上的弱分类器的虚假预测。与这些较弱的分类器相比，现代的DCNNs体系结构产生的得分图和语义标签预测在质量上是不同的。得分图一般比较平滑，分类结果一致。这时使用短距离的CRFs反而带来不好的效果，因为语义分割不是要让得分图更平滑，而是要发掘得分图中的细节，比如边缘部分的分割效果。2017年，DeepLab提出一种基于DCNNs的识别能力和全连通条件随机场(Fully connected CRFs,FC
‑
CRF)的细粒度定位精度耦合方法，将对比度敏感的势函数与FC
‑
CRF结合使用，可以提高定位能力，并表明它在解决定位挑战、产生准确的语义分割结果和在现有方法所无法达到的细节级别恢复对象边界方面取得了显著的成功，后续研究者们延续了这一方向。在图像物体分割领域，采用条件随机场对像素类别进行判断，由于该模型考虑了像素与其相邻像素之间关系，可高效区分不同类别间的界限。FC
‑
CRF进一步考虑了图像中每个像素和其它像素关系，可得到更精确的分割结果。FC
‑
CRF应用于语义分割的后期推理具有提高模型捕获的精细细节、能够捕获细微的边缘细节、能够适应长距离的依赖以及对分割后的边缘进行快速推理等优势。
[0007]对于基于深度学习的LiDAR点云多目标分割边界的细粒度提取问题，上述方法只考虑了规则整齐的网格数据，散乱的点云数据则研究不多。目前，有关CRFs与LiDAR点云的结合主要用于地面单一目标的分割，而不是城市场景分割后期推理中的细粒度边界提取问题研究，导致现有技术的语义分割结果精度较低。

技术实现思路

[0008]本申请的目的在于提供一种基于激光点云的城市场景语义分割细粒度边界提取方法，用以解决现有技术语义分割结果精度较低的问题。
[0009]为实现上述目的，本专利技术提出了一种基于激光点云的城市场景语义分割细粒度边界提取方法，包括以下步骤：
[0010]1)训练深度卷积神经网络模型，利用训练得到的模型对获取的2D影像和3D点云中的2D影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；
[0011]2)采用后处理式条件随机场对分割边界进行精细化提取：将深度卷积神经网络的输出作为后处理式条件随机场的输入，通过最大似然估计和平均场近似算法进行CRF学习和推理，从而对分割边界进行精细化提取；
[0012]3)将2D影像映射到激光点云，得到激光点云城市场景语义分割结果。
[0013]进一步的，所述CRF学习采用最大似然估计算法，通过最大化样本对数似然函数来估计CRFs模型的参数；所述CRF学习包括一元势能函数和二元势能函数，所述一元势能函数包含了图像的形状、纹理、位置和颜色，二元势能函数使用对比度敏感的双核势能。
[0014]进一步的，所述CRF推理是为每一个像素分配一个标签，使所述一元势能函数和二元势能函数整体上达到最小值。
[0015]进一步的，通过直接变换算法、根据相机的内方位元素计算相机的外方位元素，得到2D影像与激光点云之间的整体映射。
[0016]进一步的，采用MS COCO、PASCAL VOC 2012和Cityscapes数据集进行深度卷积神经网络模型的训练。
[0017本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于激光点云的城市场景语义分割细粒度边界提取方法，其特征在于，包括如下步骤：1)训练深度卷积神经网络模型，利用训练得到的模型对同步获取的2D影像和3D点云中的2D影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；2)采用后处理式条件随机场对分割边界进行精细化提取：将深度卷积神经网络的输出作为后处理式条件随机场的一元势能输入，通过最大似然估计和平均场近似算法进行CRF学习和推理，从而对分割边界进行精细化提取；3)将2D影像映射到激光点云，得到激光点云城市场景语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述CRF学习采用最大似然估计算法，通过最大化样本对数似然函数来估计CRFs模型的参数；所述CRF学习包括一元势能函数和二元势能函数，所述一元势能函数包含了图像的形状、纹理、位置和颜色，二元势能函数使用对比度敏感的双核势能。3.根据权利要求2所述的方法，其特征在于，所述CRF推理是为每一个像素分配一个标签，使所述一元势能函数和二元势能函数整体上达到最小值。4.根据权利要求1所述的方法，其特征在于，通过直接变换算法、根据相机的内方位元素计算相机的外方位元素，得到2D影像与激光点云之间的整体映射。5.根据权利要求1所述的方法，其特征在于，采用MS COCO、PASCAL VOC 2012和Cityscapes数据集...

【专利技术属性】
技术研发人员：张蕊，刘孟轩，孟晓曼，曾志远，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：