一种点云语义分割方法、计算机设备、可读存储介质及机动车技术

本发明专利技术公开了一种点云语义分割方法、计算机设备、可读存储介质及机动车，涉及自动驾驶技术领域，用于车辆自动驾驶时对运行自动驾驶的机动车周边进行识别，包括如下步骤：获取点云数据集并进行预处理；构建三维点云语义分割模型；对所述三维点云语义分割模型进行训练；使用经过训练的三维点云语义分割模型对点云数据进行识别，输出语义分割类别。本发明专利技术所提供的点云语义分割方法对三维点云场景进行有效分割，并提升分割精度。并提升分割精度。并提升分割精度。

【技术实现步骤摘要】
一种点云语义分割方法、计算机设备、可读存储介质及机动车


[0001]本专利技术涉及自动驾驶
，具体涉及一种点云语义分割方法、计算机设备、可读存储介质及机动车。

技术介绍

[0002]在自动驾驶领域中，为保证自动驾驶车辆的正常行驶。自动驾驶首先应具备一套完整的感知系统，来代替驾驶员的大脑，随着自动驾驶中人为干预程度越来越小，感知系统获取自身及周围环境的信息的准确性、高效性和全面性要求变得越来越高，这也是自动驾驶的重要环节。为了让自动驾驶车辆能够“看得见”，车内应具备激光雷达、摄像头、雷达设备、超声波系统和相关人工智能技术。目前自动驾驶车辆主要是依靠激光雷达来对车外环境做出感应，使自动驾驶车辆能在道路上安全行驶。但是，随着人工智能技术的兴起和激光扫描技术的发展，三维点云的数据量正迅速增长，因此三维点云数据的处理与分析对于三维点云场景理解愈加重要。三维点云数据不仅弥补了二维图像的光照不均匀等问题，能够更全面地展现出场景下丰富的信息特征。而三维点云分割任务作为三维点云场景理解和数据分析的基础任务，是自动驾驶、导航定位、测绘地理等领域的研究热点，具有广泛的应用前景。
[0003]然而，现有技术中，三维点云数据处理具有如下问题：
[0004]基于点的方法不会产生额外的信息损失，分割精度较高，但是直接对点进行计算操作，其计算量较大、实时性低；
[0005]基于体素的方法分割精度高，但是三维卷积计算量大，模型更加复杂，在体素转化的过程中会造成信息的丢失；
[0006]基于投影的方法分割精度较低，准确性不高。

技术实现思路

[0007]为解决前述问题，本专利技术提供了一种点云语义分割方法，对三维点云场景进行有效分割，并提升分割精度。
[0008]为了达到上述目的，本专利技术采用如下技术方案：
[0009]一种点云语义分割方法，包括如下步骤：
[0010]获取点云数据集，所述点云数据集包括训练集；对获取的点云数据进行预处理；构建三维点云语义分割模型；通过所述训练集对所述三维点云语义分割模型进行训练；使用经过训练的三维点云语义分割模型对点云数据进行识别，输出语义分割类别。
[0011]可选的，所述三维点云语义分割模型包括依次串联的输入层模块、编码器模块、多尺度融合模块、解码器模块以及分割头模块，所述编码器模块和所述解码器模块跳跃连接。
[0012]可选的，所述编码器模块具有若干相互串联的分层，所述解码器具有若干串联的上采样子模块，分层的数量与上采样子模块的数量一一相对应，分层的位置与上采样子模块的位置反向一一相对应，每个分层的输出作为对应的上采样子模块的另一个输入。
[0013]可选的，所述分层包括下采样子层和通道注意力机制子层，所述下采样子层的输出作为所述通道注意力机制子层的输入。
[0014]可选的，所述下采样子层包括第一最大池化层和若干串联的第一卷积层，若干第一卷积层中最后一个第一卷积层的输出作为第一最大池化层的输入。
[0015]可选的，所述上采样子模块包括上采样层和若干串联的第四卷积层，若干第四卷积层中最后一个第四卷积层的输出作为所述上采样层的输入。
[0016]可选的，所述通道注意力机制子层包括全局平均池化层和若干串联的全连接层，所述全局平均池化层的输出作为若干全连接层中第一个全连接层的输入，所述全局平均池化层所接收的输入与若干全连接层中最后一个全连接层的输出相乘作为所述分层的输出。
[0017]本专利技术采用通道注意力模块，在特征的通道信息上进行注意力加权，加强了重要信息的特征提取，改善了模型的分割效果。
[0018]可选的，所述通道注意力机制子层使用Sigmoid激活函数激活。
[0019]可选的，所述输入层模块包括若干相互串联的二维卷积子模块，所述二维卷积子模块具有第三卷积层、BatchNorm批规范化层以及ReLU激活函数层，所述第三卷积层、BatchNorm批规范化层以及ReLU激活函数层依次按序串联。
[0020]可选的，所述多尺度融合模块包括第二最大池化层和若干第二卷积层，所述第二卷积层和所述第二最大池化层相互并行。
[0021]本专利技术所提供的技术方案，在神经网络的底层引入多尺度聚合模块，采用不同卷积核大小的卷积层分支，获得了不同的感受野，增强了细节特征的提取能力，提高了三维点云语义分割模型的分割性能。
[0022]可选的，分割头模块包括至少三个相互串联的二维卷积层，第一个二维卷积层大于最后一个二维卷积层，相邻的二维卷积层之间，在前的二维卷积层大于等于在后的二维卷积层。
[0023]本专利技术所提供的技术方案，通过二维卷积核构件神经网络，相较于基于点的语义分割方法和基于体素的语义分割方法，减少了神经网络的计算量，使得三维点云语义分割模型的收敛速度变快。
[0024]可选的，对所述三维点云语义分割模型进行训练时，从所述编码器和所述解码器中各提取数量对应的输出特征图，根据如下公式计算每个特征图的损失值：
[0025][0026]其中，L为每个特征图的损失值，α是损失函数L
Dice
对应的权重，β是损失函数L
WCE
所对应的权重，N为类别的数量，w是每个需要语义分割出的类别的权重，y
i
为真实值，表示预测值；
[0027]再根据如下公式计算总体损失值：
[0028][0029]其中，L
总
为总体损失值，Lmain为Lovasz
‑
Softmax损失函数，γ为每个特征图的损失值的权重，c为语义分割出的类别，M为预测误分类的集合，p为预测误分类的集合中元素为0或1的概率，J为预测误分类的集合中元素的索引。
[0030]本专利技术所提供的技术方案，通过计算三维点云语义分割模型中不同分辨率特征的损失函数，加权至原有的损失函数上，在不增加计算成本的前提下，加快了网络的收敛，提高了模型的特征学习能力。
[0031]可选的，对获取的点云数据进行预处理包括：
[0032]对于获取的点云数据进行翻转和加噪，然后根据如下公式投影为二维深度图：
[0033][0034]其中，(x，y，z)为当前点的坐标，d为当前点的深度，f
u
为当前点垂直向上的角度，f
d
为当前点垂直向下的角度，H为投影为二维深度图后二维深度图的高度，W为投影为二维深度图后二维深度图的宽度；
[0035]投影为二维深度图后，输入三维点云语义分割模型的二维深度图大小为(H，W，5)。
[0036]同时，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
[0037]并且，本专利技术还提供了一种机动车，所述机动车具有自动驾驶功能，所述机动车运行自动驾驶功能时，通过前述任意一项所述的点云语义分割方法对运行自动驾驶的机动车周边进行识别；
[0038]或所述机动车具有前述的计算机设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云语义分割方法，其特征在于，包括如下步骤：获取点云数据集，所述点云数据集包括训练集；对获取的点云数据进行预处理；构建三维点云语义分割模型；通过所述训练集对所述三维点云语义分割模型进行训练；使用经过训练的三维点云语义分割模型对点云数据进行识别，输出语义分割类别。2.根据权利要求1所述的点云语义分割方法，其特征在于，所述三维点云语义分割模型包括依次串联的输入层模块、编码器模块、多尺度融合模块、解码器模块以及分割头模块，所述编码器模块和所述解码器模块跳跃连接。3.根据权利要求2所述的点云语义分割方法，其特征在于，所述编码器模块具有若干相互串联的分层，所述解码器具有若干串联的上采样子模块，分层的数量与上采样子模块的数量一一相对应，分层的位置与上采样子模块的位置反向一一相对应，每个分层的输出作为对应的上采样子模块的另一个输入。4.根据权利要求3所述的点云语义分割方法，其特征在于，所述分层包括下采样子层和通道注意力机制子层，所述下采样子层的输出作为所述通道注意力机制子层的输入。5.根据权利要求4所述的点云语义分割方法，其特征在于，所述下采样子层包括第一最大池化层和若干串联的第一卷积层，若干第一卷积层中最后一个第一卷积层的输出作为所述第一最大池化层的输入。6.根据权利要求4所述的点云语义分割方法，其特征在于，所述上采样子模块包括上采样层和若干串联的第四卷积层，若干第四卷积层中最后一个第四卷积层的输出作为所述上采样层的输入。7.根据权利要求4所述的点云语义分割方法，其特征在于，所述通道注意力机制子层包括全局平均池化层和若干串联的全连接层，所述全局平均池化层的输出作为若干全连接层中第一个全连接层的输入，所述全局平均池化层所接收的输入与若干全连接层中最后一个全连接层的输出相乘作为所述分层的输出。8.根据权利要求4所述的点云语义分割方法，其特征在于，所述通道注意力机制子层使用Sigmoid激活函数激活。9.根据权利要求2所述的点云语义分割方法，其特征在于，所述输入层模块包括若干相互串联的二维卷积子模块，所述二维卷积子模块具有第三卷积层、BatchNorm批规范化层以及ReLU激活函数层，所述第三卷积层、BatchNorm批规范化层以及ReLU激活函数层依次按序串联。10.根据权利要求2所述的点云语义分割方法，其特征在于，所述多尺度融合模块包括第二最大池化层和若干第二卷积层，所述第二卷积层和所述第二最大池化层相互并行。11.根据权利要求2所述的点云语义分割方法，其特征...

【专利技术属性】
技术研发人员：殷静怡，韩继能，王宇晗，周源，胡来丰，
申请(专利权)人：浙江零跑科技股份有限公司，
类型：发明
国别省市：