一种考虑分割标签边界模糊的制造技术

本发明专利技术公开了一种考虑分割标签边界模糊的

【技术实现步骤摘要】
一种考虑分割标签边界模糊的3D激光点云语义分割方法


[0001]本专利技术属于智能驾驶
，具体涉及一种考虑分割标签边界模糊的
3D
激光点云语义分割方法
。

技术介绍

[0002]近年来由于智能驾驶技术的飞速发展，激光雷达传感器已经广泛应用于量产车型
。
在车辆行驶时，通过对激光雷达采集的
3D
激光点云进行语义分割，可以有效地区分出环境中的各类信息，例如：道路
、
车辆和建筑等，这对于智能驾驶的感知尤为重要
。
语义分割是一种基于深度学习的计算机视觉数据处理方法，目的是将摄像头采集的图像或激光点云中的每个像素或点分配到预定义的语义类别中，从而将每个区域分割开来，并为每个区域分配一个语义标签
。
[0003]语义分割技术最早应用于图像处理中，基于颜色
、
纹理信息以及神经网络技术对图像中的物体和区域进行分割
。
而随着激光雷达等传感器技术的发展与应用，如何对
3D
激光点云进行语义分割成为了研究热点
。
中国专利技术专利申请号
CN202011094852.3
，名称为“基于对抗式学习与多模态学习的点云语义分割方法及系统”中提出了通过建立
3D
点云数据与
2D
前视图像之间的对应关系，基于对抗学习对激光点云进行语义分割；中国专利技术专利申请号
CN
[0004]202210443785.4
，名称为“语义分割模型训练方法
、
语义分割方法
、
存储介质及终端”中提出了通过基于
KP
‑
FCNN
网络架构辅助任务和语义分割任务相结合的训练方法，实现语义分割任务的信息增益，极大地提升分割精度
。
然而在上述方法中都没有考虑如何消除激光点云语义分割过程中的分割标签边界模糊问题
。3D
激光点云数据通常是稀疏的，因此相邻点之间会存在间隙
。
在边界区域，由于点的密度不足，难以准确地捕获物体的准确轮廓，因此会存在分割标签边界模糊的问题
。

技术实现思路

[0005]针对于上述现有技术的不足，本专利技术的目的在于提供一种考虑分割标签边界模糊的
3D
激光点云语义分割方法，将
3D
激光点云映射至球面投影，生成对应的二维深度图像；将深度图像的特征量输入到神经网络中进行语义分割，得到像素级别的语义标签；考虑分割后语义标签边界模糊问题，对分割后的标签进行处理，增强边界点云数据的特征表达，显著地提升了激光点云语义分割的精度，有效地解决了语义分割的边界模糊问题
。
[0006]为达到上述目的，本专利技术采用的技术方案如下：
[0007]本专利技术的一种考虑分割标签边界模糊的
3D
激光点云语义分割方法，步骤如下：
[0008]1)
将
3D
激光点云映射至球面投影，生成对应的二维深度图像；
[0009]2)
提取所述步骤
1)
中二维深度图像中的特征量，并输入到全卷积神经网络中进行语义分割，得到像素级别的语义标签；
[0010]3)
根据所述步骤
2)
中得到的语义标签建立能量函数模型；
[0011]4)
利用迭代梯度下降的方法优化所述步骤
3)
中的建立的能量函数模型，最小化能量函数模型，增强边界点的数据项以更新激光点云
p
i
的语义标签；
[0012]5)
重复所述步骤
4)
以更新所有激光点云的语义标签
。
[0013]进一步地，所述步骤
1)
中的
3D
激光点云定义为：
[0014]p
i
＝
(x,y,z)
[0015]式中，
p
i
为单个激光点云；
i∈
Σ
，
Σ
表示激光雷达一帧包含的点云集合，
x
，
y
，
z
为点云的三维坐标；将每个激光点云通过映射
Π
:
投影到球面坐标，转换为图像坐标，定义为：
[0016][0017]式中，
(u,v)
为深度图像坐标，
h
和
w
分别为所需深度图像表示的高度和宽度，
f
＝
f
up
+f
down
为激光雷达传感器的垂直视场，
f
up
和
f
down
分别为激光雷达传感器垂直视场的最高点和最低点，
r
＝
||p
i
||2为每个激光点云的深度
。
[0018]进一步地，所述步骤
2)
中从二维深度图像中提取特征量的方式为：投影映射产生一个
(u,v)
坐标列表，其中包含每个激光点云的一对图像坐标；提取每个激光点云的特征，特征包括深度
r、
坐标
(x,y,z)
及反射强度，并存储在深度图像中，创建一个
[5
×
h
×
w]张量
。
[0019]进一步地，所述步骤
2)
中全卷积神经网络的结构为编码器
‑
解码器沙漏形架构，包含一个下采样的编码器和一个上采样的解码器；其中下采样的编码器中包含多个卷积层和池化层以获取深度图中的特征量，在卷积层和池化层之后的激活函数为
ReLu
以引入非线性化特征；解码器将编码器提取的特征上采样到原始图像分辨率，添加卷积层以细化结果；在每次上采样后，在编码器的不同级别之间添加跳跃连接，以恢复在下采样过程中丢失的高频边缘信息；在编码
‑
解码后，最后一层执行一组内核大小
[1
×
1]卷积，生成
[n
×
h
×
w]的输出量，得到像素级别的语义标签，其中
n
为数据中的标签类别的数量；最后一层是无界对数上的
softmax
函数，给出了深度图像中每个像素的概率分布定义为：
[0020][0021]式中，
logit
c
为对应于标签类别
c
的中的输出，
e
为常数；在神经网络的训练期间，使用随机梯度下降和加权交叉熵损失对神经网络进行优化：
[0022][0023][0024]式中，
n
为语义标签的数量；
f
c
为标签类别
c<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种考虑分割标签边界模糊的
3D
激光点云语义分割方法，其特征在于，步骤如下：
1)
将
3D
激光点云映射至球面投影，生成对应的二维深度图像；
2)
提取所述步骤
1)
中二维深度图像中的特征量，并输入到全卷积神经网络中进行语义分割，得到像素级别的语义标签；
3)
根据所述步骤
2)
中得到的语义标签建立能量函数模型；
4)
利用迭代梯度下降的方法优化所述步骤
3)
中的建立的能量函数模型，最小化能量函数模型，增强边界点的数据项以更新激光点云
p
i
的语义标签；
5)
重复所述步骤
4)
以更新所有激光点云的语义标签
。2.
根据权利要求1所述的考虑分割标签边界模糊的
3D
激光点云语义分割方法，其特征在于，所述步骤
1)
中的
3D
激光点云定义为：
p
i
＝
(x,y,z)
式中，
p
i
为单个激光点云；
i∈
Σ
，
Σ
表示激光雷达一帧包含的点云集合，
x
，
y
，
z
为点云的三维坐标；将每个激光点云通过映射投影到球面坐标，转换为图像坐标，定义为：式中，
(u,v)
为深度图像坐标，
h
和
w
分别为所需深度图像表示的高度和宽度，
f
＝
f
up
+f
down
为激光雷达传感器的垂直视场，
f
up
和
f
down
分别为激光雷达传感器垂直视场的最高点和最低点，
r
＝
||p
i
||2为每个激光点云的深度
。3.
根据权利要求1所述的考虑分割标签边界模糊的
3D
激光点云语义分割方法，其特征在于，所述步骤
2)
中从二维深度图像中提取特征量的方式为：投影映射产生一个
(u,v)
坐标列表，其中包含每个激光点云的一对图像坐标；提取每个激光点云的特征，特征包括深度
、
坐标及反射强度，并存储在深度图像中，创建一个
[5
×
h
×
w]
张量
。4.
根据权利要求1所述的考虑分割标签边界模糊的
3D
激光点云语义分割方法，其特征在于，所述步骤
2)
中全卷积神经网络的结构为编码器
‑
解码器沙漏形架构，包含一个下采样的编码器和一个上采样的解码器；其中下采样的编码器中包含多个卷积层和池化层以获取深度图中的特征量，在卷积层和池化层后的激活函数为
ReLu
以引入非线性化特征；解码器将编码器提取的特征上采样到原始图像分辨率，添加卷积层以细化结果；在每次上采样后，在编码器的不同级别之间添加跳跃连接，以恢复在下采样过程中丢失的高频边缘信息；在编码
‑
解码后，最后一层执行一组内核大小
[1
×
1]
卷积，生成
[n
×
h
×
w]
的输出量，得到像素级别的语义标签，其中
n
为数据中的标签类别的数量；最后一层是无界对数上的
softmax
函数，给出了深度图像中每个像素的概率分布定义为：式中，
logit
c
为对应于标签类别
c
的中的输出，
e
为常数；在神经网络的训练期间，使用随
机梯度下降和加权交叉熵损失对神经网络进行优化：对神经网络进行优化：式中，
n
为语义标签的数量；
f
c
为标签类别
c
出现频率...

【专利技术属性】
技术研发人员：赵万忠，楚明龙，周小川，王春燕，栾众楷，
申请(专利权)人：南京航空航天大学秦淮创新研究院，
类型：发明
国别省市：