【技术实现步骤摘要】
本申请涉及语义分割，特别是涉及一种点云语义分割模型训练方法、语义分割方法、终端及介质。
技术介绍
1、近年来，随着激光雷达等3d传感器在机器人、无人驾驶领域的广泛应用，深度学习语义分割在激光点云数据处理中的应用已经成为研究热点之一。所谓激光点云数据是指扫描对象以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(rgb)或反射强度信息(intensity)。
2、由于激光点云数据具有无序性和非结构化的特点，并且在3d空间中可能具有不同的稠密度，因此使得深度学习应用在激光点云语义分割任务上面临巨大挑战，激光点云语义分割精度普遍不高。
技术实现思路
1、本申请提供一种点云语义分割模型训练方法、语义分割方法、终端及介质。
2、本申请采用的一个技术方案是提供一种点云语义分割模型的训练方法，点云语义分割模型包括环视图特征提取网络、鸟瞰图特征提取网络，该方法包括：
3、将样本点云数据进行环视图投影，得到样本点云数据对应的环视图，以及将样本点云数据进行鸟瞰图投影，得到样本点云数据对应的鸟瞰图；
4、将环视图输入至环视图特征提取网络进行特征提取，得到环视图特征；
5、将鸟瞰图和环视图特征输入至鸟瞰图特征提取网络进行特征提取，得到包含环视图特征的鸟瞰图特征；
6、根据鸟瞰图特征得到语义分割结果，并基于语义分割结果对点云语义分割模型中的参数进行调整。
7、可选地，鸟瞰图特征提取网络包括依次连接的第一下采样层、第
8、将鸟瞰图和环视图特征输入至鸟瞰图特征提取网络进行特征提取，得到鸟瞰图特征，包括：
9、将第一融合特征输入至第一下采样层，得到第一鸟瞰特征图，其中，第一融合特征由鸟瞰图与环视图特征进行特征融合得到；
10、将第一鸟瞰特征图输入至第二下采样层，得到第二鸟瞰特征图；
11、将第二鸟瞰特征图输入至第三下采样层，得到第三鸟瞰特征图；
12、将第二融合特征输入至第四下采样层，得到第四鸟瞰特征图，其中，第二融合特征由第三鸟瞰特征图和环视图特征进行特征融合得到；
13、将第四鸟瞰特征图输入至第一上采样层，得到第五鸟瞰特征图；
14、将第三融合特征输入至第二上采样层，得到第六鸟瞰特征图，其中，第三融合特征由第五鸟瞰特征图与环视图特征进行特征融合得到；
15、将第六鸟瞰特征图输入至第三上采样层，得到第七鸟瞰特征图；
16、将第四融合特征输入至第四上采样层，得到鸟瞰图特征，其中，第四融合特征由第七鸟瞰特征图与环视图特征进行特征融合得到。
17、可选地，点云语义分割模型还包括多视图特征融合网络；
18、将第一融合特征输入至第一下采样层，得到第一鸟瞰特征图的步骤之前，包括：
19、将鸟瞰图和环视图特征分别输入至多视图特征融合网络，得到鸟瞰图对应的第一权重和环视图特征对应的第二权重；
20、基于第一权重和第二权重，对鸟瞰图对应的原始特征与环视图特征进行特征拼接，得到第一融合特征；
21、将第二融合特征输入至第四下采样层，得到第四鸟瞰特征图的步骤之前，包括：
22、将第三鸟瞰特征图和环视图特征分别输入至多视图特征融合网络，得到第三鸟瞰特征图对应的第三权重和环视图特征对应的第四权重；
23、基于第三权重和第四权重，对第三鸟瞰特征图和环视图特征进行特征拼接，得到第二融合特征；
24、将第三融合特征输入至第二上采样层，得到第六鸟瞰特征图的步骤之前，包括：
25、将第五鸟瞰特征图和环视图特征分别输入至多视图特征融合网络，得到第五鸟瞰特征图对应的第五权重和环视图特征对应的第六权重；
26、基于第五权重和第六权重，对第五鸟瞰特征图和环视图特征进行特征拼接，得到第三融合特征；
27、将第四融合特征输入至第四上采样层，得到鸟瞰图特征的步骤之前，包括：
28、将第七鸟瞰特征图和环视图特征分别输入至多视图特征融合网络，得到第七鸟瞰特征图对应的第七权重和环视图特征对应的第八权重；
29、基于第七权重和第八权重，对第七鸟瞰特征图和环视图特征进行特征拼接，得到第四融合特征。
30、可选地，多视图特征融合网络包括通道注意力机制模块，
31、将第一融合特征输入至第一下采样层进行特征提取与下采样，得到第一鸟瞰特征图的步骤之前，包括：
32、将鸟瞰图和环视图特征分别输入至通道注意力机制模块，得到鸟瞰图对应的第一注意力特征，以及环视图特征对应的第二注意力特征；
33、基于第一注意力特征，确定第一权重，以及基于第二注意力特征，确定第二权重；
34、基于第一权重和第二权重，对第一注意力特征与第二注意力特征进行特征拼接，得到第一融合特征；
35、将第二融合特征输入至第四下采样层进行特征提取与下采样，得到第四鸟瞰特征图的步骤之前，包括：
36、将第三鸟瞰特征图和环视图特征分别输入至通道注意力机制模块，得到第三鸟瞰特征图对应的第三注意力特征，以及环视图特征对应的第四注意力特征；
37、基于第三注意力特征，确定第三权重，以及基于第四注意力特征，确定第四权重；
38、基于第三权重和第四权重，对第三注意力特征与第四注意力特征进行特征拼接，得到第二融合特征；
39、将第三融合特征输入至第二上采样层进行特征提取和上采样，得到第六鸟瞰特征图的步骤之前，包括：
40、将第五鸟瞰特征图和环视图特征分别输入至通道注意力机制模块，得到第五鸟瞰特征图对应的第五注意力特征，以及环视图特征对应的第六注意力特征；
41、基于第五注意力特征，确定第五权重，以及基于第六注意力特征，确定第六权重；
42、基于第五权重和第六权重，对第五注意力特征与第六注意力特征进行特征拼接，得到第三融合特征；
43、将第四融合特征输入至第四上采样层进行特征提取和上采样，得到鸟瞰图特征的步骤之前，包括：
44、将第七鸟瞰特征图和环视图特征分别输入至通道注意力机制模块，得到第七鸟瞰特征图对应的第七注意力特征，以及环视图特征对应的第八注意力特征；
45、基于第七注意力特征，确定第七权重，以及基于第八注意力特征，确定第八权重；
46、基于第七权重和第八权重，对第七注意力特征与第八注意力特征进行特征拼接，得到第四融合特征。
47、可选地，点云语义分割模型还包括特征交互模块；
48、将鸟瞰图和环视图特征分别输入至多视图特征融合网络，得到鸟瞰图对应的第一权重和环视图特征对应的第二权重，包括：
49、将环视图特征输入至特征交互模块进行特征尺寸调整，得到与鸟瞰图尺寸大小相同的第一环本文档来自技高网...
【技术保护点】
1.一种点云语义分割模型的训练方法，其特征在于，所述点云语义分割模型包括环视图特征提取网络、鸟瞰图特征提取网络，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述鸟瞰图特征提取网络包括依次连接的第一下采样层、第二下采样层、第三下采样层、第四下采样层、第一上采样层、第二上采样层、第三上采样层和第四上采样层；
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求3所述的方法，其特征在于，所述点云语义分割模型还包括特征交互模块；
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求1所述的方法，其特征在于，
8.一种点云语义分割方法，其特征在于，所述方法包括：
9.一种终端设备，其特征在于，所述终端设备包括处理器、与所述处理器连接的存储器，其中，
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序指令，所述程序指令被执行时实现如权利要求1至8任一项所述的方法。
【技术特征摘要】
1.一种点云语义分割模型的训练方法，其特征在于，所述点云语义分割模型包括环视图特征提取网络、鸟瞰图特征提取网络，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述鸟瞰图特征提取网络包括依次连接的第一下采样层、第二下采样层、第三下采样层、第四下采样层、第一上采样层、第二上采样层、第三上采样层和第四上采样层；
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求3所述的...
【专利技术属性】
技术研发人员：殷静怡，韩继能，王宇晗，周源，冯旭，胡来丰，
申请(专利权)人：浙江零跑科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。