【技术实现步骤摘要】
本专利技术涉及危化品仓库监测，具体涉及用于相似堆垛的三维点云语义分割方法、装置及存储介质。
技术介绍
1、危化品仓库场景点云语义分割是感知周边环境安全监控的基础性工作，危化品仓库中堆垛外观相似，且摆放有严格的距离要求。
2、语义分割技术是工厂进行安全监控的重要步骤,该技术使用特定的语义类别将场景中的每个像素或点云划分为几个区域,为后续的异常监测报警、堆垛间距计算等工作起到支撑作用。目前在2d图像分割领域较为成熟的算法主要有全卷积神经网络(fullyconvolutional networks,fcn)、u-net等基于深度学习的算法,但普通摄像机仅能获取仓库的二维图像信息,无法获取全局堆垛的信息。三维点云(3d point cloud)是含有三维空间位置的点的集合，现有三维点云语义分割方法主要包括逐点mlp(multilayerperceptron)方法、基于点卷积的方法、循环神经网络(recurrent neural network,rnn)方法和基于图卷积的方法。
3、传统的三维点云分割技术主要应用于自动驾驶、三维建模等领域，但上述领域对近距离相似物品的分割要求不高，然而危化品仓库中有不同种类的危险化学品之间要保持着严格的距离要求，以减少潜在的事故风险和最小化损害，所以精细地语义分割技术在危化品仓库安全监控、库存管理和应对紧急情况等方面具有重要意义，具体地：由于危化品仓储空间内存在着相似度很高的堆垛等，所以通过语义分割算法进行预测时，对于精准度有着很高的要求，而目前的点云语义分割算法由于局部特征提取不
技术实现思路
1、有鉴于此，本专利技术的目的在于提供用于相似堆垛的三维点云语义分割方法、装置及存储介质，以解决以解决现有算法的由于局部特征提取信息不足，导致预测结果不够精准的问题，同时解决对于不同类别的堆垛空间点云数量差异较大的情况下，关注多数量点云特征导致分割错误的问题。
2、根据本专利技术实施例的第一方面，提供用于相似堆垛的三维点云语义分割方法，所述方法包括：
3、通过深度相机获取危化品仓储空间的三维点云场景；
4、将所述危化品仓储空间的三维点云场景输入到第一全连接层中，通过所述第一全连接层提取所述三维点云场景中的局部特征并进行整合，得到第一特征；
5、对所述第一特征进行下采样处理，用于将所述第一特征中的点云数量下降到预设目标；
6、将进行下采样后的第一特征输入到扩张残差模块中，所述扩张残差模块由两个局部特征聚合模块组合而成，所述局部特征聚合模块通过计算所述第一特征中的三维点云的三维坐标、相邻点的三维坐标、三维点云与相邻点的相对坐标距离以及三维点云与相邻点的点积相似度，从而获得局部信息和全局特征，得到预设特征维度的局部编码特征；
7、将所述局部编码特征输入到第一多层感知机中，所述第一多层感知机用于将所述局部编码特征传递给解码器中；
8、所述解码器先采用上采样处理对所述局部编码特征的点云数量进行还原，所述上采样处理包括：对局部编码特征中的每个三维点云采用knn搜索每个点的近邻点的索引，用最近邻插值的方法将三维点云的尺度放大；通过第二多层感知机模块将上采样后的局部编码特征中的相同维度的特征信息进行融合，从而对所述局部编码特征的特征维度进行还原，得到全局特征；
9、将所述全局特征与所述第一特征进行堆叠得到输出特征；
10、将所述输出特征输入到第二全连接层模块中，用于输出预测标签，采用加权交叉熵损失和lovász-softmax损失构造线性组合的损失函数来关注目标类别，用于计算所述预测标签与各类真实标签之间损失，选择损失最小的几个类作为最终预测结果。
11、优选地，
12、所述将进行下采样后的第一特征输入到扩张残差模块中，所述扩张残差模块由两个局部特征聚合模块组合而成，所述局部特征聚合模块通过计算所述第一特征中的三维点云的点积相似度获得局部信息和全局特征，得到局部编码特征包括：
13、将所述第一特征进行下采样处理，将所述第一特征的n个点云数量保留n/4的点云数量；
14、将进行下采样处理后的第一特征输入到第一扩张残差模块中，所述第一扩张残差模块用于将所述第一特征的8个特征维度变为32个特征维度，得到第一局部编码特征；
15、对所述第一局部编码特征进行下采样处理，将所述第一局部编码特征的n/4的点云数量变为n/16的点云数量；
16、将进行下采样处理后的第一局部编码特征输入到第二扩张残差模块中，所述第二扩张残差模块将所述第一局部编码特征的32个特征维度变为128个特征维度，得到第二局部编码特征；
17、对所述第二局部编码特征进行下采样处理，将所述第二局部编码特征的n/16的点云数量变为n/64的点云数量；
18、将进行下采样处理后的第二局部编码特征输入到第三扩张残差模块中，所述第三扩张残差模块用于将第二局部编码特征的128个特征维度变为256个特征维度，得到第三局部编码特征；
19、对所述第三局部编码特征进行下采样处理，将所述第三局部编码特征的n/64的点云数量变为n/256的点云数量；
20、将进行下采样处理后的第三局部编码特征输入到第四扩张残差模块中，所述第四局部编码特征用于将第三局部编码特征的256个特征维度变为512个特征维度，得到第四局部编码特征。
21、优选地，
22、所述将所述全局特征与所述第一特征进行堆叠得到输出特征包括：
23、将所述第四局部编码特征输入到第一多层感知机中，所述第一多层感知机将所述第四局部编码特征传递给第二多层感知机；
24、传递给所述第二多层感知机前，对所述第四局部编码特征进行上采样处理，将所述第四局部编码特征的点云数量还原到n/64；
25、所述第二多层感知机将所述第四局部编码特征的特征维度还原到256个特征维度，得到第一全局特征；
26、将所述第一全局特征与其对应的具有相同点云数量以及特征维度的所述第三局部编码特征进行堆叠，得到第一输出特征；
27、对所述第一输出特征进行上采样处理，将所述第一输出特征的点云数量还原到n/16；
28、将进行上采样处理后的第一输出特征输入到第三多层感知机中，所述第三多层感知机将所述第一输出特征的特征维度还原到128个特征维度，得到第二全局特征；
29、将所述第二全局特征与其对应的具有相同点云数量以及特征维度的所述第二局部编码特征进行堆叠，得到第二输出特征；
30、对所述第二输出特征进行上采样处理，将所述第二输出特征的点云数量还原到n本文档来自技高网...
【技术保护点】
1.用于相似堆垛的三维点云语义分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求5所述的方法，其特征在于，
7.用于相似堆垛的三维点云语义分割装置，其特征在于，所述装置包括：
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现如权利要求1-6任一项所述的用于相似堆垛的三维点云语义分割方法中的各个步骤。
【技术特征摘要】
1.用于相似堆垛的三维点云语义分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6...
【专利技术属性】
技术研发人员：沙芸，韩冉冉，刘学君，晏涌，郭嘉程，苑璐芝，
申请(专利权)人：北京石油化工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。