基于多模态信息融合及语义分割的车载料堆体积计算方法技术

本发明专利技术属于环境感知与智能化工业检测技术领域，一种基于多模态信息融合及语义分割的车载料堆体积计算方法，包括以下步骤：(1)矿用卡车作业环境数据集的采集与建立，(2)通过深度卷积神经网络进行语义分割，(3)通过泊松重建将离散的料堆表面点云重建为平面，(4)计算车载料堆体积。本发明专利技术具有以下优点：一是针对传统点云分割算法容易忽略除激光雷达传感器之外的摄像机获取的丰富视觉信息的问题，将颜色信息嵌入数据层用以提高实时点云分割的性能；二是，本发明专利技术基于三维表面重建技术，并结合三维点云数据的几何特征识别实现了车载料堆体积的高效、高精度计算。高精度计算。高精度计算。

【技术实现步骤摘要】
基于多模态信息融合及语义分割的车载料堆体积计算方法


[0001]本专利技术涉及一种基于多模态信息融合及语义分割的车载料堆体积计算方法，属于环境感知与智能化工业检测


技术介绍

[0002]矿用电铲(如图1所示)是一种在露天开采中使用的，用于矿石剥离和采装作业的关键矿山设备,通常与矿用自卸车(如图2所示)配套使用。而矿用电铲庞大复杂的机身结构导致传统的人工操作需要消耗大量精力，容易引起挖掘效率降低等问题。因此，智能化成为大型矿用电铲发展的重要方向之一。而大型矿用电铲智能化中一个亟待解决的问题就是矿用电铲与矿用自卸卡车配套使用的问题。目前在采矿工业的应用中，仍然需要一名电铲驾驶司机人工判断矿卡所装载物料是否达到满载。因此要想实现无人电铲的智能化，首要的就是一套能够自动识别判断车载料堆体积的方法，这样才能为后续的挖掘工作的智能规划做好铺垫。

技术实现思路

[0003]为了解决上述问题，本专利技术目的是提供一种利用多模态信息融合数据计算车载料堆体积的方法，针对传统点云分割算法容易忽略除激光雷达传感器之外的摄像机获取的丰富视觉信息的问题，将颜色信息嵌入数据层的同时结合注意力机制用以提高实时点云分割的性能，此外还基于三维表面重建技术，并结合三维点云数据的几何特征识别实现了车载料堆体积的高效、高精度计算。
[0004]为了实现上述专利技术目的，本专利技术采取的技术方案是：一种基于多模态信息融合及语义分割的车载料堆体积计算方法，包括以下步骤：
[0005]步骤1、矿用卡车作业环境数据集的采集与建立，通过激光雷达与相机搭建三维环境感知系统来采集电铲正常工作环境下的点云及图像数据，矿用卡车作业环境数据集的建立，具体包括以下子步骤：
[0006](a)数据标注，将在矿用卡车复杂作业环境下采集到的2100幅点云数据中的点云分为9个类别，分别为料堆、地面、车、人、杂点、墙、楼梯、车上的料以及电铲本身，通过手动标注的方式为点云中的每个点打上相应的类别标签；
[0007](b)三维彩色点云融合，对于一个真实的场景而言，由三维彩色激光扫描系统同步获取该场景的一帧三维激光点云数据和对应的一帧二维图像数据，记p＝[x，y，z]T
为一帧点云数据中的一个激光点，其齐次坐标表示为激光点p投影到像素坐标系下的点q＝[u，v]T
，通过公式(1)进行描述，
[0008][0009]式中，为三维激光坐标系到像素坐标系之间的几何映射关系，也称之为单应性矩阵，其中A为相机内参矩阵，由相机标定获得，和分别表示单应性矩阵H的对应行的行向量，则三维彩色激光点的坐标形式p
c
，通过公式(2)进行描述，
[0010]p
c
＝[x，y，z，R(u，v)，G(u，v)，B(u，v)]T
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0011]式中，R(u，v)、G(u，v)和B(u，v)分别表示投影像素点的三维颜色信息，值得指出的是，随着激光点的距离越来越远，由于标定误差和三维激光及相机的测量误差同时作用，导致数据融合的精度会有所降低，对真实场景的三维激光点云中每个激光点通过单应性矩阵逐一进行投影，找到与之对应的投影像素点，将激光点进行染色获取三维彩色点云；
[0012]步骤2、通过深度卷积神经网络进行语义分割，是以传统的point
‑
net语义分割网络为框架，同时结合注意力机制，基于点云的位置及颜色信息进行语义分割，实现电铲在复杂环境下对矿用卡车的感知和识别，并提取出卸货矿卡及其车载料堆表面点云数据，具体包括以下子步骤：
[0013](a)特征增强，增加了颜色特征作为辅助特征，输入端中使用包含颜色信息的三维三色点云数据(1
×
6)代替原始point
‑
net网络中只包含位置信息的点云数据(1
×
3)；
[0014](b)编码端共包含5个卷积层，其中Conv1参数为卷积核尺寸1
×
6、步长[1，1]、边缘不填充、输出通道数64；Conv2、Conv3参数均为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数64；Conv4的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数128；Conv5的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数1024；以上各卷积层均采用Leaky_ReLU激活函数进行激活；池化层Maxpool1的参数为输入点的数量(4096)
×
1最大池化、步长[2，2]、无填充；然后经过两个全连接层输出为128维的特征向量；
[0015](c)解码端首先先经历两个卷积层Conv6、Conv7，其中Conv6的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数512；Conv7的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数256，且均采用Leaky_ReLU激活函数进行激活；接着为了防止过拟合先进行Dropout操作，比率设为0.7；然后通过一个卷积层Conv8，其参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数9；最后删掉维度为1的维，返回网络参数；
[0016](d)插入注意力机制，在网络中编码端的每次卷积层后都加入了一个注意力模块(ECA
‑
Net)用以实时提高点云分割的性能，该注意力模块首先通过全局平均池化将特征图由[h，w，c]的矩阵变为[1，1，c]的向量，其中h，w为特征图的尺寸，c为通道数；接着自适应确定卷积核大小然后进行一维卷积得到对于特征图的每个通道的权重，最后经Sigmoid函数激活后，将归一化权重和原输入特征图逐通道相乘生成加权后的特征图；
[0017]步骤3、通过泊松重建将离散的料堆表面点云重建为平面，泊松重建是一项结合了全局与局部匹配优点的重建方案，核心思想是通过将物体表面的离散样本点信息转化到连续可积的表面函数上，从而构造出水密性的隐式表面，该方法通过输入有向点云得到以三
角网格形式表示的隐式表面，具体包括以下子步骤：
[0018](a)计算点云法向量，通过激光雷达采集的点云数据是没有方向的，为此需要手动计算点云的法向量，采用对每个离散点云使用六个相邻点拟合局部平面并求该平面的法向量，通过求平面法向量近似代替点云法向量的方法得到有向点云；
[0019](b)通过泊松重建重构车载料堆表面，首先构造一个指示函数，令其满足物体内取值为1，其余为0，现令M为物体区域，则指示函数χ
M
，通过公式(3)进行描述，
[0020][0021]这样就把重构物体表面的问题转换为重构χ
M
的问题，同时χ
M
的梯度又等于点云表面法向量，因此问题转化为求解自身梯度和向量场点云法向量最接近的指示函数应用欧拉
‑
拉格朗日本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息融合及语义分割的车载料堆体积计算方法，其特征在于包括以下步骤：步骤1、矿用卡车作业环境数据集的采集与建立，通过激光雷达与相机搭建三维环境感知系统来采集电铲正常工作环境下的点云及图像数据，矿用卡车作业环境数据集的建立，具体包括以下子步骤：(a)数据标注，将在矿用卡车复杂作业环境下采集到的2100幅点云数据中的点云分为9个类别，分别为料堆、地面、车、人、杂点、墙、楼梯、车上的料以及电铲本身，通过手动标注的方式为点云中的每个点打上相应的类别标签；(b)三维彩色点云融合，对于一个真实的场景而言，由三维彩色激光扫描系统同步获取该场景的一帧三维激光点云数据和对应的一帧二维图像数据，记p＝[x，y，z]
T
为一帧点云数据中的一个激光点，其齐次坐标表示为激光点p投影到像素坐标系下的点q＝[u，v]
T
，通过公式(1)进行描述，式中，为三维激光坐标系到像素坐标系之间的几何映射关系，也称之为单应性矩阵，其中A为相机内参矩阵，由相机标定获得，和分别表示单应性矩阵H的对应行的行向量，则三维彩色激光点的坐标形式p
c
，通过公式(2)进行描述，p
c
＝[x，y，z，R(u，v)，G(u，v)，B(u，v)]
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中，R(u，v)、G(u，v)和B(u，v)分别表示投影像素点的三维颜色信息，值得指出的是，随着激光点的距离越来越远，由于标定误差和三维激光及相机的测量误差同时作用，导致数据融合的精度会有所降低，对真实场景的三维激光点云中每个激光点通过单应性矩阵逐一进行投影，找到与之对应的投影像素点，将激光点进行染色获取三维彩色点云；步骤2、通过深度卷积神经网络进行语义分割，是以传统的point
‑
net语义分割网络为框架，同时结合注意力机制，基于点云的位置及颜色信息进行语义分割，实现电铲在复杂环境下对矿用卡车的感知和识别，并提取出卸货矿卡及其车载料堆表面点云数据，具体包括以下子步骤：(a)特征增强，增加了颜色特征作为辅助特征，输入端中使用包含颜色信息的三维三色点云数据(1
×
6)代替原始point
‑
net网络中只包含位置信息的点云数据(1
×
3)；(b)编码端共包含5个卷积层，其中Conv1参数为卷积核尺寸1
×
6、步长[1，1]、边缘不填充、输出通道数64；Conv2、Conv3参数均为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数64；Conv4的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数128；Conv5的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数1024；以上各卷积层均采用Leaky_ReLU激活函数进行激活；池化层Maxpool1的参数为输入点的数量(4096)
×
1最大池
化、步长[2，2]、无填充；然后经过两个全连接层输出为128维的特征向量；(c)解码端首先先经历两个卷积层Conv6、Conv7，其中Conv6的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数512；Conv7的参数为卷积核尺寸1
×
1、步长[1，1]、边缘不填充、输出通道数256，且均采用Leaky_ReLU激活函数进行激活；接着为了防止...

【专利技术属性】
技术研发人员：安毅，马明磊，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：