【技术实现步骤摘要】
本专利技术涉及一种基于轻量注意力机制的挖掘机作业场景三维点云语义分割方法，属于环境感知与智能化工业检测。
技术介绍
1、当前，随着我国社会、经济等各方面的快速发展，能源、建筑材料、化工原料、金属材料、稀土等战略性资源在航空航天、军事、基础建设等工程领域显得愈发重要，而这些都依赖于矿产资源。采矿方法有露天开采和地下开采两种。其中，露天开采适用于埋藏较浅或者露出地表较大规模的矿床，具有产量大、生产成本低、开采率高、安全性好等优点。露天开采在技术和经济上的明显优势决定了其在采矿方法选择上的优势。世界上大部分的陆地固体资源是通过大型矿用挖掘机露天开采的方式获得的。但是，目前现有大型矿用挖掘机的挖掘作业智能化水平不高，主要靠人工操作，由于挖掘机体积巨大、振动剧烈，操作员视距远，同时矿岩复杂多变，形貌起伏不平、砾岩、砂岩、页岩等并存、块度相差悬殊等问题，操作员在实际挖掘机作业方面存在明显不足，存在工作效率低，机械故障多，能耗高，安全性差等问题。因此，实现挖掘机智能化势在必行。
2、挖掘机智能化包含人工智能、机器人、自动控制等先进技术，集作业环境感知，位姿检测、路径规划等多功能于一体。其中，作业环境感知功能是实现挖掘机智能化的关键，是位姿检测、路径规划等功能的基础与前提，其性能将直接决定挖掘机的智能化水平。为实现大型矿用挖掘机对作业场景的感知，首先要解决三维作业场景语义分割的技术难题。三维作业场景语义分割是指将智能挖掘机三维作业场景中的每一个子单元赋予语义信息，实现对作业场景中不同种类目标的分割。三维作业场景语义分割如果无法准确识
3、目前常用的三维作业场景语义分割的方法大致可以分为：基于多视图、基于体素和基于原始点云的方法。基于多视图的语义分割方法是将二维深度学习技术应用到三维场景下的最简单的方式，早期利用这种思想进行深度学习工作的是multi-view cnn。然而multi-view图像表示并没有在真正的三维环境下学习，固定数量的二维图像仍然只是一个对于底层的三维结构的不完美的近似，在面对复杂场景时，会因提取特征信息有限而影响分割的准确性。基于体素的语义分割方法，是将非结构化的点云数据转化为结构化的三维网格，并利用三维神经网络去学习其特征来实现点云的语义分割。例如voxnet采用的是概率占用网格，每个体素都包含该体素在空间中被占用的概率，这样做可以允许网络区分已知是自由的体素和占用情况未知的体素，但是这样的架构没有旋转不变性，在训练过程中，需要额外进行旋转处理，并且随着设备精度的提高，计算量和内存的占用也在增加。鉴于间接的点云语义分割方法存在的信息丢失，计算量大，占用内存高等问题，不少学者提出了基于原始点云的方法。pointnet网络解决了点云无序性、几何旋转不变性等问题，在点云分类和语义分割方面均取得了较大的突破。近年来，自我注意网络在自然语言处理领域大放异彩，也让更多学者将自我注意网络应用到图像领域，比如point transformer利用利用点与点之间的几何关系，使用mlp操作，可以有效聚合点云的局部特征，然而基于自我注意网络的方法大都结构复杂，参数多，耗费时间长，难以部署于移动端。
4、与上述方法不同，本专利技术设计了一种比较新颖的三维点云语义分割方法，将其命名为基于轻量注意力机制的挖掘机作业场景三维点云语义分割网络。本网络基于注意力机制，可以更好地利用点云的旋转不变性和无序性，更有利于局部特征信息的提取，结合幻影轻量化模块，可以更好地克服注意力机制计算量大，参数多的问题，使其有希望部署到移动设备平台。
技术实现思路
1、为了克服现有技术中存在的不足，本专利技术目的是提供一种基于轻量注意力机制的挖掘机作业场景三维点云语义分割方法，用以保证矿用挖掘机对作业场景中的物体进行识别，针对传统的卷积神经网络存在的结构复杂，参数多，计算量大的问题。本专利技术提出的网络可以忽略点云数据排列的无序性，利用注意力机制进行特征图的提取，在此基础上又采用了一种幻影轻量化模块，用来更快速的生成特征图，减少对于算力的消耗。
2、为了实现上述专利技术目的，解决己有技术中存在的问题，本专利技术采取的技术方案是：一种基于轻量注意力机制的挖掘机作业场景三维点云语义分割方法，包括以下步骤：
3、步骤1、建立挖掘机作业环境数据集，通过激光雷达搭建三维环境感知系统来采集挖掘机作业环境中的点云数据，数据集的建立，包括以下子步骤：
4、(a)数据采集，将激光雷达安置在挖掘机驾驶室旁边，通过挖掘机移动及旋转操作，采集现场环境的点云数据；
5、(b)数据标注，对激光雷达在复杂作业环境中采集的点云数据进行标注，最终有效标注点云2400幅，根据现场环境和采集到的点云数据，将点云划分为料堆、地面、料车、人员、挖掘机以及噪声点，通过人工标注的方式为点云数据中每一个点标注相应的类别；
6、(c)数据分组，将标注好的2400幅点云分组，其中2000幅作为训练集，用来训练神经网络的参数，400幅作为测试集，用来检测神经网络的鲁棒性和普适性；
7、步骤2、数据预处理，减小三维点云的数据量，采用最远点采样(fps)将每一幅点云图像降采样到8192个点，对于一幅点云p＝{pi＝(xi，yi，zi)|1≤i≤n}，随机选择一个点p1，得到采样点集合s＝{p1}，根据欧氏距离计算所有点到点p1的距离，构成集合d＝{d(pi，p1)|1≤i≤n}，其中d(pi，p1)表示pi到p1的欧式距离，比较得出集合d中的最大距离，记最大距离点为p2，更新采样点集合s＝{p1，p2}，接着计算所有点到点p2的距离，若对应距离小于集合d中的对应元素d[i]，则更新该元素d[i]＝d(pi，p2)，保持集合d中始终记录所有点与采样点集合s中的点的最小距离，选取集合d中最大值对应的点作为p3，更新采样点集合s＝{p1，p2，p3}。重复以上步骤，最终完成8192个点的采样；
8、步骤3、构建基于轻量注意力机制的挖掘机作业场景三维点云语义分割网络，该网络包含幻影卷积模块，输入模块，偏移注意模块，池化模块，独热编码模块，特征融合模块和输出模块，该网络的输入为带有类别标签的三维点云其中x，y，z为点云数据的坐标，l为点云数据的类别，具体包括以下子步骤：
9、(a)搭建幻影卷积模块，使用幻影卷积模块实现特征提取的功能，对比使用mlp提取特征，可以减少参数量，提高效率，记幻影卷积模块的输入通道数和输出通道数分别为nin和nout，幻影卷积包括以下两步，第一步是使用mlp，输入通道数为nin，输出通道数为nout/2，记此步的输出为部分特征图fi，i＝1，...，nout/2，第二步是使用深度卷积，输入为部分特征图fi，i＝1，...，nout/2，记此步输出为幻影特征图gi，i＝1，...，nout/2，最后将部分特征图fi和幻影特征图gi二者拼接到一起，构成特征图ti，i＝1本文档来自技高网...
【技术保护点】
1.一种基于轻量注意力机制的挖掘机作业场景三维点云语义分割方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种基于轻量注意力机制的挖掘机作业场景三维...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。