一种装载机地空协同作业方法技术

本发明专利技术公开了一种装载机地空协同作业方法，涉及工程机械技术领域，其硬件包括装载机和无人机，经机载中央控制模块的图像处理单元处理后构建作业现场全局三维图；所构建的三维地图经装载机上安装的路径规划单元处理后，可构建装载机工作过程中最优工作路线；此外，安装在装载机上的环境感知模块获取地面视角的作业现场图，通过中央处理模块处理识别料堆中物料的种类与三维建模，并以识别结果作为模型输入量实现工作装置的智能控制。这种地空协同作业方法能够结合单目相机与激光雷达二者的优势，准确构建作业场地三维场景，此外融合陆域与空域双视角对场地的建模，可完整包含单视角视野盲区内的行人以及障碍物，为装载机的安全作业提供保障。全作业提供保障。全作业提供保障。

【技术实现步骤摘要】
一种装载机地空协同作业方法


[0001]本专利技术涉及工程机械
，具体是一种装载机地空协同作业方法。

技术介绍

[0002]作为工程机械领域历史最悠久，产业链最完善的机型，尽管部分功能可以由挖掘机所取代，装载机依旧在钢铁，煤炭和港口等特定工作场景下不可替代。而对于操作者，在装载机的整个作业循环中，驾驶员需要控制装载机在短时间内连续完成六十到八十次作业循环，这不仅对操作人员眼脑手的配合要求极高，同时也会消耗大量的体力和精力。而在技术变革的推动下，传统装载机行业正在向着自主化与电动化的方向转型。
[0003]在工程机械自主化转型的进程中，机器视觉起到了极为重要的作用。机器视觉技术能够解决人眼识别准确率低、效率差以及监控效率低等弊端，同时操作人员不必再前往操作场地，避免了现场扬尘对驾驶员身体健康的影响。然而由于作业场景地形复杂，高大的障碍物易产生视野盲区，单一视角下的图像感知系统不易检测到视野盲区内可能存在的物体，从一定程度上提升了生产过程中的风险。

技术实现思路

[0004]本专利技术的目的在于提供一种装载机地空协同作业方法，以解决机器识别准确率低、效率差和监控效率低的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种装载机地空协同作业方法，基于无人装载机和无人机，无人装载机为分布式电驱动无人装载机；该作业方法包括以下步骤：步骤1作业场景三维地图构建：遥控无人机在作业现场飞行，获取作业现场二维图和作业场地三维点云信息，将作业现场二维图和作业场地三维点云信息，构建作业场景三维视图；步骤2装载机作业路径规划：规划作业场景三维地形图中无人装载机所有可能的作业路径，可行作业路径结合所获取各路径之间的路面状况构造最优作业路径；步骤3：物料识别与作业装置智能控制：获取作业路径的料堆信息，以根据事先训练好的模型，输入料堆信息以实现装载机工作的智能控制。
[0006]在上述技术方案的基础上，本专利技术还提供以下可选技术方案：在一种可选方案中：所述作业场景三维地图构建的具体步骤如下：步骤1
‑
1：操作人员向无人机下达工作指令，无人机从停机平台起飞；步骤1
‑
2：无人机环绕作业现场飞行，并获取无人装载机的工作现场图像以及三维点云信息，同时无人机还获取本身的位姿信息；其中，位置信息包括无人机姿态信息和无人机位置信息；步骤1
‑
3：根据获取到的无人机的姿态信息对所获取的图像进行畸变矫正并标定
关键像素点，以此为参考将相邻帧的图像进行拼接，得到作业现场二维图；步骤1
‑
4：识别场景内各特征的类别；其中，识别的特征包括无人装载机、料堆和厂房内的车辆；步骤1
‑
5：将获取的作业场地三维点云信息，结合无人机反馈回的数据进行畸变处理；将畸变处理完成的点云数据与全局二维视图进行数据融合，构建作业场景三维视图。
[0007]在一种可选方案中：所述装载机作业路径规划的具体步骤如下：步骤2
‑
1：通过图像识别算法对得到的作业场景三维地形图中料堆、车辆、建筑物以及各类地形特征进行图像分割并进行位置标定；步骤2
‑
2：根据作业场景三维地形图分析各节点之间的路面地形状况，分析各路径的通过可行性；步骤2
‑
3：以装载机实时位置，料堆位置与卸料点位置作为工作路径中的节点，将其余特征作为障碍点，规划出所有可能的作业路径；步骤2
‑
4：根据无人装载机可行作业路径并结合各路径之间的路面状况，以路径与功耗最优为目标构造一条最优作业路径。
[0008]在一种可选方案中：所述物料识别与作业装置智能控制的具体步骤如下：步骤3
‑
1：在优化后的作业路径卸料点到料堆点方向标定关键帧捕捉点；步骤3
‑
2：在关键帧捕捉点获取料堆彩色图像，通过图像识别算法对料堆种类进行识别；步骤3
‑
3：对图像进行关键特征点提取，捕捉料堆内角点位置，根据捕捉到的角点位置对料堆图像进行网格划分，根据网格内料堆中物料粒度的大小；步骤3
‑
4：将料堆点云信息与彩色图像进行数据融合，获取料堆长宽高三维几何信息；步骤3
‑
5：根据事先训练好的模型，以料堆的物料种类、几何形状、料堆大小、湿度为输入，驱动电机转矩和料堆铲装点作为输出，实现对无人装载机的智能控制。
[0009]在一种可选方案中：所述无人装载机包括底盘和工作装置；其中，装载机底盘为铰接式结构，前后车架由铰接销连接，整车的转向由转向电缸驱动，转向电缸缸筒和电推杆分别通过铰接销与前后车架连接，工作装置固定在前车架上；无人机停机坪设置在后车架上方。
[0010]在一种可选方案中：所述无人装载机还包括环境感知模块、姿态感知模块和中央控制模块，所述环境感知模块用于获取周边场景的实际情况；所述姿态感知模块用于获取无人装载机行走姿态和速度信息；所述中央控制模块用于获取各个模块的信息，中央控制模块中具有路径规划单元，路径规划单元规划出无人装载机作业路径。
[0011]在一种可选方案中：环境感知模块为对个并分别安装在无人装载机后车架的前侧、后侧以及车身的两侧；其中，无人装载机后车架前侧的环境感知模块包括激光雷达单元与图像感知单元，无人装载机后车架的后侧和左右两侧的安全感知模块由超声波雷达组成；图像感知单元用以实时获取周边的场景彩色图像，激光雷达单元用以获取景深信息，超声波雷达用于感知车身周围是否存在未知障碍物；各单元将所获取信息通过数据线传输至装载机机载中央控制模块内。
[0012]在一种可选方案中：无人机上配置有激光雷达、摄像头、GPS 、位姿感知模块、机载控制模块和遥控器；所述激光雷达用于获取的三维点云信息，摄像头用于获取无人装载机的工作现场图像；GPS 用于获取无人机的位置信息；机载控制模块与遥控器相连并用于对无人机进行飞行控制；位姿感知元件用以实时获取无人机的飞行姿态、速度和位置信息相较于现有技术，本专利技术的有益效果如下：本专利技术通过无人机和装载机地空双视角场景构图，能够全方位无死角实现工作场景构造。
[0013]本专利技术无人机与装载机均采用模块化设计，可根据不同场景选择不同种类的环境感知模块，以实现不同的工作目的；无人机与装载机均具备独立的高性能中央控制模块，提升了数据处理的效率；本专利技术将机器视觉技术融入到了真实的作业现场中，并且无人机与装载机均可通过遥控器远程操控，操作人员无需进入作业现场即可完成生产任务，提升了生产的安全性，减少作业现场产生的灰尘对操作人员身体健康的影响。
[0014]本专利技术可结合工作场景的图像特征，景深信息与装载机自身的位姿状态构建多条装载机作业路径，并根据不同作业阶段设定的不同目标函数，选择一条优选的作业路径。
附图说明
[0015]图1为地空协同作业系统硬件组成。
[0016]图2为地空协同作业系统中装载机的硬件组成。
[0017]图3为地空协同作业系统中无人机的硬件组成。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装载机地空协同作业方法，基于无人装载机和无人机，其特征在于，无人装载机为分布式电驱动无人装载机；该作业方法包括以下步骤：步骤1作业场景三维地图构建：遥控无人机在作业现场飞行，获取作业现场二维图和作业场地三维点云信息，将作业现场二维图和作业场地三维点云信息，构建作业场景三维视图；步骤2装载机作业路径规划：规划作业场景三维地形图中无人装载机所有可能的作业路径，可行作业路径结合所获取各路径之间的路面状况构造最优作业路径；步骤3：物料识别与作业装置智能控制：获取作业路径的料堆信息，以根据事先训练好的模型，输入料堆信息以实现装载机工作的智能控制。2.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述作业场景三维地图构建的具体步骤如下：步骤1
‑
1：操作人员向无人机下达工作指令，无人机从停机平台起飞；步骤1
‑
2：无人机环绕作业现场飞行，并获取无人装载机的工作现场图像以及三维点云信息，同时无人机还获取本身的位姿信息；其中，位置信息包括无人机姿态信息和无人机位置信息；步骤1
‑
3：根据获取到的无人机的姿态信息对所获取的图像进行畸变矫正并标定关键像素点，以此为参考将相邻帧的图像进行拼接，得到作业现场二维图；步骤1
‑
4：识别场景内各特征的类别；其中，识别的特征包括无人装载机、料堆和厂房内的车辆；步骤1
‑
5：将获取的作业场地三维点云信息，结合无人机反馈回的数据进行畸变处理；将畸变处理完成的点云数据与全局二维视图进行数据融合，构建作业场景三维视图。3.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述装载机作业路径规划的具体步骤如下：步骤2
‑
1：通过图像识别算法对得到的作业场景三维地形图中料堆、车辆、建筑物以及各类地形特征进行图像分割并进行位置标定；步骤2
‑
2：根据作业场景三维地形图分析各节点之间的路面地形状况，分析各路径的通过可行性；步骤2
‑
3：以无人装载机实时位置、料堆位置与卸料点位置作为工作路径中的节点，将其余特征作为障碍点，规划出所有可能的作业路径；步骤2
‑
4：根据无人装载机可行作业路径并结合各路径之间的路面状况，以路径与功耗最优为目标构造一条最优作业路径。4.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述物料识别...

【专利技术属性】
技术研发人员：姚宗伟，李昊旻，毕秋实，王永，涂鑫，李盟，
申请(专利权)人：吉林大学，
类型：发明
国别省市：