挖掘机控制方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种挖掘机控制方法、装置、设备及存储介质，其中，该方法包括：通过获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的作业环境的点云数据、以及待控制挖掘机的当前状态参数，并根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置，然后根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业。通过针对作业环境的图像输入的屏幕像素坐标以及作业环境的点云数据，进行挖掘位置的确定，提高了挖掘位置的准确度，实现了一键点哪挖哪的自动化操作，有效降低操作难度并提高挖掘机控制精度。控制精度。控制精度。

【技术实现步骤摘要】
挖掘机控制方法、装置、设备及存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种挖掘机控制方法、装置、设备及存储介质。

技术介绍

[0002]工程机械是装备工业的重要组成部分，分为挖掘机械、铲土运输机械、工程起重机械、工业车辆等。其中，挖掘机械是用铲斗挖掘高于或低于承机面的物料，并装入运输车辆或卸至堆料场的工程机械。
[0003]目前，大多数远程控制挖掘机的方式都是模拟驾驶舱，通过模拟真实挖掘机的座舱并集成视频传输，对挖掘机进行远程控制，远程控制挖掘机不仅可以让操作者在条件舒适的环境下工作，并且还保障了操作者的人身安全，提高作业质量和效率。
[0004]然而，通过远程视频传输对挖掘机进行远程控制，容易导致操作者对挖掘位置及深度进行误判，可能会导致空挖、挖掘机侧翻等。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种挖掘机控制方法、装置、设备及存储介质，以准确确定挖掘位置，提高挖掘机控制精度。
[0006]第一方面，本申请实施例提供了一种挖掘机控制方法，包括：
[0007]获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的所述作业环境的点云数据、以及所述待控制挖掘机的当前状态参数；
[0008]根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置；
[0009]根据所述当前状态参数，控制所述待控制挖掘机对所述目标挖掘位置执行挖掘作业。
[0010]第二方面，本申请实施例还提供了一种挖掘机控制装置，包括：
[0011]获取模块，用于获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的所述作业环境的点云数据、以及所述待控制挖掘机的当前状态参数；
[0012]确定模块，用于根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置；
[0013]控制模块，用于根据所述当前状态参数，控制所述待控制挖掘机对所述目标挖掘位置执行挖掘作业。
[0014]第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面所述的挖掘机控制方法。
[0015]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存
储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述的挖掘机控制方法。
[0016]本申请实施例提供了一种挖掘机控制方法、装置、设备及存储介质，其中，该方法包括：通过获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的作业环境的点云数据、以及待控制挖掘机的当前状态参数，并根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置，然后根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业。通过针对作业环境的图像输入的屏幕像素坐标以及作业环境的点云数据，进行挖掘位置的确定，提高了挖掘位置的准确度，实现了一键点哪挖哪的自动化操作，有效降低操作难度并提高挖掘机控制精度。
[0017]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0018]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1为本申请实施例提供的相机坐标系和图像坐标系的示意图；
[0020]图2为本申请实施例提供的图像坐标系和像素坐标系的示意图；
[0021]图3为本申请实施例提供的挖掘机控制方法的流程示意图一；
[0022]图4为本申请实施例提供的待控制挖掘机的示意图；
[0023]图5为本申请实施例提供的挖掘机控制方法的流程示意图二；
[0024]图6为本申请实施例提供的挖掘机控制方法的流程示意图三；
[0025]图7为本申请实施例提供的挖掘机控制方法的流程示意图四；
[0026]图8为本申请实施例提供的挖掘机控制方法的流程示意图五；
[0027]图9为本申请实施例提供的挖掘机控制方法的流程示意图六；
[0028]图10为本申请实施例提供显示界面的示意图；
[0029]图11为本申请实施例提供的挖掘机控制装置的结构示意图；
[0030]图12为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0031]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0032]对于目前通过模拟驾驶舱远程控制挖掘机的方案，对于挖掘或甩方作业这种需要多次重复操作的任务，操作者仍需要在模拟座舱中不断进行复杂的操控，操作者需要通过一路或多路平面化的远程视像进行肉眼观测，人为判断需要挖掘的位置以及深度，并在模拟驾驶舱中使用与挖掘机座舱中类似的手柄进行远程操控。
[0033]然而，上述方案存在如下缺陷：
[0034](1)现有的远程操控需要在模拟驾驶舱中操控，对于远程操控环境的建立有极高要求，在远程操控过程中，每进行一次挖掘动作，均需要人为调整挖机大小臂位置以及挖斗的角度。
[0035](2)通过远程操控摇杆进行挖土等需要复合动作的作业时，由于操控的复杂度以及数据传输造成的延时，在实际操控中需要严格要求操作者高度精力集中，因此施工作业的效率和质量往往因为操作人员的水平而存在差异。
[0036](3)平面化的远程视像传输，由于不像在实地操作对周围环境有亲身感受，容易导致操作者在远程操控的时候对挖掘位置及深度造成误判，在进行挖掘作业时可能会出现空挖等情况，严重者甚至会导致挖掘机侧翻。
[0037]由此可知，目前远程挖掘机需要人为判断并重复多次进行复杂操控才能完成现实环境中的挖掘作业，对于这种远程操控方式，虽然改善了操作者的工作环境，但并没有很好的释放操作者劳动力并降低操作门槛。
[0038]基于此，本申请提供了一种挖掘机控制方法，为现在挖掘机提供一种简单的半自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种挖掘机控制方法，其特征在于，包括：获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的所述作业环境的点云数据、以及所述待控制挖掘机的当前状态参数；根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置；根据所述当前状态参数，控制所述待控制挖掘机对所述目标挖掘位置执行挖掘作业。2.根据权利要求1所述的方法，其特征在于，所述根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置之前，所述方法还包括：将所述作业环境的图像从图像坐标系转换到像素坐标系，得到所述作业环境的图像对应的像素坐标；对所述作业环境的图像对应的像素坐标和所述作业环境的点云数据进行联合标定，得到标定数据，所述标定数据用于指示所述作业环境的图像对应的像素坐标和所述作业环境的点云数据之间的对应关系；所述根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置，包括：根据所述对应关系，从所述作业环境的点云数据中确定所述屏幕像素坐标对应的点云数据；根据所述屏幕像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置。3.根据权利要求2所述的方法，其特征在于，所述根据所述屏幕像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：将所述屏幕像素坐标对应的点云数据从所述激光雷达对应的相机坐标系转换到世界坐标系，得到所述屏幕像素坐标对应的三维坐标；根据所述屏幕像素坐标对应的三维坐标，确定所述作业环境中的所述目标挖掘位置。4.根据权利要求2所述的方法，其特征在于，所述根据所述屏幕像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：在所述作业环境的点云数据中，根据所述屏幕像素坐标对应的点云数据进行像素扩展，得到预设像素范围内的目标点云数据；根据所述预设像素范围内的目标点云数据，从所述作业环境中，确定所述目标挖掘位置。5.根据权利要求4所述的方法，其特征在于，所述根据所述预设像素范围内的目标点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：将所述目标点云数据从所述激光雷达对应的相机坐标系转换到像素坐标系，得到所述目标点云数据对应的像素坐标；根据所述目标点云数据对应的像素坐标，从所述作业环境中，确定所述目标挖掘位置。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标点云数据对应的像素坐标，从所述作业环境中，确定所述目标挖掘位置，包括：对所述目标点云数据对应的像素坐标进行聚类，得到多个像素坐标类别；分别计算所述多个像素坐标类别和所述屏幕像素坐标的吻合度；
根据所述吻合度，从所述多个像素坐标类别中确定目标像素坐标类别；根据所述目标像素坐标类别中像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置。7.根据权利要求6所述的方法，其特征在于，所述目标像素坐标类别中的像素坐标的数量为一个；所述根据所述目标像素坐标类别中像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：将所述目标像素坐标类别中像素坐标对应的点云数据从所述相机坐标系转换...

【专利技术属性】
技术研发人员：杨新伟，陈赢峰，胡志鹏，范长杰，周锋，吴悦晨，韩夏冰，陈广大，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：