【技术实现步骤摘要】
本专利技术涉及挖掘点推荐，尤其是涉及一种基于多传感器融合的挖掘点推荐方法、装置、设备及介质。
技术介绍
1、目前大多数远程操控挖机的系统都是模拟驾驶舱，通过模拟真实挖机的座舱并集成视像传输，对挖机进行远程操控。这种技术不仅可以让操作者在条件舒适的环境下工作，同时保障了操作者的人身安全，提高了作业质量和效率。然而，对于挖掘或甩方作业这种需要多次重复操作的任务，操作者仍然需要在模拟座舱中不断进行复杂的操控，对挖掘机师傅的操作有极高要求，容易疲劳和出错。
2、作为挖掘机的常规作业项之一——装车，也是挖机师傅在实际操作中必须高度集中精力完成的施工作业。因此，在远程操控挖机的图像传输界面中集成自动装车作业的功能具有实际意义。这种技术能够让操作者只需要在远程界面上录入装车作业的挖掘方向，挖掘机即可持续自动完成装车作业，降低因远程操作过程中需要高度集中精力导致的安全风险，释放操作者劳动力，提高整体作业效率。
3、规划装车作业的轨迹路径需要算法模块在每轮作业中提供一个最优的挖掘点，目前常见的挖掘点预测方案分为基于规则的方案和基于关键点检测的方案。其中，基于规则的方案虽然简单易行，但是容易发生因挖掘点不够准确而导致运动控制规划失败的情况，从而中断区域装车流程；基于关键点检测的方案需要挑选大量的挖土序列，并针对挖土序列标注挖土点位置，不仅标注工作非常繁琐，而且标注过程中记录挖土点位置可能会引入误差，导致预测偏差较大，进而无法可靠地推荐挖掘点。
技术实现思路
1、有鉴于此，本专利
2、第一方面，本专利技术实施例提供了一种基于多传感器融合的挖掘点推荐方法，包括：
3、获取挖掘机作业场景的视觉数据；其中，所述视觉数据包括场景图像数据和场景点云数据；
4、通过预先训练得到的目标区域预测模型，基于所述场景图像数据确定所述挖掘机作业场景内的可挖掘区域范围；所述目标区域预测模型为以训练图像为输入数据，以可挖掘区域范围为输出数据训练得到的；
5、基于所述可挖掘区域范围，从所述场景点云数据中确定备选点云数据；
6、根据预设的挖掘机限位参数从所述备选点云数据中确定所述挖掘机作业场景内的目标推荐挖掘点。
7、第二方面，本专利技术实施例还提供一种基于多传感器融合的挖掘点推荐装置，包括：
8、数据获取模块，用于获取挖掘机作业场景的视觉数据；其中，所述视觉数据包括场景图像数据和场景点云数据；
9、区域预测模块，用于通过预先训练得到的目标区域预测模型，基于所述场景图像数据确定所述挖掘机作业场景内的可挖掘区域范围；所述目标区域预测模型为以训练图像为输入数据，以可挖掘区域范围为输出数据训练得到的；
10、备选点云确定模块，用于基于所述可挖掘区域范围，从所述场景点云数据中确定备选点云数据；
11、挖掘点推荐模块，用于根据预设的挖掘机限位参数从所述备选点云数据中确定所述挖掘机作业场景内的目标推荐挖掘点。
12、第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
13、第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
14、本专利技术实施例提供的一种基于多传感器融合的挖掘点推荐方法、装置、设备及介质，在获取挖掘机作业场景的场景图像数据和场景点云数据等视觉数据之后，可以首先通过预先训练得到的目标区域预测模型，基于场景图像数据确定挖掘机作业场景内的可挖掘区域范围，从而基于可挖掘区域范围，从场景点云数据中确定备选点云数据，最后根据预设的挖掘机限位参数从备选点云数据中确定挖掘机作业场景内的目标推荐挖掘点。上述方法通过目标区域预测模型确定挖掘机作业场景内的可挖掘区域范围，可保证最终确定的目标推荐挖掘点位于该可挖掘区域内，避免因挖掘错误而导致的装车效率降低，而且相较于相关技术中基于关键点检测的方案，本专利技术实施例的标注繁琐度较低，且可以避免因挖掘点位置标注过程中引入的误差而导致的预测偏差较大这一问题；另外，上述方法可以根据挖掘机限位参数从备选点云数据中确定目标推荐挖掘点，保证目标推荐挖掘点为挖掘机的大臂姿态和小臂姿态均可达到，从而可以避免因距离过近或过远导致挖掘机不可达到后重新选点而造成的效率低下的问题，因此本专利技术实施例可以准确、快速地推荐挖掘点，较好地辅助挖掘机进行挖掘作业，从而减少装车时间以及提高装车效率。
15、本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
16、为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种基于多传感器融合的挖掘点推荐方法，其特征在于，包括：
2.根据权利要求1所述的基于多传感器融合的挖掘点推荐方法，其特征在于，基于所述可挖掘区域范围，从所述场景点云数据中确定备选点云数据的步骤，包括：
3.根据权利要求1所述的基于多传感器融合的挖掘点推荐方法，其特征在于，根据预设的挖掘机限位参数从所述备选点云数据中确定所述挖掘机作业场景内的目标推荐挖掘点的步骤，包括：
4.根据权利要求3所述的基于多传感器融合的挖掘点推荐方法，其特征在于，基于所述备选推荐挖掘点、预先构建的挖掘机大臂坐标系和挖掘机小臂坐标系，确定所述备选推荐挖掘点对应的大臂位姿和小臂位姿地步骤，包括：
5.根据权利要求3所述的基于多传感器融合的挖掘点推荐方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的基于多传感器融合的挖掘点推荐方法，其特征在于，挖掘机配置有图像采集设备和多个点云采集设备；获取挖掘机作业场景的视觉数据的步骤，包括：
7.根据权利要求1所述的基于多传感器融合的挖掘点推荐方法，其特征在于，所述目标区域预测模型的训练
8.一种基于多传感器融合的挖掘点推荐装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种基于多传感器融合的挖掘点推荐方法，其特征在于，包括：
2.根据权利要求1所述的基于多传感器融合的挖掘点推荐方法，其特征在于，基于所述可挖掘区域范围，从所述场景点云数据中确定备选点云数据的步骤，包括：
3.根据权利要求1所述的基于多传感器融合的挖掘点推荐方法，其特征在于，根据预设的挖掘机限位参数从所述备选点云数据中确定所述挖掘机作业场景内的目标推荐挖掘点的步骤，包括：
4.根据权利要求3所述的基于多传感器融合的挖掘点推荐方法，其特征在于，基于所述备选推荐挖掘点、预先构建的挖掘机大臂坐标系和挖掘机小臂坐标系，确定所述备选推荐挖掘点对应的大臂位姿和小臂位姿地步骤，包括：
5.根据权利要求3所述的基于多传感器融合的挖掘点推荐方法，其特征在于，所述方法还包括：
6.根据权利...
【专利技术属性】
技术研发人员：韩夏冰，陈赢峰，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。