用于辅助驾驶挖掘机的方法和系统、电子设备及存储介质技术方案

本发明专利技术公开了一种用于辅助驾驶挖掘机的方法和系统、电子设备及存储介质。其中，所述方法包括：获取通过配置在挖掘机上的激光雷达探测到的多维点云信息；从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息；将所述投影坐标信息转换到相机坐标系中，得到所述挖斗的地面投影在所述相机坐标系中的位置信息；其中，所述相机坐标系为基于展示图像的坐标系，所述展示图像为通过配置在所述挖掘机上的摄像头拍摄到的实时图像；根据所述位置信息确定所述挖斗在所述展示图像中的投影区域。本发明专利技术解决了工程机械在施工过程安全性较低，施工效率不高的技术问题。施工效率不高的技术问题。施工效率不高的技术问题。

【技术实现步骤摘要】
用于辅助驾驶挖掘机的方法和系统、电子设备及存储介质


[0001]本专利技术涉及辅助驾驶
，具体而言，涉及一种用于辅助驾驶挖掘机的方法和系统、电子设备及存储介质。

技术介绍

[0002]对于挖掘机、电铲等工程机械的远程驾驶，通常司机所看到的画面为配置在挖掘机上的摄像头拍摄后传回的二维画面，难以判断画面中物体间距离的远近高低，也无法判断挖斗的落点位置。这种情况下容易发生误操作、伤人或损伤挖掘机等问题。目前解决上述问题的方式主要依赖驾驶经验和运气，对驾驶员操作经验、技能以及当前工作状态依赖过大，因此，在工程机械的施工过程无法有效保障施工安全性，施工效率不高。

技术实现思路

[0003]本专利技术实施例提供了一种用于辅助驾驶挖掘机的方法和系统、电子设备及存储介质，以至少解决工程机械在施工过程安全性较低，施工效率不高的技术问题。
[0004]根据本专利技术实施例的一个方面，提供了一种用于辅助驾驶挖掘机的方法，包括：获取通过配置在挖掘机上的激光雷达探测到的多维点云信息；从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息；将所述投影坐标信息转换到相机坐标系中，得到所述挖斗的地面投影在所述相机坐标系中的位置信息；其中，所述相机坐标系为基于展示图像的坐标系，所述展示图像为通过配置在所述挖掘机上的摄像头拍摄到的实时图像；根据所述位置信息确定所述挖斗在所述展示图像中的投影区域。
[0005]根据本专利技术实施例的另一方面，还提供了一种用于辅助驾驶挖掘机的装置，包括：获取单元，用于获取通过配置在挖掘机上的激光雷达探测到的多维点云信息；第一确定单元，用于从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息；转换单元，用于将所述投影坐标信息转换到相机坐标系中，得到所述挖斗的地面投影在所述相机坐标系中的位置信息；其中，所述相机坐标系为基于展示图像的坐标系，所述展示图像为通过配置在所述挖掘机上的摄像头拍摄到的实时图像；第二确定单元，用于根据所述位置信息确定所述挖斗在所述展示图像中的投影区域。
[0006]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的用于辅助驾驶挖掘机的方法。
[0007]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述用于辅助驾驶挖掘机的方法。
[0008]在本专利技术实施例中，采用了获取通过配置在挖掘机上的激光雷达探测到的多维点云信息；从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息；将所述投影坐标信息转换到相机坐标系中，得到所述挖斗的地面投影在所述相机坐标系中的位置
信息；其中，所述相机坐标系为基于展示图像的坐标系，所述展示图像为通过配置在所述挖掘机上的摄像头拍摄到的实时图像；根据所述位置信息确定所述挖斗在所述展示图像中的投影区域的方法，在上述方法中，由于采用激光雷达获取到的挖斗在地面的投影坐标转换到摄像头获取的实时图像中，提高了用于辅助驾驶挖掘机的挖斗操作的准确性，进而解决了工程机械在施工过程安全性较低，施工效率不高的技术问题。
附图说明
[0009]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0010]图1是根据本专利技术实施例的一种可选的用于辅助驾驶挖掘机的方法的应用环境的示意图；
[0011]图2是根据本专利技术实施例的另一种可选的用于辅助驾驶挖掘机的方法的应用环境的示意图；
[0012]图3是根据本专利技术实施例的一种可选的用于辅助驾驶挖掘机的方法流程示意图；
[0013]图4是根据本专利技术实施例的一种可选的挖掘机的挖斗和挖机臂的宽度展示示意图；
[0014]图5是根据本专利技术实施例的另一种可选的用于辅助驾驶挖掘机的方法流程示意图；
[0015]图6是根据本专利技术实施例的一种可选的雷达坐标系转换为相机坐标系的示意图；
[0016]图7是根据本专利技术实施例的一种可选的用于辅助驾驶挖掘机的挖斗投影点的示意图；
[0017]图8是根据本专利技术实施例的一种可选的用于辅助驾驶挖掘机的挖斗投影的示意图；
[0018]图9是根据本专利技术实施例的一种可选的用于辅助驾驶挖掘机的装置的结构示意图；
[0019]图10是根据本专利技术实施例的一种可选的电子设备的结构示意图。
具体实施方式
[0020]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0021]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
[0022]根据本专利技术实施例的一个方面，提供了一种用于辅助驾驶挖掘机的方法，可选地，作为一种可选地实施方式，上述用于辅助驾驶挖掘机的方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有用于辅助驾驶挖掘机的应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示挖掘机工作的实时环境图像，以及挖掘机挖斗在地面的投影点信息；处理器1024用于获取通过配置在挖掘机上的激光雷达探测到的多维点云信息。存储器1026用于存储上述获取通过配置在挖掘机上的激光雷达探测到的多维点云信息，以及通过挖掘机上的摄像头拍摄到的实时图像。
[0023]此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述通过配置在挖掘机上的激光雷达探测到的多维点云信息，以及通过挖掘机上的摄像头拍摄到的实时图像。处理引擎1064用于基于通过配置在挖掘机上的激光雷达探测到的多维点云信息；从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息；将所述投影坐标信息转换到相机坐标系中，得到所述挖斗的地面投影在所述相机坐标系中的位置信息；其中，所述相机坐标系为基于展示图像的坐标系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于辅助驾驶挖掘机的方法，其特征在于，包括：获取通过配置在挖掘机上的激光雷达探测到的多维点云信息；从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息；将所述投影坐标信息转换到相机坐标系中，得到所述挖斗的地面投影在所述相机坐标系中的位置信息；其中，所述相机坐标系为基于展示图像的坐标系，所述展示图像为通过配置在所述挖掘机上的摄像头拍摄到的实时图像；根据所述位置信息确定所述挖斗在所述展示图像中的投影区域。2.根据权利要求1所述的方法，其特征在于，所述从所述多维点云信息中确定出所述挖掘机的挖斗在地面的投影坐标信息，包括：从所述多维点云信息中确定出所述挖掘机的挖斗的多维点云信息；将所述挖斗的多维点云信息中在竖直方向上的最低地点的点云集合，作为所述挖掘机的挖斗在地面的投影坐标信息。3.根据权利要求2所述的方法，其特征在于，所述从所述多维点云信息中确定出所述挖掘机的挖斗的多维点云信息，包括：从所述多维点云信息中确定出包含所述挖掘机的挖斗，以及与挖斗相连的挖机臂的混合多维点云信息；根据所述挖斗和挖机臂的宽度之间的关系，从所述混合多维点云信息中分离出所述挖斗的多维点云信息。4.根据权利要求2所述的方法，其特征在于，在包含沙尘的施工场景中，所述多维点云信息还包括点云的反射强度信息，所述方法还包括：将多维点云中反射强度小于预设阈值的点确定为沙尘点；剔除所述多维点云中的沙尘点，得到第一参考点云信息；所述从所述多维点云信息中确定出所述挖掘机的挖斗的多维点云信息，包括：从所述第一参考点云信息中确定出所述挖掘机的挖斗的多维点云信息。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：将所述多维点云经过体素滤波器进行下采样操作，得到第二参考点云信息；所述从所述多维点云信息中确定出所述挖掘机的挖斗的多维点云信息，包括：从所述第二参考点云信息中确定出所述挖掘机的挖斗的多维点云信息。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将将所述第二参考...

【专利技术属性】
技术研发人员：刘世纪，李子实，隋少龙，张越，史修宇，
申请(专利权)人：北京拓疆者智能科技有限公司，
类型：发明
国别省市：