用于工程设备的方法、装置、处理器及工程设备制造方法及图纸

本申请实施例提供一种用于工程设备的方法、装置、处理器及工程设备。用于工程设备的方法包括：获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据；根据定位信息和点云数据生成目标区域的点云地图；根据图像数据识别点云地图中的语义实体，其中，语义实体与目标区域内的物理实体相关联；确定语义实体的属性信息；根据点云地图、语义实体以及属性信息生成目标区域的语义地图。通过上述技术方案，不仅能够在语义地图中识别出目标区域内的物理实体，而且能够分辨出该物理实体的属性信息，从而为工程设备自动驾驶作业提供准确的环境信息。设备自动驾驶作业提供准确的环境信息。设备自动驾驶作业提供准确的环境信息。

【技术实现步骤摘要】
用于工程设备的方法、装置、处理器及工程设备


[0001]本申请涉及工程设备
，具体涉及一种用于工程设备的方法、装置、处理器及工程设备。

技术介绍

[0002]工程设备自动驾驶已成为目前工程设备智能化的主要研究方向，如卡耐基大学研发的自动装载挖掘机，日本的自动挖掘机器人等。而环境感知是工程设备自动驾驶主要的研究课题，通过环境感知建立环境地图，能够为工程设备自动驾驶提供信息指示，保证自动驾驶的安全。
[0003]现有的工程设备自动驾驶环境感知系统主要采用雷达和导航定位来感知环境，通过雷达和导航定位依靠形状可以对周围环境中的物体进行建模，以使工程设备在自动驾驶时进行避障。然而工程设备在自动驾驶作业时，周围环境中的物体不仅包括障碍物，还包括作业对象等，因此现有的环境感知方式具有很大的局限性。

技术实现思路

[0004]本申请实施例的目的是提供一种用于工程设备的方法、装置、处理器及工程设备。
[0005]为了实现上述目的，本申请第一方面提供一种用于工程设备的方法，包括：
[0006]获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据；
[0007]根据定位信息和点云数据生成目标区域的点云地图；
[0008]根据图像数据识别点云地图中的语义实体，其中，语义实体与目标区域内的物理实体相关联；
[0009]确定语义实体的属性信息；
[0010]根据点云地图、语义实体以及属性信息生成目标区域的语义地图。
[0011]在本申请实施例中，根据定位信息和点云数据生成目标区域的点云地图，包括：
[0012]对点云数据进行特征提取和里程计优化，得到第一里程计因子，并建立因子图；
[0013]根据定位信息得到第二里程计因子；
[0014]将第一里程计因子和第二里程计因子加入因子图中进行联合优化，得到联合优化结果；
[0015]根据联合优化结果进行地图拼接，以生成目标区域的点云地图。
[0016]在本申请实施例中，根据图像数据识别点云地图中的语义实体，包括：
[0017]从点云地图中提取语义实体的初始三维模型；
[0018]根据图像数据识别点云地图中语义实体的边界线；
[0019]根据初始三维模型和边界线生成语义实体的实际三维模型。
[0020]在本申请实施例中，确定语义实体的属性信息，包括：
[0021]计算实际三维模型的实际特征值；
[0022]将实际特征值与预设特征数据库中的特征值进行匹配；
[0023]根据匹配结果确定语义实体的属性信息。
[0024]在本申请实施例中，计算实际三维模型的实际特征值，包括：
[0025]将实际三维模型投影到预设栅格中得到栅格地图，并将栅格地图中位于边界的栅格作为目标栅格；
[0026]分别计算各个目标栅格内的点云高度最大值，得到点云高度最大值集合；
[0027]计算点云高度最大值集合的平均值和方差，得到实际三维模型的实际特征值。
[0028]在本申请实施例中，该方法还包括：
[0029]获取与语义实体相关联的物理实体的实时经纬度信息；
[0030]根据实时经纬度信息对语义地图进行校正。
[0031]在本申请实施例中，根据实时经纬度信息对语义地图进行校正，包括：
[0032]获取语义实体在语义地图中的初始经纬度信息；
[0033]计算实时经纬度信息与初始经纬度信息的差值；
[0034]确定差值是否超过预设差值；
[0035]在确定差值超过预设差值的情况下，根据实时经纬度信息对语义地图进行校正。
[0036]在本申请实施例中，该方法还包括：
[0037]根据点云地图确定目标区域内的地面坡度信息；
[0038]将地面坡度信息保存在语义地图中。
[0039]在本申请实施例中，根据点云地图确定目标区域内的地面坡度信息，包括：
[0040]从点云地图中提取地面特征点云，并建立地面平面模型；
[0041]计算地面特征点云中各个点到地面平面模型的距离值；
[0042]根据距离值确定目标区域内的地面坡度信息。
[0043]在本申请实施例中，语义实体为工作对象、障碍物和协同对象中的至少一种。
[0044]本申请第二方面提供一种处理器，被配置成执行上述的用于工程设备的方法。
[0045]本申请第三方面提供一种用于工程设备的装置，包括：
[0046]定位设备，被配置成采集工程设备在目标区域内运动过程中的定位信息；
[0047]环境感知设备，被配置成采集工程设备在目标区域内运动过程中的周围环境的点云数据；
[0048]图像采集设备，被配置成采集工程设备在目标区域内运动过程中的周围环境的图像数据；以及
[0049]上述的处理器。
[0050]在本申请实施例中，定位设备包括全球卫星导航定位单元和惯性导航定位单元，环境感知设备为激光雷达，图像采集设备为摄像头。
[0051]本申请第四方面提供一种工程设备，包括上述的用于工程设备的装置。
[0052]本申请第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行上述的用于工程设备的方法。
[0053]通过上述技术方案，即通过获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据，并根据定位信息和点云数据生成目标区域的点云地图，然后根据图像数据识别点云地图中的语义实体，并确定语义实体的属性信息，
再根据点云地图、语义实体以及属性信息生成目标区域的语义地图，通过该类方式，不仅能够在语义地图中识别出目标区域内的物理实体，而且能够分辨出该物理实体的属性信息，从而为工程设备自动驾驶作业提供准确的环境信息。
[0054]本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0055]附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
[0056]图1是本申请实施例中所提供的用于工程设备的方法的流程示意图；
[0057]图2是本申请实施例中所提供的用于工程设备的方法中的步骤S12的流程示意图；
[0058]图3是本申请实施例中所提供的用于工程设备的方法中的步骤S13的流程示意图；
[0059]图4是本申请实施例中所提供的用于工程设备的方法中的步骤S14的流程示意图；
[0060]图5是本申请实施例中所提供的用于工程设备的方法中的步骤S141的流程示意图；
[0061]图6是本申请实施例中所提供的用于工程设备的方法中的另一流程示意图；
[0062]图7是本申请实施例中所提供的用于工程设备的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于工程设备的方法，其特征在于，包括：获取工程设备在目标区域内运动过程中的定位信息以及所述工程设备的周围环境的点云数据和图像数据；根据所述定位信息和所述点云数据生成所述目标区域的点云地图；根据所述图像数据识别所述点云地图中的语义实体，其中，所述语义实体与所述目标区域内的物理实体相关联；确定所述语义实体的属性信息；根据所述点云地图、所述语义实体以及所述属性信息生成所述目标区域的语义地图。2.根据权利要求1所述的方法，其特征在于，所述根据所述定位信息和所述点云数据生成所述目标区域的点云地图，包括：对所述点云数据进行特征提取和里程计优化，得到第一里程计因子，并建立因子图；根据所述定位信息得到第二里程计因子；将所述第一里程计因子和所述第二里程计因子加入所述因子图中进行联合优化，得到联合优化结果；根据所述联合优化结果进行地图拼接，以生成所述目标区域的点云地图。3.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据识别所述点云地图中的语义实体，包括：从所述点云地图中提取语义实体的初始三维模型；根据所述图像数据识别所述点云地图中所述语义实体的边界线；根据所述初始三维模型和所述边界线生成所述语义实体的实际三维模型。4.根据权利要求3所述的方法，其特征在于，所述确定所述语义实体的属性信息，包括：计算所述实际三维模型的实际特征值；将所述实际特征值与预设特征数据库中的特征值进行匹配；根据匹配结果确定所述语义实体的属性信息。5.根据权利要求4所述的方法，其特征在于，所述计算所述实际三维模型的实际特征值，包括：将所述实际三维模型投影到预设栅格中得到栅格地图，并将所述栅格地图中位于边界的栅格作为目标栅格；分别计算各个所述目标栅格内的点云高度最大值，得到点云高度最大值集合；计算所述点云高度最大值集合的平均值和方差，得到所述实际三维模型的实际特征值。6.根据权利要求1所述的方法，其特征在于，还包括：获取与所述语义实体相关联的物理实体的实时经纬度信息；根据所述实时经纬度信息对所...

【专利技术属性】
技术研发人员：张峰，袁野，戴群亮，吴元峰，戴维杰，
申请(专利权)人：中联重科土方机械有限公司，
类型：发明
国别省市：