一种无人挖掘机作业面感知系统及其方法技术方案

本发明专利技术公开了一种无人挖掘机作业面感知系统及其方法，属于激光雷达环境检测领域；感知系统包括：预处理模块

【技术实现步骤摘要】
一种无人挖掘机作业面感知系统及其方法


[0001]本专利技术属于激光雷达环境检测领域，具体涉及一种无人挖掘机作业面感知系统及其方法
。

技术介绍

[0002]挖掘机是重要的工程机械，广泛应用于建筑
、
矿山等工程建设行业
。
挖掘机时常遇到的作业环境恶劣
、
操作人员工作强度大等问题容易导致安全隐患，而且用人难
、
成本高的问题也会给行业造成限制
。
因此研发具有无人操控功能的挖掘机有巨大的行业需求和现实意义
。
[0003]感知挖掘机作业面环境信息，是实现挖掘作业无人化的基础
。
但现有技术中，对挖掘机作业面的检测信息存在如下问题：
1.
作业面建模不精确
2.
作业面的三维信息表征不精确；如专利
CN104090279A
中的方法，在数据预处理阶段只是对作业面点云进行滤波去噪，没有进行空间的重新划分和均匀化处理，这会导致后续三维重建及表面拟合结果不均匀r/>、
不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人挖掘机作业面感知系统，其特征在于，包括：预处理模块
、
区域特征提取模块和三维表面重建模块；所述预处理模块包括，物料所在区域数据采集子模块
、
物料所在区域点云分割子模块
、
物料表面点云下采样子模块；物料所在区域数据采集子模块用于分别采集挖掘机作业环境点云数据和图像数据；物料所在区域点云分割子模块用于将挖掘机作业环境点云数据和图像数据进行融合处理，获得物料点云三维坐标与物料图像二维像素点关联的物料点云数据；所述物料表面点云下采样子模块用于对物料点云数据进行下采样处理，获得采样物料点云数据；所述区域特征提取模块用于对采样物料点云数据进行区域分割
、
子区域提取，获得区域特征数据；所述三维表面重建模块用于根据区域特征数据进行三维表面重建，获得连接作业环境所有点云数据的三维作业面数据
。2.
根据权利要求1所述的无人挖掘机作业面感知系统，其特征在于，所述区域特征提取模块包括：区域分割子模块和子区域特征提取子模块；所述区域分割子模块用于将采样物料点云数据投影在三维坐标系下，获得采样物料点云数据的三维坐标值；其中，三维坐标系中的空间通过设置三维栅格进行划分；根据采样物料点云数据的三维坐标值，确定采样物料点云数据所分割的栅格区；所述子区域特征提取子模块用于计算每个三维栅格中的采样物料点云数据的质心，获得子区域特征数据，并汇总所有子区域特征数据的集合为区域特征数据
。3.
一种无人挖掘机作业面感知方法，其特征在于，基于权利要求1所述系统的方法包括：分别采集挖掘机作业环境点云数据和图像数据；将挖掘机作业环境点云数据和图像数据进行融合处理，获得物料点云三维坐标与物料图像二维像素点关联的物料点云数据；其中，物料点云数据包括物料表面点云；对物料点云数据进行下采样处理，获得采样物料点云数据；对采样物料点云数据进行区域分割
、
子区域提取，获得区域特征数据；根据区域特征数据进行三维表面重建，获得连接作业环境所有点云数据的三维作业面数据
。4.
根据权利要求3所述的无人挖掘机作业面感知方法，其特征在于，分别采集挖掘机作业环境点云数据和图像数据，包括：采用多线激光雷达扫描均匀固体物料，得到物料及周围环境的点云数据，以及采用相机设备采集均匀固体物料的图像，得到物料及周围环境的图像数据
。5.
根据权利要求3所述的无人挖掘机作业面感知方法，其特征在于，将挖掘机作业环境点云数据和图像数据进行融合处理，获得物料点云三维坐标与物料图像二维像素点关联的物料点云数据，包括：物料及周围环境的图像数据基于图像的语义分割方法进行分割，得到物料图像数据和非物料图像数据；物料及周围环境的点云数据通过对相机与激光雷达进行联合标定，获得激光雷达坐标系至相机图像坐标系之间的变换矩阵；
根据相机内参
、
变换矩阵将物料及周围环境的点云数据投影至物料及周围环境的图像数据的二维图像平面，并基于三维点云数据与二维图像中像素点的对应关系集成点云数据的查找表；基于物料图像数据的像素点
、
点云数据的查找表，遍历查找表中的每一个点云，获得物料点云数据
。6.
根据权利要求5所述的无人挖掘机作业面感知方法，其特征在于，物料及周围环境的图像数据基于图像的语义分割方法进行分割，得到物料图像数据和非物料图像数据的方法为：采用标注工具分别对物料图像数据和非物料图像数据进行标注处理，分别获得物料和非物料的训练数据集；将训练数据集输入到语义分割神经网络模型
Segformer
进行训练，得到训练的网络模型；基于训练的网络模型处理挖掘机作业环境图像数据，获得物料图像数据和非物料图像数据
。7.
根据权利要求5所述的无人挖掘机作业面感知方法，其特征在于，相机和激光雷达之间的坐标变换矩阵的表达式为：式中，
R
为旋转矩阵，3×3矩阵；
t
为平移向量，为3×1向量；根据相机内参
、
变换矩阵将物料及周围环境的点云数据投影至物料及周围环境的图像数据的二维图像平面，并基于三维点云数据与二维图像中像素点的对应关系集成点云数据的查找表；包括在挖掘机作业环境点云数据中选择任一点云
p
wi
＝
(x
wi
,y
wi
,z
wi
)
经过变换矩阵变换，获得二维图像中像素点与三维点云数据的点对
[p
wi
,p
pi
]
，并通过获得的所有点对组成查找表
{[p
w0
,p
p0
]...[p
wn
,p
pn
]}
，变换过程表达式为：，变换过程表达式为：，变换过程表达式为：式中，
x
ci
,y
ci
,z
ci

【专利技术属性】
技术研发人员：付强，赵宇，张坚，濮洪钧，
申请(专利权)人：江苏徐工国重实验室科技有限公司，
类型：发明
国别省市：