基于图像增强和多传感器融合的挖掘机夜间物体检测方法技术

本发明专利技术所述一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，首先采集挖掘机夜间场景下的行人及车辆图像，构建行人和车辆数据集，对数据集进行预处理，对预处理后的数据集进行坐标标注生成包含行人和车辆框坐标信息的xml文件，对文件中的数据进行训练，获得训练后的数据，对训练后的数据进行物体识别检测和语义分割，通过相机和激光雷达联合标定，将三维雷达点云投影在图像平面，获得物体的二维位置坐标，最后根据雷达和图像坐标系之间的对应关系，将检测框内的行人或车辆逆映射回三维雷达点云中并进行标记，以区分检测框内的行人和背景，提高物体识别和分割的准确率，同时提供准确的物体空间位置定位。同时提供准确的物体空间位置定位。同时提供准确的物体空间位置定位。

【技术实现步骤摘要】
基于图像增强和多传感器融合的挖掘机夜间物体检测方法


[0001]本专利技术涉及物体检测
，尤其是指一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法。

技术介绍

[0002]挖掘机作为工程机械行业最受青睐的重型设备，其应用在节省人力、提高工作效率方面起到了不可估量的作用。目前传统挖掘机驾驶仍依靠人工观察，增加了在非结构化环境中施工的风险。尤其当挖掘机在夜间等较为昏暗的环境下工作时，无论是驾驶室还是周围的行人或车辆都会存在潜在的风险。
[0003]物体检测是实现挖掘机智能化的第一步，当前主流的方法大致有两类，一类是基于计算机视觉检测技术，主要方法包括传统的HOG+SVM方法，此方法存在局限性，仅仅在行人不被遮挡且直立的情况下能实现不错的检测效果，无法满足挖掘机工况下的行人多尺度多姿态问题。除此之外，还有目前机器人领域较为流行的YOLO系列算法，此类方法检测速度快但缺乏深度距离信息，不利于夜间检测。虽然计算机视觉检测技术当前较为成熟，但是显然这类方法很大程度上依赖相机的图像质量，而且常规的RGB相机无法在夜间正常工作，这也导致检测算法在夜间的检测效率大大降低。另一类方法是采用激光雷达传感器，通过雷达侦测物体的点云，以此来设计防碰撞函数，规避障碍物。虽然激光雷达的优势在于不受光照影响，且具备准确的三维深度信息，不过这类方法由于缺乏图像信息，无法准确区分行人和其他障碍物。

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于克服现有技术中夜间各类物体检测准确率较低且无法获取物体在三维空间里的准确位置。
[0005]为解决上述技术问题，本专利技术提供了一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，包括：
[0006]步骤S1、采集挖掘机夜间场景下的行人以及车辆图像，根据所述采集的图像构建行人和车辆数据集；
[0007]步骤S2、对所述行人和车辆数据集进行预处理，对所述预处理后的数据集进行标注，构建完整的行人和车辆数据集；
[0008]步骤S3、对所述完整的行人和车辆数据集中的数据进行训练；
[0009]步骤S4、对所述训练后的数据进行物体识别检测和语义分割，得到所述完整的行人和车辆数据集的预测特征图，根据所述预测特征图对所述完整的行人和车辆数据集中各类物体进行检测识别；
[0010]步骤S5、通过相机和激光雷达联合标定所述检测识别出的各类物体，将三维雷达点云投影在图像平面，获得物体的二维位置坐标；
[0011]步骤S6、根据所述二维位置坐标以及雷达和图像坐标系之间的对应关系，将检测
框内的行人或车辆逆映射回三维雷达点云中，并在点云中进行标记，区分检测框内的行人和背景障碍物。
[0012]在本专利技术的一个实施例中，所述步骤S1中所述采集挖掘机夜间场景下的行人以及车辆图像具体包括：
[0013]所述行人图像的种类为多个行人、行人被遮挡、行人蹲姿等多姿态多尺度图像。
[0014]在本专利技术的一个实施例中，所述步骤S2中对所述行人和车辆数据集进行预处理的方法为：
[0015]对所述行人和车辆数据集原始红外图像进行直方图均衡化，通过改变图像的直方图来改变图像中各像素的灰度，提高图像对比度；
[0016]对所述行人和车辆数据集原始图像和二维高斯函数进行卷积，对图像进行加权平均，去除噪声，使用的函数如下：
[0017][0018]其中，G
σ
(x,y)是二阶高斯函数，σ∈R是高斯正态分布的标准差；
[0019]设定不同的标准差，将两个相邻高斯尺度空间的图像相减，得到特征检测图像，得到高斯差分的响应值图像，对图像进行增强，构建高清行人和车辆数据集，公式为：
[0020][0021]其中，g1(x,y)，g2(x,y)为二阶高斯函数，f(x,y)为输入图像中点的坐标。
[0022]在本专利技术的一个实施例中，所述步骤S2中对所述预处理后的数据集进行标注的方法为：
[0023]使用labeling标注工具标注所述高清行人和车辆数据集中的行人和车辆，如图2所示，标注行人和车辆框的左上角和右下角X
‑
Y坐标，生成包含行人和车辆框坐标信息的xml文件，构建所述完整的行人和车辆数据集。
[0024]在本专利技术的一个实施例中，所述步骤S3中对所述完整的行人和车辆数据集中的数据进行训练的方法为：
[0025]利用YOLO
‑
v5目标检测算法训练所述xml文件中的数据，进行设定轮次的迭代训练，获得训练后的数据。
[0026]在本专利技术的一个实施例中，所述步骤S4中得到所述完整的行人和车辆数据集的预测特征图的方法为：
[0027]利用YOLO
‑
v5算法的Backbone主干网络部分来提取特征，得到原始输入特征图；
[0028]利用PSPNet金字塔场景解析网络中的金字塔池化模块来提取上下文信息进行语义分割，金字塔池化模型分为多个层级，将多个层级提取的特征图融合为全局特征；
[0029]将原始输入特征图和全局特征进行拼接，提取到同时携带局部和全局上下文信息的特征图；
[0030]通过一层卷积生成预测特征图。
[0031]在本专利技术的一个实施例中，所述步骤S5中获得物体的二维位置坐标的方法为：
[0032]获得所述通过相机和激光雷达联合标定检测识别出的各类物体中心点在像素平面下的坐标信息，图像坐标系到相机坐标系到雷达坐标系之间的映射关系如图4所示，映射关系如下：
[0033][0034]其中，为物体中心点在雷达坐标系下的坐标，为物体中心点在相机坐标系下的坐标，为物体中心点在图像坐标系下的坐标；
[0035]三维雷达点云到二维位置坐标转换关系为：
[0036][0037]其中，f
x
为x轴方向焦距的像素长度，f
y
为y轴方向焦距的像素长度，c
x
,c
y
为相机原点的平移尺寸，f
x
,f
y
,c
x
,c
y
为相机内参，R为3
×
3旋转矩阵，T为3
×
1平移向量；
[0038]根据所述转化关系，将雷达中的点云投影到图像上，误差计算公式如下：
[0039][0040]其中，为图像中实际像素坐标，(x
u,i
,y
u,i
)为点云投影在图像中的像素坐标。
[0041]在本专利技术的一个实施例中，所述步骤S6中区分检测框内的行人和背景障碍物的方法为：
[0042]保留所有原始的激光雷达点云；
[0043]通过设定距离，来提取出所述原始激光雷达点云中显示在红外图像视野范围内的点云并保存；
[0044]通过联合标定获取的旋转矩阵R和平移向量T，将点云投影在二维图像平面，使点云和图像中的物体位置重合，并记录每个点云的编号；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，其特征在于，包括：步骤S1、采集挖掘机夜间场景下的行人以及车辆图像，根据所述采集的图像构建行人和车辆数据集；步骤S2、对所述行人和车辆数据集进行预处理，对所述预处理后的数据集进行标注，构建完整的行人和车辆数据集；步骤S3、对所述完整的行人和车辆数据集中的数据进行训练；步骤S4、对所述训练后的数据进行物体识别检测和语义分割，得到所述完整的行人和车辆数据集的预测特征图，根据所述预测特征图对所述完整的行人和车辆数据集中各类物体进行检测识别；步骤S5、通过相机和激光雷达联合标定所述检测识别出的各类物体，将三维雷达点云投影在图像平面，获得物体的二维位置坐标；步骤S6、根据所述二维位置坐标以及雷达和图像坐标系之间的对应关系，将检测框内的行人或车辆逆映射回三维雷达点云中，并在点云中进行标记，区分检测框内的行人和背景障碍物。2.根据权利要求1所述的一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，其特征在于，所述步骤S2中对所述行人和车辆数据集进行预处理的方法为：对所述行人和车辆数据集原始红外图像进行直方图均衡化，通过改变图像的直方图来改变图像中各像素的灰度，提高图像对比度；对所述行人和车辆数据集原始图像和二维高斯函数进行卷积，对图像进行加权平均，去除噪声，使用的函数如下：其中，G
σ
(x,y)是二阶高斯函数，σ∈R是高斯正态分布的标准差；设定不同的标准差，将两个相邻高斯尺度空间的图像相减，得到特征检测图像，得到高斯差分的响应值图像，对图像进行增强，构建高清行人和车辆数据集，公式为：其中，g1(x,y)，g2(x,y)为二阶高斯函数，f(x,y)为输入图像中点的坐标。3.根据权利要求1所述的一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，其特征在于，所述步骤S2对所述预处理后的数据进行标注的方法为：使用labeling标注工具标注所述高清行人和车辆数据集中的行人和车辆，标注行人和车辆框的左上角和右下角X
‑
Y坐标，生成包含行人和车辆框坐标信息的xml文件，构建所述完整的行人和车辆数据集。4.根据权利要求3所述的一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，其特征在于，所述步骤S3中对所述完整的行人和车辆数据集中的数据进行训练的方法为：
利用YOLO
‑
v5目标检测算法训练所述xml文件中的数据，进行设定轮次的迭代训练，获得训练后的数据。5.根据权利要求1所述的一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，所述步骤S4中得到所述完整的行人和车辆数据集的预测特征图的方法为：利用YOLO
‑
v5目标检测算法的Backbone主干网络部分来提取特征，得到原始输入特征图；利用PSPNet金字塔场景解析网络中的金字塔池化模块来提取上下文信息进行语义分割，金字塔池化模型分为多个层级，将多个层级提取的特征图融合为全局特征；将原始输入特征图和全局特征进行拼接，提取到同时携带局部和全局上下文信息的特征图；通过一层卷积生成预测特征图。6.根据权利要求1所述的一种基于图像增强和多传感器融合的挖掘机夜间物体检测方法，其特征在于，所述步骤S5中获得物体的二维位置坐标的方法为...

【专利技术属性】
技术研发人员：迟文政，邹美塬，余嘉杰，陆波，孙立宁，
申请(专利权)人：苏州大学，
类型：发明
国别省市：