一种基于深度学习的矿山落石检测方法和装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的矿山落石检测方法和装置，所述方法包括：获取矿山图像，对矿山图像进行裁剪，得到裁剪后的矿山图像，将裁剪后的矿山图像输入训练好的落石检测模型，输出训练好的落石检测模型得到的矿山落石检测结果，其中，所述矿山落石检测结果包括落石类型和落石坐标；所述装置包括图像采集模块、图像裁剪模块、模型训练模块、落石检测模块和结果输出模块。本发明专利技术能够实现针对矿区特性的实时、准确落石检测效果。准确落石检测效果。准确落石检测效果。

【技术实现步骤摘要】
一种基于深度学习的矿山落石检测方法和装置


[0001]本专利技术涉及一种基于深度学习的矿山落石检测方法和装置，属于矿山安全驾驶


技术介绍

[0002]目前无人驾驶技术已经运用到了矿区作业中，由于自动驾驶矿卡行驶作业的区域具备地形复杂、障碍物复杂多样等特征，所以矿区无人驾驶面临着很多挑战，其中，如何准确检测障碍物信息是无人驾驶感知系统的一个主要挑战，无人驾驶感知系统需要保证无人矿卡在行驶过程中可以有效避开各种障碍物，进而避免安全风险，确保矿卡的安全与作业任务的顺利执行。区别于其他场景，矿区多落石，会给矿区无人驾驶带来巨大的安全隐患，因此，矿区落石检测是无人驾驶感知系统的一个重要任务，有效的落石检测结果可以大大提升矿区无人驾驶的安全性。
[0003]矿区落石检测具有障碍物较小，障碍物与地面相似度高，数据收集困难等特点，目前落石检测方法主要有基于传统图像检测的方法以及光传感器测量等方法，这些方法虽然能够检测到部分落石，但是在检测效果和应用场景上存在一定的局限性。在公开号为CN105809679B的中国专利技术专利中，公开了一种基于视觉分析的山区铁路边坡落石检测方法，其首先识别铁轨区域，然后对铁轨区域内图像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰目标，最终获得落石检测结果；该方法虽然能够实现落石检测，但是操作步骤较为繁杂，检测耗时较长，不适用于无人驾驶的实时感知系统。在公开号为CN102169192A的中国专利技术专利中，公开了一种使用光传感器的无接触落石检测装置，该装置可以对动态落石进行检测，但是不能检测静态落石，而静态落石对矿区落石检测至关重要，因此该装置无法完全满足矿区场景的落石检测需求。

技术实现思路

[0004]为了解决现有技术中存在的问题，本专利技术提出了一种基于深度学习的矿山落石检测方法和装置，利用包括特征搜索模块和特征注意力模块的落石检测模型处理矿山图像，提升矿山图像中背景与落石的特征差异，实现快速、有效的落石识别效果。
[0005]为解决上述技术问题，本专利技术采用了如下技术手段：
[0006]第一方面，本专利技术提出了一种基于深度学习的矿山落石检测方法，包括如下步骤：
[0007]获取矿山图像；
[0008]对矿山图像进行裁剪，得到裁剪后的矿山图像；
[0009]将裁剪后的矿山图像输入训练好的落石检测模型；
[0010]输出训练好的落石检测模型得到的矿山落石检测结果，其中，所述矿山落石检测结果包括落石类型和落石坐标。
[0011]结合第一方面，进一步的，所述落石检测模型包括依次连接的特征搜索模块、特征注意力模块和特征识别模块，其中，所述特征搜索模块包括主干网络和空洞卷积，所述主干
网络由多个Block结构组成，每个Block结构包括2个1
×
1的卷积层和1个3
×
3的卷积层；所述特征注意力模块包括3个自注意力模块。
[0012]结合第一方面，进一步的，所述落石检测模型的训练方法为：
[0013]获取落石数据集并进行数据扩充，获得扩充后的落石数据集；
[0014]利用标注工具对扩充后的落石数据集进行数据标注，获得标注后的落石数据集；
[0015]将标注后的落石数据集输入落石检测模型，利用特征搜索模块从标注后的落石样本图像中提取不同尺度的特征，并进行特征融合，获得落石样本图像的多尺度融合特征；
[0016]利用特征注意力模块对多尺度融合特征进行增强处理，获得落石样本图像的空间注意力特征；
[0017]利用特征识别模块对空间注意力特征进行分类处理，获得落石样本图像的落石检测结果；
[0018]根据落石样本图像的落石检测结果计算模型损失值；
[0019]基于模型损失值，利用Adam优化器对落石检测模型中的网络参数进行迭代优化，直到满足预设迭代次数，获得训练好的落石检测模型。
[0020]结合第一方面，进一步的，获取落石数据集并进行数据扩充的方法为：
[0021]利用摄像设备采集矿山场景中的真实落石图像，形成落石数据集；
[0022]将落石数据集中每一幅真实落石图像及其语义分割图输入生成对抗网络，获取满足判别概率的合成落石图像；
[0023]利用真实落石图像和合成落石图像作为落石样本图像组成扩充后的落石数据集。
[0024]结合第一方面，进一步的，所述生成对抗网络包括生成模型和判别模型，所述生成模型由卷积模块和反卷积模块对称的堆叠组成，所述判别模型由卷积模块堆叠组成；所述卷积模块包括2个3x3的第一卷积层，每个第一卷积层后连接1个ReLU和1个步长为2、2x2的最大池化层；所述反卷积模块包括1个2x2的反卷积层和2个3x3的第二卷积层，每个第二卷积层后连接1个ReLU。
[0025]结合第一方面，进一步的，获得落石样本图像的空间注意力特征的方法为：
[0026]利用特征注意力模块沿着通道轴对多尺度融合特征分别进行平均池化和最大池化处理，获得平均池化特征和最大池化特征；
[0027]将平均池化特征和最大池化特征拼接获得通道注意力特征；
[0028]利用卷积层对通道注意力特征进行卷积处理，获得落石样本图像的空间注意力特征。
[0029]结合第一方面，进一步的，所述通道注意力特征的表达式如下：
[0030][0031]其中，F'
n
表示通道注意力特征，M
c
表示一维的通道注意力特征图，M
c
∈R
C
×1×1，R为实数空间，C表示落石样本图像的通道数，F
n
表示多尺度融合特征，表示element
‑
wise相乘运算；
[0032]所述空间注意力特征的表达式如下：
[0033][0034]其中，F”n
表示空间注意力特征，M
s
∈R1×
H
×
W
，H表示落石样本图像的高度，W表示落石
样本图像的宽度。
[0035]结合第一方面，进一步的，所述模型损失值的计算公式如下：
[0036]FL(pt)＝
‑
α(1
‑
pt)
γ
log(pt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0037]其中，FL(pt)表示模型损失值，pt表示落石样本图像的落石检测结果与标注一致的概率，α和γ为超参数，α,γ≥0。
[0038]结合第一方面，进一步的，所述方法还包括：
[0039]利用模型服务器对训练好的落石检测模型进行优化加速。
[0040]第二方面，本专利技术提出了一种基于深度学习的矿山落石检测装置，包括：
[0041]图像采集模块，用于获取矿山图像；
[0042]图像裁剪模块，用于对矿山图像进行裁剪，得到裁剪后的矿山图像；
[0043]模型训练模块，用于训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的矿山落石检测方法，其特征在于，包括如下步骤：获取矿山图像；对矿山图像进行裁剪，得到裁剪后的矿山图像；将裁剪后的矿山图像输入训练好的落石检测模型；输出训练好的落石检测模型得到的矿山落石检测结果，其中，所述矿山落石检测结果包括落石类型和落石坐标。2.根据权利要求1所述的一种基于深度学习的矿山落石检测方法，其特征在于，所述落石检测模型包括依次连接的特征搜索模块、特征注意力模块和特征识别模块，其中，所述特征搜索模块包括主干网络和空洞卷积，所述主干网络由多个Block结构组成，每个Block结构包括2个1
×
1的卷积层和1个3
×
3的卷积层；所述特征注意力模块包括3个自注意力模块。3.根据权利要求2所述的一种基于深度学习的矿山落石检测方法，其特征在于，所述落石检测模型的训练方法为：获取落石数据集并进行数据扩充，获得扩充后的落石数据集；利用标注工具对扩充后的落石数据集进行数据标注，获得标注后的落石数据集；将标注后的落石数据集输入落石检测模型，利用特征搜索模块从标注后的落石样本图像中提取不同尺度的特征，并进行特征融合，获得落石样本图像的多尺度融合特征；利用特征注意力模块对多尺度融合特征进行增强处理，获得落石样本图像的空间注意力特征；利用特征识别模块对空间注意力特征进行分类处理，获得落石样本图像的落石检测结果；根据落石样本图像的落石检测结果计算模型损失值；基于模型损失值，利用Adam优化器对落石检测模型中的网络参数进行迭代优化，直到满足预设迭代次数，获得训练好的落石检测模型。4.根据权利要求3所述的一种基于深度学习的矿山落石检测方法，其特征在于，获取落石数据集并进行数据扩充的方法为：利用摄像设备采集矿山场景中的真实落石图像，形成落石数据集；将落石数据集中每一幅真实落石图像及其语义分割图输入生成对抗网络，获取满足判别概率的合成落石图像；利用真实落石图像和合成落石图像作为落石样本图像组成扩充后的落石数据集。5.根据权利要求4所述的一种基于深度学习的矿山落石检测方法，其特征在于，所述生成对抗网络包括生成模型和判别模型，所述生成模型由卷积模块和反卷积模块对称的堆叠组成，所述判别模型由卷积模块堆叠组成；所述卷积模块包括2个3x3的第一卷积层，每个第一卷积层后连接1个ReLU和1个步长为2、2x2的最大池化层；所述反卷积模块包括1个2x2的反卷积层和2个3...

【专利技术属性】
技术研发人员：杨超，赵斌，唐建林，艾云峰，
申请(专利权)人：江苏徐工工程机械研究院有限公司，
类型：发明
国别省市：