一种基于深度神经网络的渣片大块预警方法、系统及装置制造方法及图纸

本发明专利技术提出了一种基于深度神经网络的渣片大块预警方法、系统及装置，方法的步骤为：利用彩色相机采集渣片的彩色图像，利用热红外相机采集相同渣片的热红外图像；利用深度神经网络分别构建热成像编码器、实例分割编码器和融合特征图编码器并训练；利用热成像编码器得到热成像特征图；利用实例分割编码器得到实例分割特征图；将热成像特征图和实例分割特征图融合；利用融合特征图编码器得到融合特征的信息；对融合特征的信息进行解码得到渣块实例分割信息；后处理得到大块渣片面积，比较渣片面积与大块监测阈值发出警告信息。本发明专利技术解决了渣片相互重叠的问题，采用后处理计算渣片面积信息，实施人员根据输出的预警信息，从而避免安全事故的发生。安全事故的发生。安全事故的发生。

【技术实现步骤摘要】
一种基于深度神经网络的渣片大块预警方法、系统及装置


[0001]本专利技术涉及隧道掘进装备施工的
，尤其涉及一种基于深度神经网络的渣片大块预警方法、系统及装置。

技术介绍

[0002]随着社会的发展，城市化进程的加快，越来越多的建筑拔地而起，大厦密集，城市道路四通八达，但是于此同时，问题也接踵而来：用地紧张、生存空间拥挤、交通阻塞、生态失衡、环境恶化
……
，这给人们居住生活带来了很大影响，也制约着经济与社会的进一步发展。在这种情况下，人们转向对城市地下空间的开发利用。
[0003]在采用TBM对岩石体进行钻进的时候，若前方围岩质量较差，没有采取提前预防和支护措施，会发生掌子面坍塌甚至引起TBM卡机的巨大风险，从而造成巨大的经济损失。
[0004]全断面隧道掘进机是一种用于隧道快速施工的大型工程机械装备，其主要通过刀盘沿隧道轴线旋转从而对围岩土体进行切削破碎，之后通过传送带将破碎的渣片或者渣土运输至隧洞之外。在掘进机掘进过程中，由于前方围岩状态不可见，若前方围岩等级较差，挖掘出来的石块面积较大。因此，大块监测在掘进过程中非常必要。若掘进过程中，发现有面积较大的围岩块出现，则表明前方地质条件恶劣，围岩等级不高，如果继续掘进有很大可能发生安全风险。因此，根据掘进时大块判断变得至关重要。
[0005]现有技术中，现有的解决方案是基于彩色相机获取彩色三通道图像，然后采用传统图像处理的方法，或者采用基于深度学习的语义分割方法来识别大块信息，虽然可以识别大块渣片，但是在某些条件下大块渣片图像会与背景图像信息过于相似，从而造成误识别；另外语义分割的方法并不能解决大块渣块粘连的情况。
[0006]申请号为201811075132.5的专利技术专利公开了一种基于激光三维相机的渣片图像分割方法，基于空间高度信息对渣片遮挡区域进行判断实现渣片图像分割，剔除被遮挡渣片，提高了表面渣片分割和特征提取统计准确率，但是存在的问题是：利用该方法拍摄出来的渣片目标与背景的特征相似，很容易造成误判，实用性不强。申请号为201910464606.3的专利技术专利公开了一种基于卷积神经网络的TBM岩渣大小等级识别方法，采用卷积神经网络对采集的TBM 岩渣样本图像进行迭代训练，从而得到最优化的卷积神经网络模型，根据不同类别的概率分布值作为岩渣大小等级的预测结果，可以快速、准确地通过图像对初破碎岩渣的大小等级进行评估，并有效提高了TBM施工效率和故障诊断水平。但是，该方案只能对岩渣的大小做定性的分析，得到的面积是一个区间范围，无法准确的、定量的得到岩渣的面积。在实际应用中可能存在许多误检和漏检，实用性不足。

技术实现思路

[0007]针对现有渣片识别方法容易造成背景图像的误识别，造成误报警，以及无法准确的、定量的计算渣片面积等问题，本专利技术提出一种基于深度神经网络的渣片大块预警方法及、系统及装置，通过彩色面阵相机提取图像特征，获得大块渣片的遮罩信息，同时采用热
成像相机获取当前区域的热成像信息，并将遮罩信息与热成像信息融合起来，最终预测渣片大块的信息，从而实现渣片大块的准确预警。
[0008]为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于深度神经网络的渣片大块预警方法，其步骤如下：
[0009]步骤一：利用彩色相机采集渣片的彩色图像，利用热红外相机采集相同渣片的热红外图像；并将得到彩色图像和热红外图像组成的数据集分成训练集和测试集；
[0010]步骤二：利用深度神经网络分别构建热成像编码器、实例分割编码器和融合特征图编码器，通过训练集中的热红外图像训练热成像编码器，通过训练集中的彩色图像训练实例分割编码器；将训练集中的热成像编码器提取的热成像特征与实例分割编码器提取的彩色特征进行融合，并训练融合特征图编码器；
[0011]步骤三：利用训练好的热成像编码器提取测试集中的热成像图像的特征，得到热成像特征图；利用训练好的实例分割编码器提取测试集中的彩色图像的特征，得到实例分割特征图；
[0012]步骤四：将热成像特征图和实例分割特征图进行融合，得到融合特征图；利用训练好的融合特征图编码器提取融合特征图的特征，得到融合特征的信息；
[0013]步骤五：对融合特征的信息进行特征解码，得到渣块实例分割信息；
[0014]步骤六：根据实例分割模型得到渣块遮罩图像后，对其进行后处理，得到大块渣片面积，比较渣片面积与大块监测阈值，并根据比较结果发出警告信息。
[0015]进一步地，所述热成像特征图和实例分割特征图进行融合的方法是：热成像特征图和实例分割特征图进行逐像素相加，热成像特征图和实例分割特征图的尺寸和通道数均相等；所述逐像素相加的实现方法为：
[0016][0017]其中，x
i
代表实例分割特征图的第i个特征图，k
i
代表实例分割卷积核，y
i
代表热成像特征图的第i个特征图，m
i
代表热成像特征卷积核，z
add
代表融合后的特征图、c代表特征图通道数。
[0018]进一步地，所述步骤二中深度神经网络采用交叉熵损失函数进行训练，交叉熵损失函数为：
[0019][0020]其中，m为训练集对应的索引，为预测值，y
m
为真实值，N为训练集中的样本数量， Loss为交叉熵损失；当深度神经网络迭代50000次或者网络损失小于0.00001时，则停止深度神经网络的训练，保存参数模型，该参数模型即为渣片实例分割模型。
[0021]进一步地，所述后处理的方法包括：(1)将遮罩图像中的遮罩信息映射为二值信息，并进行中值滤波；(2)采用图像开运算方法对中值滤波后的图像进行处理，得到形态学图像； (3)采用边缘检测方法对形态学图像进行处理，得到渣片的边缘信息；(4)根据渣片的边缘信息采用轮廓拟合的方法得到渣片的轮廓信息；(5)根据渣片的轮廓信息计算所有轮廓的面积，并根据轮廓面积按照从大到小的顺序进行排序，得到最大渣片的面积；(6)最
大渣片的面积与设定的大块监测阈值进行比较，若最大渣片的面积大于大块监测阈值，则发出警告信息。
[0022]进一步地，所述边缘检测方法包括但不限于canny边缘检测法和sobel边缘检测法。所述轮廓拟合的方法采用opencv中的findcontours函数实现。
[0023]一种基于深度神经网络的渣片大块预警系统，包括热红外相机、彩色相机、渣块实例分割模块、红外特征提取模块和分割结果后处理模块，彩色相机与渣块实例分割模块相连接，热红外相机与红外特征提取模块相连接，渣块实例分割模块和红外特征提取模块均与分割结果后处理模块相连接；彩色相机采集渣片的彩色图像并传送至渣块实例分割模块，热红外相机采集渣片的热红外图像并传送至红外特征提取模块；红外特征提取模块提取热红外图像上的热成像特征图，渣块实例分割模块通过实例分割方法提取彩色图像的实例分割特征图，渣块实例分割模块将热成像特征图和实例分割特征图进行特征融合，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的渣片大块预警方法，其特征在于，其步骤如下：步骤一：利用彩色相机采集渣片的彩色图像，利用热红外相机采集相同渣片的热红外图像；并将得到彩色图像和热红外图像组成的数据集分成训练集和测试集；步骤二：利用深度神经网络分别构建热成像编码器、实例分割编码器和融合特征图编码器，通过训练集中的热红外图像训练热成像编码器，通过训练集中的彩色图像训练实例分割编码器；将训练集中的热成像编码器提取的热成像特征与实例分割编码器提取的彩色特征进行融合，并训练融合特征图编码器；步骤三：利用训练好的热成像编码器提取测试集中的热成像图像的特征，得到热成像特征图；利用训练好的实例分割编码器提取测试集中的彩色图像的特征，得到实例分割特征图；步骤四：将热成像特征图和实例分割特征图进行融合，得到融合特征图；利用训练好的融合特征图编码器提取融合特征图的特征，得到融合特征的信息；步骤五：对融合特征的信息进行特征解码，得到渣块实例分割信息；步骤六：根据实例分割模型得到渣块遮罩图像后，对其进行后处理，得到大块渣片面积，比较渣片面积与大块监测阈值，并根据比较结果发出警告信息。2.根据权利要求1所述的基于深度神经网络的渣片大块预警方法，其特征在于，所述热成像特征图和实例分割特征图进行融合的方法是：热成像特征图和实例分割特征图进行逐像素相加，热成像特征图和实例分割特征图的尺寸和通道数均相等；所述逐像素相加的实现方法为：其中，x
i
代表实例分割特征图的第i个通道，k
i
代表实例分割卷积核，y
i
代表热成像特征图的第i个通道，m
i
代表热成像特征卷积核，z
add
代表融合后的特征图、c代表特征图通道数。3.根据权利要求1或2所述的基于深度神经网络的渣片大块预警方法，其特征在于，所述步骤二中深度神经网络采用交叉熵损失函数进行训练，交叉熵损失函数为：其中，m为训练集对应的索引，为预测值，y
m
为真实值，N为训练集中的样本数量，Loss为交叉熵损失；当深度神经网络迭代50000次或者网络损失小于0.00001时，则停止深度神经网络的训练，保存参数模型，该参数模型即为渣片实例分割模型。4.根据权利要求1所述的基于深度神经网络的渣片大块预警方法，其特征在于，所述后处理的方法包括：(1)将遮罩图像中的遮罩信息映射为二值信息，并进行中值滤波；(2)采用图像开运算方法对中值滤波后的图像进行处理，得到形态学图像；(3)采用边缘检测方法对形态学图像进行处理，得到渣片的边缘信息；(4)根据渣片的边缘信息采用轮廓拟合的方法得到渣片的轮廓信息；(5)根据渣片的轮廓信息计算所有轮廓的面积，并根据轮廓面积按照从大到小的顺序进行排序，得到最大渣片的面积；(6)最大渣片的面积与设定的大块监测阈值进行比较，若最大渣片的面积大于大块监测阈值，则发出警告信息。5.根据权利要求4所述的基于深度神经网络的渣片大块预警方法，其特征在于，所述边
缘检测方法包括但不限于canny边缘检测法和sobel边缘检测法。所述轮廓拟合的方法采用opencv中的findcontours函数实现。6.一种基于深度神经网络的渣片大块预警系统，其特征在于，包括热红外相机、彩色相机、渣块实例分割模块、红外特征提取模块和分割结果后处理模块，彩色相机与渣块实例分割模块相连接，热红外相机与红外特征提取模块相连接，渣块实例分割模块和红外特征提取模块均与分割结果后处理模块相连接；彩色相机采集渣片的彩色图像并传送至渣块实例分割模块，热红外相机采集渣片的热红外图像并传送至红外特征提取模块；红外特征提取模块提取热红外图像上的热成像特征图，渣块实例分割模块通过实例分割方法提取彩色图像的实例分割特征图，渣块实例分割模块将热成像特征图和实例分割特征图进行特征融合，并提取特征融合后特征，得到渣块实例分割信息；所述分割结果后处理模块将渣块实例分割信息进行处理，得到渣片面积，并比较渣片面积与...

【专利技术属性】
技术研发人员：刘涛，鞠翔宇，李鹏宇，王祥祥，荆留杰，孙森震，牛孔肖，郑赢豪，杨晨，陈帅，郑霄峰，
申请(专利权)人：中铁工程装备集团有限公司，
类型：发明
国别省市：