基于卷积神经网络的低照度条件下矿井井壁检测方法技术

本发明专利技术公开了一种基于卷积神经网络的低照度条件下矿井井壁检测方法，其包括训练阶段和在线检测阶段。训练阶段包括构建图像分解网络和图像检测网络，通过获取图像分解数据集和图像检测数据集分别对图像分解网络和图像检测网络进行训练；在线检测阶段由图像分解、图像增强和图像检测组成，获取现场的矿井井壁图像经过训练完成的图像分解网络分解为反射图像和光照图像，再通过图像增强对井壁图像进行光亮增强，最后由训练完成的图像检测网络对其检测，实现低光照条件下的矿井井壁状态检测。本发明专利技术提高了矿井井壁检测的准确性，降低了矿井井壁检测的运行成本，提高了安全性。

【技术实现步骤摘要】
基于卷积神经网络的低照度条件下矿井井壁检测方法
本专利技术涉及矿井井壁检测方法领域，具体是一种基于卷积神经网络的低照度条件下矿井井壁检测方法。
技术介绍
我国大多数矿井地区地势环境较为恶劣，矿层岩体强度不足，再加上地层固结、地下水位升高等造成的不利影响，矿井井壁常常会产生较大的内部应力，当应力大于井壁结构的极限强度时，就会出现井壁破坏、矿井坍塌事故，为了能及时准确的发现矿井井壁产生的破损问题，降低矿井生产的安全隐患，需要对矿井井壁进行准确高效的检测。目前，国内对矿井井壁的检测还普遍停留在人工筛选的方法上，检测人员搭载罐笼近距离通过肉眼检测，或者在罐笼安装摄像机拍摄视频图像后，再由人员观测检查问题，这就带来了人工检测中准确率低、检测效果差的问题。且由于矿井井下环境的特殊性，其没有安装固定的照明设备，只能通过罐笼或人员携带灯光照射，无论是人员直接观测还是通过摄像机拍摄视频图像，都会产生图像较暗不易观测的问题，图像处理中称这种较暗的图像为低照度图像。这些问题使得在对矿井井壁检测时检测成本较高、工作效率低、速度慢、耗时长、准确性不高，具有较大的安全风险。
技术实现思路
本专利技术的目的是提供一种基于卷积神经网络的低照度条件下矿井井壁检测方法，以解决现有技术矿井井壁状况人工检测存在的检测效果差、准确性低、耗时长的问题。为了达到上述目的，本专利技术所采用的技术方案为：基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：包括以下步骤：(1)、构建图像分解网络，并利用采集的图像数据训练图像分解网络，过程如下：(1.1)、构建图像分解训练数据集和图像分解测试数据集：通过相机拍摄采集矿井井壁多个位置的图像，对于矿井井壁每个位置，分别拍摄采集正常曝光条件下和低曝光条件下的图像，由每个位置正常曝光条件下和低曝光条件下的图像构成该位置的光照图像对，从而得到多个位置的光照图像对，从多个光照图像对中选取部分作为图像分解训练数据集，其余部分作为图像分解测试数据集；(1.2)、构建图像分解网络：构建由卷积层1、卷积激活层2、卷积激活层3、卷积激活层4、卷积激活层5、卷积激活层6、卷积激活层7和卷积激活层8组成的卷积神经网络作为图像分解网络，输入图像a[0]经过卷积层1的输出a[1]＝w[1]a[0]+b[1]，经过卷积激活层2～卷积激活层6的输出a[i]＝ReLU(w[i]a[i-1]+b[i]),i∈(2,3,4,5,6)，经过卷积激活层7的输出a[7]＝sigmoid(w[7]a[6]+b[7])，a[7]即为输入图像分解后得到的反射图像R，经过卷积激活层8的输出a[8]＝sigmoid(w[8]a[6]+b[8])，a[8]即为输入图像分解后得到的光照图像I，其中：w[ly],b[ly]均为未知量,需要经过训练后确定，ly∈(1,2,3,4,5,6,7,8)，ReLU函数计算为ReLU(x)＝Max(0,x),Max(x)函数表示取参数最大值，sigmoid函数计算为x表示对应卷积激活层中代入至函数的相应参数；(1.3)、将步骤(1.1)得到的图像分解训练数据集和图像分解测试数据集输入至步骤(1.2)构建的图像分解网络，以对图像分解网络进行多次迭代训练，得到训练完成的图像分解网络；(2)、构建图像检测网络，并利用采集的图像数据训练图像检测网络，过程如下：(2.1)、构建图像检测训练数据集和图像检测测试数据集：首先采集获取矿井井壁多个位置的图像，在图像中寻找存在包括无异常状况在内的多种井壁状况的图像，并从每种井壁状况的图像分别选取多张，构成井壁图像样本集；其次建立多种井壁状况的标签值表，在标签值表中将井壁图像样本集中相同井壁状况的图像设置相同的状态标签值、不同井壁状况的图像设置不同的状态标签值；然后从井壁图像样本集中每种井壁状况的图像再分别各自选取多张后，将选取的多种井壁状况的图像按照随机顺序进行摆放，并按照摆放的顺序将每张图像的图像名和其对应的状态标签值保存到同一训练文件中，由从井壁图像样本集中再次选取并摆放后的图像以及训练文件构成图像检测训练数据集；按相同的方法，从井壁图像样本集中每种井壁状况经选取后剩余的图像中选取多张，并将从剩余图像中选取的多种井壁状况的图像按照随机顺序进行摆放，然后按照摆放的顺序将每张图像的图像名和其对应的状态标签值保存到同一测试文件中，由从井壁图像样本集剩余图像中选取并摆放后的图像以及测试文件构成图像检测测试数据集；(2.2)、构建图像检测网络：构建由卷积激活层1、池化层1、卷积激活层2、池化层2、卷积激活层3、池化层3、卷积激活层4、池化层4、卷积激活层5、池化层5、全连接层6、全连接层7和Softmax层构成的卷积神经网络，输入图像a[0]经过卷积激活层的输出z[j]＝ReLU(w[j]a[j-1]+b[j]),j∈(1,2,3,4,5)，经过池化层的输出a[j]＝Max(z[j]),j∈(1,2,3,4,5)，经过全连接层的输出a[k]＝w[k]a[k-1]+b[k],k∈(6,7)，经过Softmax层的输出Softmax层是先算出检测结果可能为每种状态标签值的概率，再选取概率值最大的作为最终检测结果；，表示检测结果为各种状态标签值的概率，选择概率最大的状态标签值作为最终检测结果，即其中：w[lay],b[lay]为未知量,需要经过训练后确定，lay∈(1,2,3,4,5,6,7)；Max(x)函数表示取参数最大值；ReLU(x)函数计算为ReLU(x)＝Max(0,x)，x表示对应卷积激活层代入函数的相应参数；(2.3)、将步骤(2.1)得到的图像检测训练数据集和图像检测测试数据集输入至步骤(2.2)构建的图像检测网络，以对图像检测网络进行多次迭代训练，得到训练完成的图像检测网络；(3)、利用步骤(1)得到的训练后的图像分解网络和步骤(2)得到的训练后的图像检测网络，对矿井井壁进行在线检测，过程如下：(3.1)、采集获取矿井井壁图像；(3.2)、将井壁图像输入到训练好的图像分解网络中，分解出反射图像R和光照图像I；(3.3)、使用公式L(x,y)＝[I(x,y)]γ对光照图像I进行亮度伽马校正得到光照亮度校正图像L，其中，I(x,y)表示在光照图像I中(x,y)位置的像素值，L(x,y)表示校正后图像L中(x,y)位置的像素值，γ是一个常数，且γ＜1；将反射图像R的每个像素值分别和光照亮度校正图像L的对应位置的像素值相乘后得到光亮增强图像S的像素值，计算公式为S(x,y)＝L(x,y)·R(x,y)；(3.4)、将光亮增强图像S输入到训练完成的图像检测网络中，图像检测网络计算的输出结果即为井壁状况的检测结果，该结果为多种井壁状况中的一种。所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(1.1)中，图像分解训练数据集中图像的数量大于图像分解测试数据集中图像的数量。所述的基于卷积神经网络的低照本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：包括以下步骤：/n(1)、构建图像分解网络，并利用采集的图像数据训练图像分解网络，过程如下：/n(1.1)、构建图像分解训练数据集和图像分解测试数据集：/n通过相机拍摄采集矿井井壁多个位置的图像，对于矿井井壁每个位置，分别拍摄采集正常曝光条件下和低曝光条件下的图像，由每个位置正常曝光条件下和低曝光条件下的图像构成该位置的光照图像对，从而得到多个位置的光照图像对，从多个光照图像对中选取部分作为图像分解训练数据集，其余部分作为图像分解测试数据集；/n(1.2)、构建图像分解网络：/n构建由卷积层1、卷积激活层2、卷积激活层3、卷积激活层4、卷积激活层5、卷积激活层6、卷积激活层7和卷积激活层8组成的卷积神经网络作为图像分解网络，输入图像a

【技术特征摘要】
1.基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：包括以下步骤：
(1)、构建图像分解网络，并利用采集的图像数据训练图像分解网络，过程如下：
(1.1)、构建图像分解训练数据集和图像分解测试数据集：
通过相机拍摄采集矿井井壁多个位置的图像，对于矿井井壁每个位置，分别拍摄采集正常曝光条件下和低曝光条件下的图像，由每个位置正常曝光条件下和低曝光条件下的图像构成该位置的光照图像对，从而得到多个位置的光照图像对，从多个光照图像对中选取部分作为图像分解训练数据集，其余部分作为图像分解测试数据集；
(1.2)、构建图像分解网络：
构建由卷积层1、卷积激活层2、卷积激活层3、卷积激活层4、卷积激活层5、卷积激活层6、卷积激活层7和卷积激活层8组成的卷积神经网络作为图像分解网络，输入图像a[0]经过卷积层1的输出a[1]＝w[1]a[0]+b[1]，经过卷积激活层2～卷积激活层6的输出a[i]＝ReLU(w[i]a[i-1]+b[i]),i∈(2,3,4,5,6)，经过卷积激活层7的输出a[7]＝sigmoid(w[7]a[6]+b[7])，a[7]即为输入图像分解后得到的反射图像R，经过卷积激活层8的输出a[8]＝sigmoid(w[8]a[6]+b[8])，a[8]即为输入图像分解后得到的光照图像I，其中：
w[ly],b[ly]均为未知量,需要经过训练后确定，ly∈(1,2,3,4,5,6,7,8)，ReLU函数计算为ReLU(x)＝Max(0,x),Max(x)函数表示取参数最大值，sigmoid函数计算为x表示对应卷积激活层中代入至函数的相应参数；
(1.3)、将步骤(1.1)得到的图像分解训练数据集和图像分解测试数据集输入至步骤(1.2)构建的图像分解网络，以对图像分解网络进行多次迭代训练，得到训练完成的图像分解网络；
(2)、构建图像检测网络，并利用采集的图像数据训练图像检测网络，过程如下：
(2.1)、构建图像检测训练数据集和图像检测测试数据集：
首先采集获取矿井井壁多个位置的图像，在图像中寻找存在包括无异常状况在内的多种井壁状况的图像，并从每种井壁状况的图像分别选取多张，构成井壁图像样本集；
其次建立多种井壁状况的标签值表，在标签值表中将井壁图像样本集中相同井壁状况的图像设置相同的状态标签值、不同井壁状况的图像设置不同的状态标签值；
然后从井壁图像样本集中每种井壁状况的图像再分别各自选取多张后，将选取的多种井壁状况的图像按照随机顺序进行摆放，并按照摆放的顺序将每张图像的图像名和其对应的状态标签值保存到同一训练文件中，由从井壁图像样本集中再次选取并摆放后的图像以及训练文件构成图像检测训练数据集；
按相同的方法，从井壁图像样本集中每种井壁状况经选取后剩余的图像中选取多张，并将从剩余图像中选取的多种井壁状况的图像按照随机顺序进行摆放，然后按照摆放的顺序将每张图像的图像名和其对应的状态标签值保存到同一测试文件中，由从井壁图像样本集剩余图像中选取并摆放后的图像以及测试文件构成图像检测测试数据集；
(2.2)、构建图像检测网络：
构建由卷积激活层1、池化层1、卷积激活层2、池化层2、卷积激活层3、池化层3、卷积激活层4、池化层4、卷积激活层5、池化层5、全连接层6、全连接层7和Softmax层构成的卷积神经网络，输入图像a[0]经过卷积激活层的输出z[j]＝ReLU(w[j]a[j-1]+b[j]),j∈(1,2,3,4,5)，经过池化层的输出a[j]＝Max(z[j]),j∈(1,2,3,4,5)，经过全连接层的输出a[k]＝w[k]a[k-1]+b[k],k∈(6,7)，经过Softmax层的输出Softmax层是先算出检测结果可能为每种状态标签值的概率，再选取概率值最大的作为最终检测结果；，表示检测结果为各种状态标签值的概率，选择概率最大的状态标签值作为最终检测结果，即其中：
w[lay],b[lay]为未知量,需要经过训练后确定，lay∈(1,2,3,4,5,6,7)；Max(x)函数表示取参数最大值；ReLU(x)函数计算为ReLU(x)＝Max(0,x)，x表示对应卷积激活层代入函数的相应参数；
(2.3)、将步骤(2.1)得到的图像检测训练数据集和图像检测测试数据集输入至步骤(2.2)构建的图像检测网络，以对图像检测网络进行多次迭代训练，得到训练完成的图像检测网络；
(3)、利用步骤(1)得到的训练后的图像分解网络和步骤(2)得到的训练后的图像检测网络，对矿井井壁进行在线检测，过程如下：
(3.1)、采集获取矿井井壁图像；
(3.2)、将井壁图像输入到训练好的图像分解网络中，分解出反射图像R和光照图像I；
(3.3)、使用公式L(x,y)＝[I(x,y)]γ对光照图像I进行亮度伽马校正得到光照亮度校正图像L，其中，I(x,y)表示在光照图像I中(x,y)位置的像素值，L(x,y)表示校正后图像L中(x,y)位置的像素值，γ是一个常数，且γ＜1；将反射图像R的每个像素值分别和光照亮度校正图像L的对应位置的像素值相乘后得到光亮增强图像S的像素值，计算公式为S(x,y)＝L(x,y)·R(x,y)；
(3.4)、将光亮增强图像S输入到训练完成的图像检测网络中，图像检测网络计算的输出结果即为井壁状况的检测结果，该结果为多种井壁状况中的一种。


2.根据权利...

【专利技术属性】
技术研发人员：黄友锐，韩涛，徐善永，许家昌，鲍士水，凌六一，唐超礼，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：安徽;34