一种基于深度学习网络的矿山图像粉尘去除方法及系统技术方案

本发明专利技术提供了一种基于深度学习网络的矿山图像粉尘去除方法及系统，步骤包括：S1、对矿山图像进行多尺度特征提取，获取所述矿山图像的高级图像特征、结构特征和低级图像特征；S2、对所述高级图像特征、结构特征和低级图像特征进行修复处理，去除所述矿山图像的粉尘信息；S3、将所述高级图像特征、结构特征和低级图像特征和所述矿山图像的粉尘信息进行融合处理，获取融合特征，将所述融合特征进行图像还原处理，获得去除粉尘图像；S4、将所述去除粉尘图像进行分块区域处理，获得粉尘概率，进行数据处理获得端到端网络的损失值，判断损失值是否符合要求，否则要返回S1；是则获取去除粉尘成功的矿山图像。的矿山图像。的矿山图像。

【技术实现步骤摘要】
一种基于深度学习网络的矿山图像粉尘去除方法及系统


[0001]本专利技术涉及计算机视觉、图像处理技术和矿山无人驾驶领域，特别是涉及基于深度学习网络的矿山图像粉尘去除方法及系统。

技术介绍

[0002]现实矿山生产环境中弥漫大量粉尘，导致成像设备所采集的数字图像存在严重失真的问题，譬如：画质不清晰，粉尘遮盖待检测物体目标等，上述问题会造成数字图像中待检测目标有效特征衰减或弱化，严重影响基于计算机视觉技术的目标监控与智能识别。现有研究基于雾与粉尘在数字图像中物理与光学特性相似性，去雾算法对粉尘环境下数字图像恢复具有借鉴意义。然而，粉尘环境下光线具有非均匀分布且局部多散射的特点，不满足使用去雾算法对光线均匀分布且单散射要求的前提条件，因此，现有的去雾算法不可直接应用于矿山粉尘环境下数字图像。
[0003]目前，端到端深度学习算法模型广泛应用于数字图像去雾研究，但该模型算法无法直接应用于矿山粉尘图像，主要表现为：其一，粉尘数字图像具有时间不连续特性，现实场景下无法准确地收集“粉尘
‑
无粉尘”的配对标记图像数据，导致制作用于端到端模型训练的粉尘图像训练数据集难度极大；其二，粉尘数字图像具有空间不连续特性，直接使用去雾算法模型中的全局特征估计方法还原粉尘图像，导致还原后的粉尘图像不符合图像噪声特性的问题。

技术实现思路

[0004]本专利技术的目的是提出一种基于深度学习网络的矿山图像粉尘去除方法及系统，通过将图像粉尘去除的端到端模型与粉尘概率估计模型联合使用，解决了矿山图像粉尘去除问题。
[0005]为实现上述目的，本专利技术提供了如下方案：一种基于深度学习网络的矿山图像粉尘去除方法，步骤包括：
[0006]S1、对矿山图像进行多尺度特征提取，获取所述矿山图像的高级图像特征、结构特征和低级图像特征；
[0007]S2、对所述高级图像特征、结构特征和低级图像特征进行修复处理，去除所述矿山图像的粉尘信息；
[0008]S3、将所述高级图像特征、结构特征和低级图像特征和所述矿山图像的粉尘信息进行融合处理，获取融合特征，将所述融合特征进行图像恢复处理，获得去除粉尘图像；
[0009]S4、将所述去除粉尘图像进行分块区域处理，获得粉尘概率，进行数据处理获得端到端网络的损失值，判断损失值是否符合要求，否则要返回S1；是则获取去除粉尘成功的矿山图像。
[0010]可选的，S1中对矿山图像进行多尺度特征提取方法包括：采用卷积算子对所述矿山图像进行下采样处理，再进行RCF处理获取矿山图像的高级图像特征、结构特征和低级图
像特征。
[0011]可选的，S2中修复处理的过程包括：对所述矿山图像的高级图像特征、结构特征和低级图像特征进行特征修复处理，产生6个残差模块，每个残差模块由3个相同残差块组成，通过残差进行修复处理获得去除所述矿山图像的粉尘信息。
[0012]可选的，所述S3中获取去除粉尘图像中的图像恢复处理包括：采用转置卷积、残差和特征融合进行图像恢复。
[0013]可选的，所述S4中分块区域处理的过程包括：将去粉尘图像进行图像缩放，将缩放后的图像进行粉尘概率估计模型推理，获得8
×
8的图像分块区域粉尘概率。
[0014]可选的，构建粉尘概率估计模型包括：
[0015]S61、通过不成对的方式对矿山图像进行训练，判断所述矿山图像中有无粉尘存在的概率，输出为0
‑
1的概率，对矿山图像进行分块标注，获得64个小区域图像的粉尘概率，获得粉尘概率值；
[0016]S62、选定损失函数为均方误差损失函数(MSE)，将预测的64个图像块的粉尘概率值作为训练过程损失函数的输入，
[0017][0018]式中，y
i
表示样本i的标记的粉尘概率，表示算法模型推理样本i得出的粉尘概率；
[0019]S63、重复S61
‑
S62，直至loss值收敛到合适范围，此时粉尘概率估计模型训练成功。
[0020]可选的，损失值计算过程包括：根据损失粉尘概率值计算端到端网络的损失值，损失函数loss表达式为：
[0021][0022]式中是卷积神经网络的输出值。
[0023]一种基于深度学习网络的矿山图像粉尘去除系统，包括：
[0024]多尺度特征提取模块，由卷积和RCF模块组成，用于对矿山图像进行多尺度特征提取，获取所述矿山图像的高级图像特征、结构特征和低级图像特征；
[0025]修复处理模块，由多个残差模块组成，用于对所述高级图像特征、结构特征和低级图像特征的修复处理，获得去除所述矿山图像的粉尘信息；
[0026]融合恢复模块，由TSF模块和卷积组成，用于将所述高级图像特征、结构特征和低级图像特征和所述矿山图像的粉尘信息进行融合处理，获取融合特征，将所述融合特征进行图像恢复处理，获得去除粉尘图像；
[0027]输出模块，用于将所述去除粉尘图像进行分块区域处理，获得粉尘概率，进行数据处理获得端到端网络的损失值，判断损失值是否符合要求，若符合要求，则获取去除粉尘成功的矿山图像。
[0028]可选的，所述RCF模块包括残差模块、卷积层和特征融合模块，其中：残差模块由3个连续的相同残差块构成，用于解决梯度消失和梯度爆炸问题，4组残差块的通道数依次为
16、32、64和128；卷积层用于下采样，减少一半的特征通道数量，其输入通道数与同组RCF模块中残差块通道数相同，输出通道数是输入通道数的2倍，卷积核大小皆为3
×
3，步长为2；卷积层提取矿山图像在不同尺度下的特征，此特征亦将用于同组RCF模块以及RCF模块的特征融合；特征融合模块则通过组合得到的特征来获取互补信息，卷积核数量与RCF模块中卷积层输出通道数相同。
[0029]可选的，所述TSF模块包括转置卷积模块、残差模块和特征融合模块，其中：转置卷积用于上采样，将增加一倍的特征通道数量，这4组转置卷积的输入通道数依次为256、128、64和32，输出通道数是输入通道数的一半，卷积核大小皆为3
×
3，步长为2；残差模块仍由3个连续的相同残差块构成，用于解决梯度消失和梯度爆炸问题，残差块的通道数与同TSF模块中转置卷积的输出通道数相同；特征融合模块则通过组合得到的特征来获取互补信息，卷积核数量与同TSF模块中残差模块的通道数相同。
[0030]本专利技术的有益效果为：本专利技术提供了一种基于深度学习网络的矿山图像粉尘去除方法及系统，能够直接去除矿山图像的粉尘，从而解决了现有技术中去除粉尘方法存在大量噪声的问题，极大的降低了工作难度，提高了工作效率及准确率。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习网络的矿山图像粉尘去除方法，其特征在于，步骤包括：S1、对矿山图像进行多尺度特征提取，获取所述矿山图像的高级图像特征、结构特征和低级图像特征；S2、对所述高级图像特征、结构特征和低级图像特征进行修复处理，去除所述矿山图像的粉尘信息；S3、将所述高级图像特征、结构特征、低级图像特征和所述矿山图像的粉尘信息进行融合处理，获取融合特征，将所述融合特征进行图像恢复处理，获得去除粉尘图像；S4、将所述去除粉尘图像进行分块区域处理，获得粉尘概率，进行数据处理获得端到端网络的损失值，判断损失值是否符合要求，否则要返回S1；是则获取去除粉尘成功的矿山图像。2.根据权利要求1所述的基于深度学习网络的矿山图像粉尘去除方法，其特征在于，所述S1中对矿山图像进行多尺度特征提取方法包括：采用卷积算子对所述矿山图像进行下采样处理，再进行RCF处理获取矿山图像的高级图像特征、结构特征和低级图像特征。3.根据权利要求2所述的基于深度学习网络的矿山图像粉尘去除方法，其特征在于，所述S2中修复处理的过程包括：对所述矿山图像的高级图像特征、结构特征和低级图像特征进行特征修复处理，产生6个残差模块，每个残差模块由3个相同残差块组成，通过残差进行修复处理获得去除所述矿山图像的粉尘信息。4.根据权利要求3所述的基于深度学习网络的矿山图像粉尘去除方法，其特征在于，所述S3中获取去除粉尘图像中的图像恢复处理包括：采用转置卷积、残差和特征融合进行图像恢复。5.根据权利要求4所述的基于深度学习网络的矿山图像粉尘去除方法，其特征在于，所述S4中分块区域处理的过程包括：将去粉尘图像进行图像缩放，将缩放后的图像进行粉尘概率估计模型推理，获得8
×
8的图像分块区域粉尘概率。6.根据权利要求5所述的基于深度学习网络的矿山图像粉尘去除方法，其特征在于，构建粉尘概率估计模型包括：S61、通过不成对的方式对矿山图像进行训练，判断所述矿山图像中有无粉尘存在的概率，输出为0
‑
1的概率，对矿山图像进行分块标注，获得64个小区域图像的粉尘概率，获得粉尘概率值；S62、选定损失函数为均方误差损失函数(MSE)，将预测的64个图像块的粉尘概率值作为训练过程损失函数的输入，式中，y
i
表示样本i的标记的粉尘概率，表示算法模型推理样本i得出的粉尘概率；S63、重复S61
‑
S62，直至loss值收敛，此时粉尘概率估计模型训练成功。7.根据权利...

【专利技术属性】
技术研发人员：刘康，徐歆恺，马岩，赵昕楠，
申请(专利权)人：北京联合大学煤炭科学技术研究院有限公司，
类型：发明
国别省市：