基于深度学习的高炉炼铁原燃料图像智能监测方法技术

本发明专利技术提供一种基于深度学习的高炉炼铁原燃料图像智能监测方法，涉及高炉炼铁生产技术领域。该方法获取高炉炼铁的原燃料图像，并进行去模糊处理，得到清晰的原燃料图像；再对清晰的原燃料图像进行标记及数据增强，得到训练所需的原燃料图像数据集；通过coco数据集和原燃料图像数据集的结合，训练改进的MaskRCNN模型，得到用于原燃料目标检测的实例分割模型；将实时采集到的原燃料图像进行去模糊处理后，最后利用训练好的实例分割模型对待检测的原燃料图像的进行检测，得到原燃料图像中原燃料数量及对应原燃料实际面积，进而由原燃料实际面积计算出对应的原燃料粒径。该方法能够提高检测的准确度，同时能够应用于不同的环境。同时能够应用于不同的环境。同时能够应用于不同的环境。

【技术实现步骤摘要】
基于深度学习的高炉炼铁原燃料图像智能监测方法


[0001]本专利技术涉及高炉炼铁生产
，尤其涉及一种基于深度学习的高炉炼铁原燃料图像智能监测方法。

技术介绍

[0002]高炉炼铁所使用的原燃料的情况能购反映高炉内的反应程度，对高炉原燃料的实时监测并统计计算，能够改善高炉炼铁生产性能及稳定炉况。工厂采用的传统的检测方法是人为抽样检测，在传送带上手动选取原燃料并统计记录，但该方法不能实时的对当前生产所用的原燃料进行监测，且工人在运行的机器上作业存在危险性。在工厂实际条件下，原燃料在传送带上运动产生的模糊，数目密集重叠，原燃料本身的形状各异和硬件条件限制等，都加大了原燃料监测的难度。
[0003]深度学习在2006年由Hinton等人提出，是在人工神经网络上面的进一步改进，为了让层数较多的多层神经网络可以进行训练而演化出来的一系列的新的结构方法。深度学习是以不少于两个隐含层的神经网络对输入进行非线性变换或表示学习的技术，通过构建出深层的神经网络，对数据进行各项分析活动来。深层神经网络由一个输入层，数个隐层，以及一个输出层构成。目前用途较为广泛的深度学习网络结构有卷积神经网络、循环神经网络、深度神经网络等。
[0004]实例分割是计算机视觉四大基本任务之一，难度相对较大，结合了目标检测和语义分割，既有语义分割的特点，做到像素层面的分类，在图像中将目标的图像检测出来，还具有目标检测的一部分特点，对每个像素打上标签，在同一种类里对不同的实例进行区分标记，检测出有多少个目标及目标的具体样式。
专利技术内容
[0005]本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的高炉炼铁原燃料图像智能监测方法，实现对高炉炼铁原燃料图像的智能监测。
[0006]为解决上述技术问题，本专利技术所采取的技术方案是：基于深度学习的高炉炼铁原燃料图像智能监测方法，包括以下步骤：
[0007]步骤1：获取高炉炼铁的原燃料图像；
[0008]在高炉炼铁的原燃料传送带正上方设置摄像机，采集传送带运送的原燃料的视频图像，并对视频按帧提取出原燃料图像；
[0009]步骤2：采用DeblurGANv2算法对获得的原燃料图像进行去模糊处理，得到清晰的原燃料图像；
[0010]步骤3：用labelme工具对清晰的原燃料图像进行标记，并对已标记的原燃料图像进行数据增强，得到训练所需的原燃料图像数据集；
[0011]在使用labelme工具对原燃料图像进行标记，标签名称设定为“jiaotan+序号”，每张图片中的各个原燃料有不同序号加以区分；并对所得到的已标记的原燃料图像进行翻
转，平移和添加噪点操作，实现数据增强；
[0012]步骤4：通过coco数据集和原燃料图像数据集的结合，训练改进的MaskRCNN模型，得到用于原燃料目标检测的实例分割模型；
[0013]将coco数据集生成的预训练权重模型通过迁移学习引入改进的MaskRCNN模型，将coco数据集预训练权重模型作为该原燃料图像数据集训练任务的起点，对改进的MaskRCNN模型进行训练，得到用于原燃料目标检测的实例分割模型；
[0014]所述改进的MaskRCNN模型在MaskRCNN模型的基础上，在ResNet网络的卷积层后加入注意力模块来优化网络结构，提升检测的准确度；并在全连接层后增加dropout层，防止发生过度拟合现象；
[0015]步骤5：将实时采集到的原燃料图像进行去模糊处理后，利用训练好的实例分割模型进行检测，得到原燃料图像中原燃料数量及对应原燃料实际面积；
[0016]对检测出的原燃料图像的原燃料实例区域进行面积提取，根据原燃料图像视野范围对应的现实的面积求出每个像素对应的实际面积，进而求出原燃料实际面积；
[0017]步骤6：由步骤5求出的原燃料实际面积计算出对应的原燃料粒径；
[0018]所述原燃料粒径的计算如下公式所示：
[0019][0020]其中，d为原燃料粒径，S为整个原燃料图像对应的现实区域的实际面积，k为每个原燃料实例区域范围内所包含的像素个数，H*W为图像像素的总数。
[0021]采用上述技术方案所产生的有益效果在于：本专利技术提供的基于深度学习的高炉炼铁原燃料图像智能监测方法，提高了对高炉炼生产流程当前原燃料使用情况的实时检测效率，能够实时监控当前传送带上的原燃料信息，从而对生产环节进行更细致的把控并及时调整，该方法能够提高检测的准确度，同时能够应用于不同的环境，去模糊及数据增强降低了对于摄像头硬件设备录入清晰数据的过高要求，提高了准确度的同时降低了成本。
附图说明
[0022]图1为本专利技术提供的一种基于深度学习的高炉炼铁原燃料图像智能监测方法的流程图；
[0023]图2为本专利技术实施例提供的labelme标记的原燃料图像效果图，其中，(a)为原始原燃料图像，(b)为labelme标记的原燃料图像；
[0024]图3为本专利技术实施例提供的数据增强生成的四种不同的原燃料图像，其中，(a)为原始原燃料图像，(b)为添加噪点后的原燃料图像，(c)为添加噪点、降低亮度及翻转后的原燃料图像，(d)为平移和添加噪点后的原燃料图像；
[0025]图4为本专利技术实施例提供的使用改进的MaskRCNN模型进行原燃料目标检测分割的过程示意图。
具体实施方式
[0026]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0027]本实施例中，基于深度学习的高炉炼铁原燃料图像智能监测方法，如图1所示，包括以下步骤：
[0028]步骤1：获取高炉炼铁的原燃料图像获取在传送带随着运送的原燃料图像；
[0029]在高炉炼铁的原燃料传送带正上方设置摄像机，采集传送带运送的原燃料视频图像，并对视频按帧提取出原燃料图像；
[0030]获得的原燃料数据为视频形式，需要对原燃料视频进行按帧提取出原燃料图像。为了提高检测的准确性，将用于拍摄的摄像头放置于原燃料传送带的正上方，由于拍摄的运动图像会产生模糊，影响对于原燃料目标检测的准确度和检测速度，所以需要在进行实例分割目标检测前对图片进行去模糊操作。
[0031]步骤2：采用DeblurGANv2算法对获得的原燃料图像进行去模糊处理，得到清晰的原燃料图像；
[0032]DeblurGANv2是一种基于GAN方法进行盲运动模糊移除的方法，能够有效地对带有运动模糊的图像进行去模糊处理，从而得到更加清晰的图像，是由DeblurGAN改进而来，该方法构建了一个基于Feature Pyramid Network的去模糊框架，为了追求更高的质量，采用了nception
‑
Resnet
‑
v2骨干网络。DeblurGANv2去模糊算法采用双尺度判别器进行训练，充分利用当前处理数据的全局与局部特征，从而能够处理更加大且复杂的实际实验环境中存在的真本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的高炉炼铁原燃料图像智能监测方法，其特征在于：包括以下步骤：获取高炉炼铁的原燃料图像；对获得的原燃料图像进行去模糊处理，得到清晰的原燃料图像；对清晰的原燃料图像进行标记，并对已标记的原燃料图像进行数据增强，得到训练所需的原燃料图像数据集；通过coco数据集和原燃料图像数据集的结合，训练改进的MaskRCNN模型，得到用于原燃料目标检测的实例分割模型；将实时采集到的原燃料图像进行去模糊处理后，利用训练好的实例分割模型进行检测，得到原燃料图像中原燃料数量及对应原燃料实际面积；由原燃料实际面积计算出对应的原燃料粒径。2.根据权利要求要求1所述的基于深度学习的高炉炼铁原燃料图像智能监测方法，其特征在于：所述获取高炉炼铁的原燃料图像的具体方法为：在高炉炼铁的原燃料传送带正上方设置摄像机，采集传送带运送的原燃料的视频图像，并对视频按帧提取出原燃料图像。3.根据权利要求要求2所述的基于深度学习的高炉炼铁原燃料图像智能监测方法，其特征在于：采用DeblurGANv2算法对获得的原燃料图像进行去模糊处理。4.根据权利要求要求3所述的基于深度学习的高炉炼铁原燃料图像智能监测方法，其特征在于：采用labelme工具对清晰的原燃料图像进行标记。5.根据权利要求要求4所述的基于深度学习的高炉炼铁原燃料图像智能监测方法，其特征在于：在使用labelme工具对原燃料图像进行标记时，标签名称设定为“jiaotan+序号”，每张图片中的各个原燃料有不同序号加以区分；并对所得到的已标记...

【专利技术属性】
技术研发人员：邵思维，杨承霖，冯琳，
申请(专利权)人：东北大学，
类型：发明
国别省市：