基于深度学习的实时煤岩分割网络生成方法技术

本发明专利技术提供了一种基于深度学习的实时煤岩分割网络生成方法，属于图像处理领域。具体包括以下步骤：S1：构建CB模块；CB模块利用卷积和下采样操作模块将大图迅速下采样至低分辨率的特征图；S2：构建UB模块；UB模块是一个由小型UNet构成的卷积模块，使用1/16的特征图构建高分辨率路径；S3：构建深度聚合池化金字塔模块；增加特征提取的感受野，更充分地提取上下文信息；S4：双分辨率路径融合；用双线性插值法和求合法实现从低到高的融合，将高分辨率路径和低分辨率路径的输出进行2倍上采样和8倍上采样，将采样后的特征图进行相加；S5：构建分割头模块；使用两个卷积层，更好地将特征图进行煤岩分类。煤岩分类。煤岩分类。

【技术实现步骤摘要】
基于深度学习的实时煤岩分割网络生成方法


[0001]本专利技术涉及一种基于深度学习网络生成方法，具体涉及一种基于深度学习的实时煤岩分割网络生成方法，属于图像处理


技术介绍

[0002]煤炭是世界上最经济的化石能源，也是我国的主体能源，对我国的能源安全和经济社会发展起着举足轻重的作用。煤炭的智能化、无人化开采在提高煤炭产量的同时，也是减少煤矿事故，特别是工作面事故的主要途径。煤岩界面自动识别是实现智能化和无人化开采的核心技术，是采煤机滚筒和掘锚机截割部位高度的自动调节以及液压支架顶板支护自动调整的关键所在，同时也是公认的世界难题。因此，深入研究煤岩界面的自动识别方法具有重要的理论意义和实践价值。由于开采工作面的煤岩识别不同于对煤块和岩块的分类，要在识别类别的同时获取到煤岩的边缘信息。我国煤岩存在多样性、相似性和复杂性等特征，现有语义分割模型存在对煤岩分割的精度不高、速度慢、性能低等问题。因此，切实提高煤岩样本数量与质量、构建更加高效的煤岩识别模型是当前迫切需要解决的问题。
[0003]针对以上问题，本专利技术设计了高效的实时性煤岩分割网络Unet
‑
block Dual
‑
resolution Networks（UDNet）。该网络采用经典的双分辨率路径网络，高分辨率路径保留图像的结构化信息，低分辨率网络提取图像的语义信息，根据图像的语义信息对像素进行分类。为了降低网络的参数量和运算量，在设计模型结构时高分辨率路径采用了比1/8更低的分辨率1/16，将DDRNet中的残差卷积模块替换成了更加高效的UNet模块，同时使用最大池化进行下采样以达到减少参数的目的。最后针对煤岩分割是一个二分类任务的特点，将整个模型的通道数进行减少。实验在标注好的3000张煤岩图像分割数据集上进行，对数据采用7：3的比例划分训练集和验证集。根据实验结果可得结论：UDNet很好地实现了速度与精度的平衡，在煤岩分割任务中相比于DDRNet，运算量减少了约15G，参数减少了约2.8M，FPS从150提高到了207。

技术实现思路

[0004]为了弥补现有技术的不足，本专利技术目的是提供了一种基于深度学习的实时煤岩分割网络。
[0005]本专利技术为实现上述目的，通过以下技术方案实现：一种基于深度学习的实时煤岩分割网络，其特征在于,具体包括以下步骤：S1：构建CB模块；CB模块利用卷积和下采样操作模块将大图迅速下采样至低分辨率的特征图；S2：构建UB模块；UB模块是一个由小型UNet构成的卷积模块，使用1/16的特征图构建高分辨率路径；S3：构建深度聚合池化金字塔模块；增加特征提取的感受野，更充分地提取上下文信息；
S4：双分辨率路径融合；用双线性插值法和求合法实现从低到高的融合，将高分辨率路径和低分辨率路径的输出进行2倍上采样和8倍上采样，将采样后的特征图进行相加；S5：构建分割头模块；使用两个卷积层，更好地将特征图进行煤岩分类。
[0006]作为优选方案，步骤S1中，具体包括以下步骤：S1
‑
1：卷积操作；卷积神经网络能够自动学习到多个分辨率下的图像特征，在神经网络较浅层时，受感受野的约束只能感知到较小区域从而学习到图像的局部特征，在神经网络较深层时，感受野不变但图像特征缩小，因此具有较大的感知区域，能够学习到目标对象更抽象的特征；S1
‑
2：下采样操作；将图像中冗余的信息进行过滤，提取网络感兴趣的特征以便更好地获得图像语义信息。
[0007]作为优选方案，步骤S2中，具体包括以下步骤：S2
‑
1：提取不同尺度上下文信息；该模块利用了Unet结构，融合不同感受野的特征，可以在前向传播过程中提取更多不同尺度的上下文信息。该模块的输入特征图和输出特征图的分辨率相同，通道数增加，之后可以在UB模块后接上Max pooling进行下采样；S2
‑
2：池化操作；Max pooling操作可以在实现下采样的同时保证特征的相对位置不变，相比于卷积层完成下采样操作，使用该操作在完成下采样的过程中不需要训练参数，可以在减少参数量的同时避免过拟合问题。对于跳跃连接结来说，浅层网络所有数据都是浅层操作的结果，深度网络则都是深层操作的结果，而U型结构是包含了不同深度操作的结果。
[0008]作为优选方案，步骤S3中，具体包括以下步骤：低分辨率路径提取上下文信息；以1/64图像分辨率的特征图为输入，采用指数步长的最大池化生成1/128、1/256、1/512图像分辨率的特征图，还利用全局平均池化生成输入特征图和像素级信息，首先对特征图进行上采样，然后使用多个3
×
3卷积以分层残差的方式融合不同尺度的上下文信息，最后，使用1
×
1卷积对所有特征图进行拼接和压缩，一个输入x，每个尺度yi可以写为：
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，C1×1是1
×
1卷积，C3×3是3
×
3卷积，U表示上采样运算，P
j，k
表示核大小为j，步长为k的池化层，P
global
表示全局平均池化。
[0009]作为优选方案，步骤S4中，具体包括以下步骤：双边融合包括将高分辨率分支融合到低分辨率分支(高到低融合)和将低分辨率分支融合到高分辨率分支(低到高融合)。对于高到低融合，在逐点求和之前，高分辨率特征地图被以2为步长的3
×
3卷积序列下采样。对于低分辨率到高分辨率，低分辨率特征图首先用1
×
1卷积进行压缩，然后用双线性内插法进行上采样。第i个高分辨率特征图XHi和低分辨率特征图XLi可以写成：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中FH和FL分别对应于高分辨率和低分辨率下的经过残差块之后的特征图，
和为从低到高和从高到低的transformer，和为第i
‑
1个高分辨率特征图和低分辨率特征图，R为ReLU激活函数，将不同的特征图分别经过下采样和上采样之后进行相加，同时在特征图之后都添加了ReLU激活函数。
[0010]作为优选方案，步骤S5中，具体包括以下步骤：对经过特征提取网络提取的特征图先进行归一化处理，然后使用激活函数进行非线性转换，再进行卷积处理，归一化、激活、卷积这种操作一共进行了两次，以达到更好的分类效果。
[0011]本专利技术的有益效果在于：本专利技术的UDNet模型是由两条不同分辨率的路径组成。其中“CB”模块是一个包括卷积、下采样操作的模块，由卷积层、归一化层组成，CB模块的作用是将大图迅速下采样至低分辨率的特征图，这也是减少模型计算量的有效方法。“UB”模块是一个由小型UNet构成的卷积模块，由于UNet的结构对称，输入与输出的特征图除通道数不同之外，长和宽的大小完全相同，所以采用maxpool操作对特征图进行下采样。UDNet不同于DDRNet的高分辨率路径使用1/8的特征图进行前向传播，而是使用1/16的特征图构建高分辨率路径本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的实时煤岩分割网络生成方法，其特征在于：包括以下步骤：S1：构建CB模块；CB模块利用卷积和下采样操作模块将大图迅速下采样至低分辨率的特征图；S2：构建UB模块；UB模块是一个由小型UNet构成的卷积模块，使用1/16的特征图构建高分辨率路径；S3：构建深度聚合池化金字塔模块；增加特征提取的感受野，更充分地提取上下文信息；S4：双分辨率路径融合；用双线性插值法和求合法实现从低到高的融合，将高分辨率路径和低分辨率路径的输出进行2倍上采样和8倍上采样，将采样后的特征图进行相加；S5：构建分割头模块；使用两个卷积层，更好地将特征图进行煤岩分类。2.根据权利要求1所述基于深度学习的实时煤岩分割网络生成方法，其特征在于：步骤S1中，具体包括以下步骤：S1
‑
1：卷积操作；卷积神经网络能够自动学习到多个分辨率下的图像特征，在神经网络较浅层时，受感受野的约束只能感知到较小区域从而学习到图像的局部特征，在神经网络较深层时，感受野不变但图像特征缩小，因此具有较大的感知区域，能够学习到目标对象更抽象的特征；S1
‑
2：下采样操作；将图像中冗余的信息进行过滤，提取网络感兴趣的特征以便更好地获得图像语义信息。3.根据权利要求1所述基于深度学习的实时煤岩分割网络生成方法，其特征在于：步骤S2中，具体包括以下步骤：S2
‑
1：提取不同尺度上下文信息；该模块利用了Unet结构，融合不同感受野的特征，可以在前向传播过程中提取更多不同尺度的上下文信息；该模块的输入特征图和输出特征图的分辨率相同，通道数增加，之后可以在UB模块后接上Max pooling进行下采样；S2
‑
2：池化操作；Max pooling操作可以在实现下采样的同时保证特征的相对位置不变，相比于卷积层完成下采样操作，使用该操作在完成下采样的过程中不需要训练参数，可以在减少参数量的同时避免过拟合问题；对于跳跃连接结来说，浅层网络所有数据都是浅层操作的结果，深度网络则都是深层操作的结果，而U型结构是包含了不同深度操作的结果。4.根据权利要求1所述基于深度学习的实时煤岩分割网络生成方法，其特征在于：步骤S3中，具体包括以下步骤：S...

【专利技术属性】
技术研发人员：陈吉，王星，刘亚，高峰，李金岩，李晓乐，张鑫，蒋文杰，
申请(专利权)人：临沂大学，
类型：发明
国别省市：