基于层次特征融合的矿井图像超分辨率重建方法及系统技术方案

本发明专利技术涉及图像重建技术领域，具体涉及基于层次特征融合的矿井图像超分辨率重建方法及系统，该重建方法通过将低分辨率图像

【技术实现步骤摘要】
基于层次特征融合的矿井图像超分辨率重建方法及系统


[0001]本专利技术涉及图像重建
，具体涉及基于层次特征融合的矿井图像超分辨率重建方法及系统
。

技术介绍

[0002]矿井图像主要是指利用矿井环境下的摄像机或者传感器采集得到的数字图像资源，常被广泛用于煤矿的生产管理
、
行为识别
、
安全检测等各个方面，其反映的信息对煤矿的生产作业和人员管理都起到至关重要的作用，由于矿井环境多为无光或微弱光线条件，且拍摄设备硬件条件不统一，因此对矿井图像的亮度
、
对比度和分辨率等方面需要进行重建等特殊处理
。
[0003]矿井图像超分辨率重建技术是指利用深度学习相关算法，从低分辨率的矿井图像中重建出高分辨率的矿井图像的技术，通过重建高分辨率矿井图像，可以提高图像的质量，使得图像细节和纹理信息更加清晰，对安全监测和和矿山勘探等工作非常有帮助，当前，矿井图像超分辨率重建技术的相关方法通常由以下四个步骤组成：第一，图像预处理：对低分辨率图像进行预处理操作，包括图像增强等；第二，模型搭建：搭建网络模型，主要包括浅层特征提取模块
、
深层特征提取模块和特征重建模块三个部分；第三，模型训练和优化：基于预处理后的数据集，对已搭建的模型进行训练和优化；第四，超分辨率重建：基于训练得到的最优模型，将低分辨率矿井图像映射为高分辨率矿井图像，得到最终结果
。
[0004]专利公开号为：
CN115239564B
的专利文件公开了一种结合语义信息的矿井图像超分辨率重建方法，其主要目的是通过语义分割网络所产生的概率图对超分辨率网络的深层特征提取前的输入进行调整，以此达到提高图像重建质量的结果
。
[0005]当前多数方案中图像超分辨率重建模型多为简单堆叠大量基本模块，不仅忽视高低频信息关系，且结构复杂
、
参数量巨大，难以应用于矿井生产作业中，现存的问题具体来说主要为以下两点：
[0006]第一，现有的超分辨率网络多是通过大量重复增加网络基本模块来加深网络的层数和提取图像的深层特征，这会导致会模型的参数量和复杂度大幅增加，进而模型的训练和推理时间也显著增加，从而不仅会使网络模型的参数量增大和运行速度降低，更使得其难以在生产生活中得到广泛应用，难以广泛应用于复杂矿井环境下的移动端或边缘设备；
[0007]第二，特征融合过程中多为简单平等地对不同层次的图像特征进行拼接或者像素相加，忽视了不同层次图像特征的作用和相互之间的关系，使得在图像重建的最后阶段仅有少量高频信息对重建起作用，而多量重复性和冗余性的低频信息被反复处理，扰动图像重建，模型难以关注和重点学习对重建效果贡献较高的高频信息，使得矿井图像重建质量下降，这一问题在图像边缘和纹理等细节部分会显得尤其明显
。

技术实现思路

[0008]为了克服上述的技术问题，本专利技术的目的在于提供基于层次特征融合的矿井图像
超分辨率重建方法及系统，该系统可重点关注高低频信息之间的关系，实现层次特征融合，且高频细节信息指导低频信息的利用，同时保持模型的轻量化，使得模型能够在矿井等复杂环境下仍具有较高的应用价值
。
[0009]本专利技术的目的可以通过以下技术方案实现：
[0010]基于层次特征融合的矿井图像超分辨率重建方法，该重建方法通过将低分辨率图像
I
LR
输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像
I
SR
，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块
、
深层特征提取模块以及特征重建模块；
[0011]重建方法包括以下步骤：
[0012]步骤一
、
浅层特征提取模块对输入重建网络模型的低分辨率图像
I
LR
进行处理，提取其浅层特征；
[0013]步骤二
、
由深层特征提取模块进一步提取图像的深层特征，深层特征提取模块由一个多分支的层次特征融合残差块
HFFRB
和三个基本的自适应残差块
ARB
构成，其中，层次特征融合残差块
HFFRB
中包含三个无注意力模块
ESA
的自适应残差块
ARB
；
[0014]步骤三，根据得到的深层特征进行层次特征融合，并基于层次特征融合利用图像高频信息指导低频信息进行学习和特征融合，提升重建网络模型的学习效率；
[0015]步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块，由一层3×3卷积层和主要由
pixelshuffle
函数组成的上采样模块构成，用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果
。
[0016]进一步在于，浅层特征提取模块由一层3×3卷积层构成，步骤一中，当低分辨率图像
I
LR
以张量的形式输入重建网络模型，由浅层特征提取模块得到浅层特征提取结果：
[0017][0018]式中，
F0表示浅层特征提取模块的输出，表示卷积核大小为3×3的卷积操作
。
[0019]进一步在于，步骤二中，在深层特征提取模块中，层次特征融合残差块
HFFRB
和自适应残差块
ARB
按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息，层次特征融合残差块
HFFRB
排列在第一个自适应残差块
ARB
后，第二个和第三个自适应残差块
ARB
排列在层次特征融合残差块
HFFRB
后，深度特征提取过程如下：
[0020][0021][0022][0023][0024]式中，
F
i
表示第
i
个模块输出得到的特征图，表示第
i
个模块的映射函数，其上标表示所对应的模块
。
[0025]进一步在于，步骤三中，对得到的深度特征信息进行层次特征融合，指定第一个自
适应残差块
ARB
基本模块的输出和层次特征融合残差块
HFFRB
基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块
ARB
基本模块的输出进行融合，得到第二阶段的深度特征，层次特征融合过程如下：
[0026][0027][0028]式中，
F
12
和
F
34
分别表示对特征
F1和
F2、F3和
F4进行拼接融合的结果，表示第
i
个拼接融合模块，其主要包含特征拼接操作和一层1×1卷积层
。
[0029]进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于层次特征融合的矿井图像超分辨率重建方法，其特征在于，该重建方法通过将低分辨率图像
I
LR
输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像
I
SR
，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块
、
深层特征提取模块以及特征重建模块；重建方法包括以下步骤：步骤一
、
浅层特征提取模块对输入重建网络模型的低分辨率图像
I
LR
进行处理，提取其浅层特征；步骤二
、
由深层特征提取模块进一步提取图像的深层特征，深层特征提取模块由一个多分支的层次特征融合残差块
HFFRB
和三个基本的自适应残差块
ARB
构成，其中，层次特征融合残差块
HFFRB
中包含三个无注意力模块
ESA
的自适应残差块
ARB
；步骤三，根据得到的深层特征进行层次特征融合，并基于层次特征融合利用图像高频信息指导低频信息进行学习和特征融合，提升重建网络模型的学习效率；步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块，由一层3×3卷积层和主要由
pixelshuffle
函数组成的上采样模块构成，用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果
。2.
根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法
,
其特征在于，浅层特征提取模块由一层3×3卷积层构成，步骤一中，当低分辨率图像
I
LR
以张量的形式输入重建网络模型，由浅层特征提取模块得到浅层特征提取结果：式中，
F0表示浅层特征提取模块的输出，表示卷积核大小为3×3的卷积操作
。3.
根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法
,
其特征在于，步骤二中，在深层特征提取模块中，层次特征融合残差块
HFFRB
和自适应残差块
ARB
按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息，层次特征融合残差块
HFFRB
排列在第一个自适应残差块
ARB
后，第二个和第三个自适应残差块
ARB
排列在层次特征融合残差块
HFFRB
后，深度特征提取过程如下：后，深度特征提取过程如下：后，深度特征提取过程如下：后，深度特征提取过程如下：式中，
F
i
表示第
i
个模块输出得到的特征图，表示第
i
个模块的映射函数，其上标表示所对应的模块
。4.
根据权利要求3所述的基于层次特征融合的矿井图像超分辨率重建方法
,
其特征在于，步骤三中，对得到的深度特征信息进行层次特征融合，指定第一个自适应残差块
ARB
基本模块的输出和层次特征融合残差块
HFFRB
基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块
ARB
基本模块的输出进行融合，得到第二阶段的深度特征，层次特征融合过程如下：
式中，
F
12
和
F
34
分别表示对特征
F1和
F2、F3和
F4进行拼接融合的结果，表示第
i
个拼接融合模块，其主要包含特征拼接操作和一层1×1卷积层
。5.
根据权利要求4所述的基于层次特征融合的矿井图像超分辨率重建方法
,
其特征在于，利用得到的高频特征
F
34
来指导低频特征
F
12
的学习，同时结合浅层特征通过逐像素相加操作得到深层特征提取模块的输出，过程如下：
F5＝
Sigmoid(F
34
)
·
F
34
+F
12
+F0#(8)
式中，
F5表示深层特征提取模块的输出特征，
Sigmoid(
·
)
表示
Sigmoid
函数，
·
为逐像素相乘操作，
+
为逐像素相加操作
。6.
根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法
,
其特征在于，自适应残差块
ARB
由残差结构和注意力模块
ESA
构成，输出的图像特征数据通过注意力模块
ESA
得到最终输出：残差结构包括两层3×3卷积层
、
两层1×1卷积层和
GELU
激活函数；其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；
GELU
激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；图像特征数据输入注意力模块
ESA
后，先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块
ESA
使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过
Sigmoid
函数生成最终的注意力掩码，该掩码与注意力模块
ESA
的输入进...

【专利技术属性】
技术研发人员：程永席，刘海宁，常猛，程一飞，董国庆，
申请(专利权)人：济宁安泰矿山设备制造有限公司，
类型：发明
国别省市：