一种面向矿井模糊环境的图像超分辨率重建方法技术

本发明专利技术涉及一种面向矿井模糊环境的图像超分辨率重建方法，属于图像重建技术领域，解决了现有技术中图像模糊不清的问题。具体包括：获取矿井内环境高清图像，并对图像进行预处理，得到处理后的高分辨率对应的低分辨率图像，组成图像对；基于所述图像对，建立超分重建网络模型；所述超分重建网络模型通过提取低分辨率图像的深层特征和浅层特征得到特征差异，基于所述特征差异对深层特征进行校准整合，基于整合后的深层特征重建得到高分辨率图像；获取矿井模糊环境图像，基于建立的所述超分重建网络模型得到重建后的高分辨率图像。实现了可以清晰地看到矿井下的画面，提高了图像的人眼视觉效果，更具真实性。更具真实性。更具真实性。

【技术实现步骤摘要】
一种面向矿井模糊环境的图像超分辨率重建方法


[0001]本专利技术涉及图像重建
，尤其涉及一种面向矿井模糊环境的图像超分辨率重建方法。

技术介绍

[0002]我国的煤矿大多为井工矿，而井工矿的井下工矿条件复杂，照明环境较差，且粉尘及水雾同时存在的情况时有发生，致使煤矿井下的安全监测及监控系统看到的图像通常较为模糊，难以被用来进行进一步的智能分析与判断预警，严重限制了煤矿的智能化建设。
[0003]图像超分辨率重建(Image Super
‑
Resolution Reconstruction)：是指利用低分辨率图像，通过一定重建方法，得到更高分辨率图像的技术。通过提高成像芯片和光学部件等硬件的性能获得高分辨率图像需要巨大的经济成本，而运用超分辨率重建技术来得到高分辨率图像的成本较低。如图1所示，图像超分辨率重建分为空域重建方法和频域重建方法，频域重建方法在实时应用上具有局限性，因此空域方法得到了更多的关注。空域图像超分辨率重建方法根据技术原理可以分为基于插值的、基于重构的和基于学习的方法。基于插值的方法有最近邻插值法、双线性插值法和双三次插值法等，这类方法简单、运行时间短，因此被广泛应用于Adobe Photoshop和GIMP等商用软件中，但是该方法处理后的图像会出现锯齿、模糊现象。基于重构的方法有迭代反投影法、凸集投影法和最大后验概率法等，这类方法从图像的降质退化模型出发，将图像的先验知识作为约束条件，通过提取低分辨率图像序列中的关键信息进行融合，来获取高分辨率图像，可以获得较好的重建效果，但是该方法的执行效率低，对大尺度因子(如
×
4、
×
8)无法取得良好的重建效果。基于学习的方法有流形学习法、稀疏表示法和深度学习方法等，其原理是将高分辨率图像通过下采样操作得到对应的低分辨率图像，将低分辨率图像块作为训练样本集，通过学习或其他建模方法来构造低分辨率和高分辨率图像块之间的映射关系，进行重建高分辨率图像。基于学习的方法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情况下，仍能产生新的高频细节，获得比其他方法更好的重建结果。因此，目前主要采用基于学习的方法对图像进行超分重建。
[0004]随着人工智能和计算机硬件的不断发展，Hinton等人在2006年提出了深度学习这一概念。2014年，Dong等人首次将深度学习应用到图像超分辨率重建领域，他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，实验效果十分显著，画面质量得到很大的改善。
[0005]虽然基于深度学习的方法不断显示出优于其它方法的有效性和效率，但是，基于深度学习的超分方法仍然存在一些问题与挑战，这也是未来的研究趋势：
[0006](1)网络训练过程中所学习到的特征对图像重建至关重要，但是现有网络并没有进一步细化网络所学习到的特征，单纯地用于重建效果不高，因此本专利技术通过设计放大差异模块，来完成网络所学特征的细化。
[0007](2)尽管现有基于深度学习的图像超分方法已经取得了出色性能，但是如何利用
现有技术(如注意力机制、多层卷积特征融合等)构建高效的超分网络仍然是一个值得探索的问题，越来越多的研究学者尝试将图像先验融入到神经网络结构设计中。

技术实现思路

[0008]鉴于上述的分析，本专利技术实施例旨在提供一种面向矿井模糊环境的图像超分辨率重建方法，用以解决现有煤矿井下的安全监测及监控系统看到的图像通常较为模糊问题。
[0009]一方面，本专利技术实施例提供了一种面向矿井模糊环境的图像超分辨率重建方法，包括：
[0010]获取矿井内环境高清图像，并对图像进行预处理，得到处理后的高分辨率对应的低分辨率图像，组成图像对；
[0011]基于所述图像对，建立超分重建网络模型；所述超分重建网络模型通过提取低分辨率图像的深层特征和浅层特征得到特征差异，基于所述特征差异对深层特征进行校准整合，基于整合后的深层特征重建得到高分辨率图像；
[0012]获取矿井模糊环境图像，基于建立的所述超分重建网络模型得到重建后的高分辨率图像。
[0013]可选地，所述超分重建网络模型包括：浅层特征提取模块、深层特征提取模块、相减模块、特征模块、校准模块、整合模块和重建模块；
[0014]所述浅层特征提取模块，用于提取浅层特征；
[0015]所述深层特征提取模块，用于提取第一深层特征和融合后的第二深层特征；
[0016]所述相减模块，用于第一深层特征的像素值与其对应的浅层特征的像素值进行相减得到特征差异；
[0017]所述特征模块用于对得到的特征差异进行细化，得到第三深层特征；
[0018]所述校准模块，用于基于第一深层特征的像素值与第三深层特征的像素值进行相乘，对深层特征进行校准，得到校准后的第四深层特征；
[0019]所述整合模块用于将校准后的第四深层特征和第二深层特征进行相加整合，得到整合后的第五深层特征；
[0020]所述重建模块用于基于整合后的第五深层特征，通过上采样和卷积层最终得到重建后的高分辨率图像。
[0021]可选地，所述深层特征提取模块包括：第一级联残差通道注意力模块、特征融合模块和层注意模块；
[0022]每一所述第一级联残差通道注意力模块用于提取第一深层特征，通过第一输出端输出经第一级联残差通道注意力模块提取的第一深层特征；
[0023]所述特征融合模块用于将级联的每个残差通道注意力模块输出的第一深层特征在通道维度上进行拼接并完成特征融合；
[0024]所述层注意模块用于对特征融合模块中的深层特征进行提取得到第二深层特征，通过第二输出端输出。
[0025]可选地，所述重建模块包括：上采样层和卷积层；
[0026]所述上采样层用于对整合后的第五深层特征进行处理，得到高分辨率图像；
[0027]卷积层用于对上采样后的高分辨率图像进行重建，得到重建后的高分辨率图像即
超分辨率图像。
[0028]可选地，所述特征模块还包括第二级联残差通道注意力模块和sigmoid模块；
[0029]根据所述第一深层特征的像素值与其对应的浅层特征的像素值进行相减得到特征差异；
[0030]所述第二级联残差通道注意力模块根据得到的特征差异进行深层特征提取；
[0031]所述sigmoid模块，用于将提取的特征差异的深层特征进行映射，得到第三深层特征。
[0032]可选地，所述获取矿井内环境高清图像，并对图像进行预处理，得到处理后的高分辨率对应的低分辨率图像，组成图像对，包括：
[0033]对获取的矿井内环境高清图像进行剪裁，得到多个局部高分辨率图像；
[0034]对多个局部高分辨率图像分别进行双三次插值运算，得到对应的低分辨率图像；
[0035]根据高分辨率图像对应的低分辨率图像配对，组成图像对。
[0036]可选地，所述对多个局部高分辨率图像分别进行双三次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向矿井模糊环境的图像超分辨率重建方法，其特征在于，包括：获取矿井内环境高清图像，并对图像进行预处理，得到处理后的高分辨率对应的低分辨率图像，组成图像对；基于所述图像对，建立超分重建网络模型；所述超分重建网络模型通过提取低分辨率图像的深层特征和浅层特征得到特征差异，基于所述特征差异对深层特征进行校准整合，基于整合后的深层特征重建得到高分辨率图像；根据建立的所述超分重建网络模型进行训练，得到训练好的超分重建网络模型；获取矿井模糊环境图像，基于训练好的所述超分重建网络模型得到重建后的高分辨率图像。2.根据权利要求1所述的面向矿井模糊环境的图像超分辨率重建方法，其特征在于，所述超分重建网络模型包括：浅层特征提取模块、深层特征提取模块、相减模块、特征模块、校准模块、整合模块和重建模块；所述浅层特征提取模块，用于提取浅层特征；所述深层特征提取模块，用于提取第一深层特征和融合后的第二深层特征；所述相减模块，用于第一深层特征的像素值与其对应的浅层特征的像素值进行相减得到特征差异；所述特征模块用于对得到的特征差异进行细化，得到第三深层特征；所述校准模块，用于基于第一深层特征的像素值与第三深层特征的像素值进行相乘，对深层特征进行校准，得到校准后的第四深层特征；所述整合模块用于将校准后的第四深层特征和第二深层特征进行相加整合，得到整合后的第五深层特征；所述重建模块用于基于整合后的第五深层特征，通过上采样和卷积层最终得到重建后的高分辨率图像。3.根据权利要求2所述的面向矿井模糊环境的图像超分辨率重建方法，其特征在于，所述深层特征提取模块包括：第一级联残差通道注意力模块、特征融合模块和层注意模块；第一级联残差通道注意力模块中的每一残差通道注意力模块用于提取第一深层特征，通过第一输出端输出经第一级联残差通道注意力模块提取的第一深层特征；所述特征融合模块用于将级联的每个残差通道注意力模块输出的第一深层特征在通道维度上进行拼接并完成特征融合；所述层注意模块用于对特征融合模块中的深层特征进行提取得到第二深层特征，通过第二输出端输出。4.根据权利要求2所述的面向矿井模糊环境的图像超分辨率重建方法，其特征在于，所述重建模块包括：上采样层和卷积层；所述上采样层用于对整合后的第五深层特征进行处理，得到高分辨率图像；卷积层用于对上采样后的高分辨率图像进行重建，得到重建后的高分辨率图像即超分辨率图像。5.根据权利要求2所述的面向矿井模糊环境的图像超分辨率重建方法，其特征在于，所述特征模块包...

【专利技术属性】
技术研发人员：程德强，王子强，寇旗旗，徐飞翔，江鹤，王晓艺，王振宇，
申请(专利权)人：江苏华图矿业科技有限公司，
类型：发明
国别省市：