一种融合边缘信息的红外图像超分辨率重建系统及方法技术方案

本发明专利技术属于图像处理技术领域，涉及一种融合边缘信息的红外图像超分辨率重建系统及方法，包括生成对抗网络模型，生成对抗网络模型由边缘检测网络，若干边缘特征处理模块和图像超分辨率重建网络构成，边缘检测网络包括若干个卷积阶段；图像超分辨率重建网络包括若干层级深度特征提取模块；本发明专利技术利用边缘检测网络来提取图像的边缘特征，将训练完成的边缘检测网络融合进超分辨率重建网络中，共同构成该生成对抗网络模型。本发明专利技术使重建的高分辨率红外图像具有更加锐利的边缘细节信息，拥有更好的视觉效果。视觉效果。视觉效果。

A super-resolution reconstruction system and method of infrared image fused with edge information

【技术实现步骤摘要】
一种融合边缘信息的红外图像超分辨率重建系统及方法


[0001]本专利技术属于图像处理
，具体涉及一种融合边缘信息的红外图像超分 辨率重建系统及方法。

技术介绍

[0002]红外成像系统无需借助辅助光源来完成拍摄，即使在微弱的光源换进下或者 黑夜也能够正常工作。此外，可见光的波长大约在380nm至760nm之间，红外线 的波长大约在760nm至1000nm之间，波长越长，衍射能力就越强，因此与可见 光相比，红外线具有更强的抗干扰能力，在例如雨雪、雾霾等恶劣的天气环境下， 对比可见光拍摄，红外成像系统依然能够有效实现目标物体的探测。基于红外成 像的各种优势，红外成像技术在众多领域都受到了广泛的应用，例如在军事领域 中可实现复杂场景下对打击目标的精确定位、在电力领域可用于线路故障点检测、 在安防监控领域可为重点部门的安全保障发挥重要作用等。但是红外成像设备拍 摄得到的图像普遍分辨率都较低，非常不利于其后续的应用于发展。
[0003]当前，图像超分辨率重建的问题已经得到广泛的关注，其中基于深度学习的 图像超分辨率重建算法由于其强大的表达能力，在近年来得到广泛的研究，并且 取得了不错的效果。卷积神经网络由于具有保留空间局部信息以及强大的特征提 取能力等优势，因此被广泛地研究并应用于图像超分辨率重建问题中。卷积神经 网络通常通过堆叠多个卷积层，增加网络模型的深度，用来提取出图像中更深层 次的特征信息，以此增加模型的表达能力。虽然基于卷积神经网络的图像超分辨 率重建算法在客观评价指标上拥有不错的结果，但是重建出的高分辨率图像存在 视觉效果差、图像过于平滑以及边缘不够清晰等问题。
[0004]在一幅图像中，若相邻点之间的像素值的梯度差距较大，意味着在该部分的 灰度值变化较为剧烈，则将该区域认为是图像的边缘部分；图像边缘表示的是图 中各部分变化非常明显的分界点，其中包含了大量的结构信息，对人眼的视觉感 受具有非常大的影响。因此，在图像超分辨率重建中常进行边缘修复，例如， CN112288632A一种基于精简ESRGAN的单图像超分辨率方法，包括以下步骤：步 骤S1:获取待处理低分辨图像，并预处理；步骤S2:根据预处理后的图像，通过 改进型单图像超分辨率生成对抗网络中的生成器模块，生成超分辨率图像，若模 型处于训练阶段，则进行步骤S3，否则进行步骤S4；步骤S3:构建判别器，并 将判别器用于判断超分辨率图像是否为真实的高分辨率图像，根据判别器得到的 结果进行反向传播，优化生成器，重新进行步骤S2；步骤S4:对得到的超分辨率 图像进行边缘修复处理，得到最终的超分辨率图像。CN111062872A公开了一种 基于边缘检测的图像超分辨率重建方法及系统，边缘提取采用转换图像到YCbCr 颜色空间的方法提取Y分量上的图像，保留了图像纹理信息的同时也减少了图像 的大小，减少了计算量，并且采用Sobel算子对Y分量上的图像进行边缘提取， 使超分辨率重建网络能够有效学习到边缘细节信息。

技术实现思路

[0005]为了使重建图像具有更丰富的边缘细节信息，拥有更好的视觉效果，本专利技术 提供
了一种融合边缘信息的红外图像超分辨率重建系统及方法，利用边缘信息辅 助图像的超分辨率重建，使得重建的图像具有更好的视觉效果。
[0006]一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型， 生成对抗网络模型由边缘检测网络，若干边缘特征处理模块和图像超分辨率重建 网络构成，边缘检测网络包括若干个卷积阶段；图像超分辨率重建网络包括若干 层级深度特征提取模块；边缘检测网络的各卷积阶段输出的图像边缘特征图分别 由边缘特征处理模块处理后，与对应层级的深度特征提取模块提取的特征图融合 得到融合特征图，边缘检测网络的所有卷积阶段的图像边缘特征图串联在一起， 经卷积处理后得到图像边缘检测结果，图像边缘检测结果经边缘特征处理模块处 理后与最后一个层级的深度特征提取模块提取的特征图相叠加得到最后一幅融 合特征图，各融合特征图逆序依次卷积整合之后，再经亚像素卷积层、卷积层处 理后输出。
[0007]所述边缘检测网络包括第一卷积阶段、第二卷积阶段、第三卷积阶段、第四 卷积阶段、第五卷积阶段共五个卷积阶段。
[0008]所述图像超分辨率重建网络由依次设置的输入端的卷积层、第一深度特征提 取模块、第二深度特征提取模块、第三深度特征提取模块、第四深度特征提取模 块、第五深度特征提取模块、第六深度特征提取模块、用于依次实现特征信息整 合的多个卷积层、亚像素卷积层、输出端的卷积层构成。
[0009]所述边缘特征处理模块是由多个卷积
‑
激活模块构成，其中激活函数均采用 ReLU。
[0010]所述深度特征提取模块包含了若干密集残差模块。
[0011]所述密集残差模块中堆叠了若干密集模块，在每个密集模块前后通过残差连 接融合输入与输出的特征信息，并且最后还添加了一条融合密集模块的初始输入 与最后输出的残差连接。
[0012]每个密集模块包括多个卷积层，除最后一个卷积层外，每个卷积层后都紧跟 随着一个激活层，其中激活函数均采用Leaky ReLU，然后采用密集网络的思想， 通过密集连接将每一个层的输出作为后面所有层额外的输入，从而提高了每个一 卷积层输出特征的利用率。
[0013]第一卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第一深 度特征提取模块提取的特征图相叠加得到融合特征图X1，第二卷积阶段输出的 图像边缘特征图经边缘特征处理模块处理后与第二深度特征提取模块提取的特 征图相叠加得到融合特征图X2，第三卷积阶段输出的图像边缘特征图经边缘特 征处理模块处理后与第三深度特征提取模块提取的特征图相叠加得到融合特征 图X3，第四卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第四 深度特征提取模块提取的特征图相叠加得到融合特征图X4，第五卷积阶段输出 的图像边缘特征图经边缘特征处理模块处理后与第五深度特征提取模块提取的 特征图相叠加得到融合特征图X5；将五个卷积阶段输出的图像边缘特征图串联 在一起，最后经过一个1
×
1的卷积处理后得到图像边缘检测结果，图像边缘检 测结果经边缘特征处理模块处理后与第六深度特征提取模块提取的特征图相叠 加得到融合特征图X6，通过用于依次实现特征信息整合的6个卷积层将融合特 征图X6、融合特征图X5、融合特征图X4、融合特征图X4、融合特征图X3、融 合特征图X2融合特征图X1依次卷积整
合。
[0014]一种融合边缘信息的红外图像超分辨率重建方法，步骤如下：
[0015]步骤一、红外图像需进行预处理，构建红外图像训练数据集；
[0016]步骤二、为了将图像边缘信息融入超分辨率重建过程中，首先需要单独训练 得到边缘检测网络，混合边缘检测网络与图像超分辨率重建网络，然后组成生成 对抗网络模型，从而实现边缘信息辅助图像的超分辨率重建；
[0017]步骤三，将生成对抗网络模型输出的高分辨率红外图像输入至判别器中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，所述生成对抗网络模型由边缘检测网络，若干边缘特征处理模块和图像超分辨率重建网络构成，边缘检测网络包括若干个卷积阶段；图像超分辨率重建网络包括若干层级深度特征提取模块；边缘检测网络的各卷积阶段输出的图像边缘特征图分别由边缘特征处理模块处理后，与对应层级的深度特征提取模块提取的特征图融合得到融合特征图，边缘检测网络的所有卷积阶段的图像边缘特征图串联在一起，经卷积处理后得到图像边缘检测结果，图像边缘检测结果经边缘特征处理模块处理后与最后一个层级的深度特征提取模块提取的特征图相叠加得到最后一幅融合特征图，各融合特征图逆序依次卷积整合之后，再经亚像素卷积层、卷积层处理后输出。2.根据权利要求1所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，所述边缘检测网络包括第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段、第五卷积阶段共五个卷积阶段。3.根据权利要求2所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，所述图像超分辨率重建网络由依次设置的输入端的卷积层、第一深度特征提取模块、第二深度特征提取模块、第三深度特征提取模块、第四深度特征提取模块、第五深度特征提取模块、第六深度特征提取模块、用于依次实现特征信息整合的多个卷积层、亚像素卷积层、输出端的卷积层构成。4.根据权利要求1所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，所述边缘特征处理模块是由多个卷积
‑
激活模块构成，其中激活函数均采用ReLU。5.根据权利要求1所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，所述深度特征提取模块包含了若干密集残差模块。6.根据权利要求5所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，所述密集残差模块中堆叠了若干密集模块，在每个密集模块前后通过残差连接融合输入与输出的特征信息，并且最后还添加了一条融合密集模块的初始输入与最后输出的残差连接。7.根据权利要求6所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，每个密集模块包括多个卷积层，除最后一个卷积层外，每个卷积层后都紧跟随着一个激活层，其中激活函数均采用Leaky ReLU，然后采用密集网络的思想，通过密集连接将每一个层的输出作为后面所有层额外的输入，从而提高了每个一卷积层输出特征的利用率。8.根据权利要求3所述的一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型，其特征在于，第一卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第一深度特征提取模块提取的特征图相叠加得到融合特征图X1，第二卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第二深度特征提取模块提取的特征图相叠加得到融合特征图X2，第三卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第三深度特征提取模块提取的特征图相叠加得到融合特征图X3，第四卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第四深度特征提取模块提取的特征图相叠加得到融合特征图X4，第五卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第
五深度特征提取模块提...

【专利技术属性】
技术研发人员：胡蕾，李云洪，罗斌，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：