基于深度学习的红外图像超分辨率增强方法技术

本发明专利技术基于深度学习的红外图像超分辨率增强方法，神经网络模块根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像。本发明专利技术神经网络模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。提高了深度学习的计算速度。提高了深度学习的计算速度。

【技术实现步骤摘要】
基于深度学习的红外图像超分辨率增强方法


[0001]本专利技术涉及红外图像的成像
，更具体的说，特别涉及一种基于深度学习的红外图像增强方法。

技术介绍

[0002]单张红外图像 SR重建方法（Single Infrared Image Super
‑
Resolution, SIISR）可实现从给定的低分辨率（LR）图像进行重建生成高分辨率（HR）图像，这是一项底层计算机视觉任务。由于红外图像的质量和分辨率低下等方面的不足，导致最终高分辨率HR 图像的重建效果达不到预期，存在边缘细节缺失、噪声抑制能力低下等问题。
[0003]因此，现有技术存在的问题，有待于进一步改进和发展。

技术实现思路

[0004]（一）专利技术目的：为解决上述现有技术中存在的问题，本专利技术的目的是提供一种具有在保护边缘细节的同时，还具有良好抗锯齿效果的基于边缘增强的红外图像放大算法。
[0005]（二）技术方案：为了解决上述技术问题，本技术方案提供基于深度学习的红外图像超分辨率增强方法，其中，包括以下步骤：步骤A、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，计算得到粗粒度特征；步骤B、神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；步骤C、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；步骤D、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像所述的基于深度学习的红外图像超分辨率增强方法，其中，所述神经网络模块是SCAB模块，所述SCAB模块包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。
[0006]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一SCAB模块通过通道链接层对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域。
[0007]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一SCAB模块包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域第一亚像素卷
积层，所述细节区域第一亚像素卷积层和第一记忆增强单元连接。
[0008]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一记忆增强单元，包括第一控制器、第一外部图像存储器和掩膜，所述第一外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据。
[0009]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷基层，第三卷基层用于对SCAB 模块输入的相同特征进行降采样。
[0010]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第三卷基层和残差网络模块连接第二SCAB模块，所述第二SCAB模块包括掩膜，以及对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第二卷积层、细节区域第二亚像素卷积层，所述细节区域第二亚像素卷积层和第二记忆增强单元连接。
[0011]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第二记忆增强单元，包括第二控制器、第二外部图像存储器和掩膜，所述第二外部图像存储器用于存储第二时间段内经过掩膜过滤的红外图像数据。
[0012]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷基层，第四卷基层用于对与SCAB模块输入的相同特征进行降采样。
[0013]所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第二SCAB模块和注意力增强单元连接。
[0014]（三）有益效果：本专利技术基于深度学习的红外图像超分辨率增强方法，神经网络模块以递归和反馈的方式将上采样和下采样操作与记忆力增强单元和CBAM注意力增强单元结合起来精炼不同层次的语义特征实现成特征提取；神经网络模块的输出通过亚像素卷积（Sub
‑
Pixel Convolution）操作进行上采样结果融合原始LR经过双三次插值上采样结果得到输出高分辨率红外图像。神经网络模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。
附图说明
[0015]图1是本专利技术基于深度学习的红外图像超分辨率增强算法第一个优选实施例的流程示意图；图2是本专利技术基于深度学习的红外图像超分辨率增强算法第二个优选实施例的流程框图；图3是本专利技术SCAB模块第一个优选实施例的结构框图；图4是本专利技术第一记忆增强单元的结构示意图；图5是本专利技术第二记忆增强单元的结构示意图；图6是本专利技术SCAB模块第二个优选实施例的结构框图；图7是输入低分辨率红外图像；图8是输入低分辨率红外图像使用本专利技术方法的输出高分辨率红外图像。
具体实施方式
[0016]下面结合优选的实施例对本专利技术做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本专利技术，但是，本专利技术显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本专利技术的保护范围。
[0017]附图是本专利技术的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本专利技术的实际要求保护范围构成限制。
[0018]本专利技术提供的基于深度学习的红外图像超分辨率增强算法，如图1所示，包括如下步骤：步骤101、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，所述初级特征提取模块计算得到粗粒度特征；步骤102、将粗粒度特征的输入低分辨率红外图像发送给具有深度学习的神经网络模块，所述神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜和平坦区域；步骤103、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；步骤104、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的红外图像超分辨率增强方法，其特征在于，包括以下步骤：步骤A、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，计算得到粗粒度特征；步骤B、神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；步骤C、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；步骤D、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像。2.根据权利要求1所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述神经网络模块是SCAB模块，所述SCAB模块包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。3.根据权利要求2所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第一SCAB模块通过通道链接层对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域。4.根据权利要求3所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第一SCAB模块包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域...

【专利技术属性】
技术研发人员：贺明，苗鱼，罗珏典，杨杰，
申请(专利权)人：国科天成科技股份有限公司，
类型：发明
国别省市：