一种双链路神经网络红外图像对比度增强方法,构建红外图像数据集并进行预处理，使用深度学习的方法，设计一个包含两个特征提取模块和一个特征融合模块的双链路卷积神经网络。特征提取模块一用于提取红外图像浅层的特征信息，仅使用三层卷积神经网络，避免网络深度加深，层数的增大，细节信息的丢失；特征提取模块二用于提取红外图像高层的特征信息；最后特征融合模块将提取到的特征进行融合，增强特征，丰富细节信息。最终网络模型有效预测了图像中的目标区域与背景区域，突出目标、抑制背景噪声，提升了图像对比度及纹理细节。提升了图像对比度及纹理细节。提升了图像对比度及纹理细节。
【技术实现步骤摘要】
一种双链路神经网络红外图像对比度增强方法
[0001]本专利技术属于数字图像处理领域，具体涉及一种双链路神经网络红外图像对比度增强方法。
技术介绍
[0002]由于红外成像仪靠温差成像，而一般情况下目标与环境温差并不大，因此红外图像对比度低、细节分辨能力差。而能获取高质量红外图像的传感器往往成本高、价格贵，在一定程度上限制了红外图像在航天、军事、医疗、工业等领域的应用。因此有必要使用图像增强的方法对红外图像进行处理以提高图像质量。
[0003]图像增强领域比较经典的传统算法有：直方图均衡化（HE）及其变体如限制对比度的自适应直方图均衡化（CLAHE）、Retinex系列算法等。直方图均衡化（HE）在可见光图像增强上表现出色，但对于红外图像的处理，通常在增强目标的同时也增强了嘈杂的噪声，存在过度增强的问题，细节增强效果比较有限；限制对比度的自适应直方图均衡化(CLAHE)，能够在一定程度上提高对比度的同时抑制噪声，但也会产生更多的模糊细节。Retinex理论，对红外图像的处理时可以在一定程度上降低噪声的同时保留图像细节。由于传统的红外图像增强算法由于一些固有缺陷，对红外图像的增强效果还有待提高，使用深度学习的方法，设计了一个双链路的卷积神经网络，用于模型训练。训练好的模型有效预测了图像中的目标区域与背景区域，突出目标、抑制背景噪声，提升了图像对比度及纹理细节。
技术实现思路
[0004]本专利技术需要解决的技术问题是：克服现有技术的不足，提供一种双链路的卷积神经网络红外图像对比度增强方法，该方法可以有效预测红外图像中的目标区域与背景区域，突出目标、抑制背景噪声，提升图像对比度及纹理细节。
[0005]为了解决现有技术存在的问题，本专利技术提供的一种双链路神经网络红外图像对比度增强方法，所构建的神经网络由特征提取模块一（1）、特征提取模块二（2）以及特征融合模块（3）组成，其中特征提取模块一（1）由三层卷积和两个ReLU激活函数构成，卷积层通道数设置为64、32、32。前两个卷积层后均接有ReLU激活函数，第三个卷积层输出用于和特征提取模块二（2）输出进行融合；特征提取模块二（2）包含5个卷积层，通道数依次为32、64、96、32、32，其中第二、三、四个卷积层构成一个残差结构；特征提取模块一（1）的第二个卷积层和特征提取模块二（2）的第三个卷积层使用Concat操作进行连接；特征融合模块（3）将特征提取模块一（1）和特征提取模块二（2）提取的特征相加并进行卷积操作。
[0006]优选的，特征提取模块一（1）不设置池化层，其每层卷积核大小均设置为3x3,步长
设置为1，填充为1，以保证经网络处理后输出图像的尺寸大小和输入图像尺寸大小一致。特征提取模块二（2）不设置池化层，通道数为64卷积层，其卷积核大小设置为5x5,步长为1，填充为2；特征提取模块一（1）和特征提取模块二（2）中通过Concat操作进行连接的卷积层通道数为96，其卷积核大小设置为7x7,步长为1，填充为3；其他卷积层卷积核大小均为3x3,步长设置为1，填充为1，以保证经网络处理后输出图像的尺寸大小和输入图像尺寸大小一致。
[0007]与现有技术相比，本专利技术的有益效果是：（1）本专利技术利用卷积神经网络学习图像中目标和背景的差异，增强了红外图像的细节目标和背景间的对比度、纹理和细节；（2）本专利技术与其他传统方法相比有更高的峰值信噪比(PSNR)和结构相似性(SSIM)。
附图说明
[0008]图１为本专利技术提供的红外图像对比度增强双链路神经网络结构图。
[0009]图２为本专利技术提供的红外图像对比度增强特征提取模块一结构图。
[0010]图３为本专利技术提供的红外图像对比度增强特征提取模块二结构图。
[0011]图４为本专利技术提供的低质量红外图像。
[0012]图５为本专利技术提供的高质量红外图像。
[0013]图６为本专利技术提供的不同方法对红外图像增强效果对比图。
具体实施方式
[0014]为说明本专利技术的内容及实施步骤，下面结合例图对本专利技术做进一步的详细说明。
[0015]本专利技术实施例如下：构建用于训练卷积神经网络的红外图像数据集。使用公开红外图像数据集The LTIR dataset v1.0中的saturated和street数据集。其中saturated数据集包含218张红外图像，street数据集包含172张红外图片，两个数据集共390张红外图像。
[0016]对数据进行预处理，首先将图片统一缩放为256X256大小，再采用旋转、平移、翻转等数据扩充方式对数据集进行扩充扩充后数据集一共1680张红外图像、修改图片对比度因子为0.3~0.31作为低增益图片，标签图片仅缩放大小为256X256，不修改对比度因子用作参考图片。训练集和测试集按5:1分，训练集1400张图片。测试集280张图片。
[0017]使用Pytorch框架搭建卷积神经网络。网络结构如图1所示为：包含特征提取模块一、特征提取模块二和特征融合模块，共九层卷积神经网络；使用一个跳跃链接和两个残差模块。
[0018]构成特征提取模块一结构如图2所示，包含3个卷积层， Conv1&ReLU、Conv2&ReLU、Conv3，通道数设置为64、32、32前两个卷积层Conv1、Conv2后均接有ReLU激活函数以增加非线性，卷积层Conv2输出与特征提取模块二的卷积层Conv6进行Concat连接，增加其通道数，解决特征提取模块二随网络层数加深，特征信息丢失的问题。特征提取模块一主要用于提取边缘、几何、纹理等浅层特征信息，其卷积层Conv3输出与特征提取模块二卷积层Conv8输出用于特征融合模块进行处理。特征提取模块一没有设置池化层，卷积核大小均为3x3,步长设置为1，填充为1，以保证输入红外图像经网络处理后大小尺寸不变。
[0019]特征提取模块二结构如图3所示，包含5个卷积层，Conv4&ReLU、Conv5&ReLU、Conv2&Conv6&ReLU、Conv7+Conv4&ReLU、Conv8。前四个卷积层后均接有一个ReLU激活函数。通道数依次设置为32、64、96、32、32，其中卷积层Conv5、Conv6、Conv7构成一个残差结构有助于解决梯度消失和梯度爆炸问题，让训练更深网络的同时，又能保证良好的信息。特征提取模块二同特征提取模块一一样没有设置池化层，卷积层Conv5通道数为64，卷积核大小为5x5,步长为1，填充为2，卷积层Conv2&Conv6通道数为96，卷积核大小为7x7,步长为1，填充为3，其他卷积层卷积核大小均为3x3,步长设置为1，填充为1，以保证输入红外图像经网络处理后大小尺寸不变。
[0020]特征融合模块将特征提取模块一和特征提取模块二提取的特征进行相加融合，并经卷积层Conv9进行卷积操作输出，以保证充分学习到原图的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种双链路神经网络红外图像对比度增强方法，其特征在于，所构建的神经网络由特征提取模块一（1）、特提取模块二（2）以及特征融合模块（3）组成，其中：特征提取模块一（1）由三层卷积和两个ReLU激活函数构成，卷积层通道数设置为64、32、32。前两个卷积层后均接有ReLU激活函数，第三个卷积层输出用于和特征提取模块二（2）输出进行融合；特征提取模块二（2）包含5个卷积层，通道数依次为32、64、96、32、32，其中第二、三、四个卷积层构成一个残差结构；特征提取模块一（1）的第二个卷积层和特征提取模块二（2）的第三个卷积层使用Concat操作进行连接；特征融合模块（3）将特征提取模块一（1）和特征提取模块...
【专利技术属性】
技术研发人员：徐锋，龚泿军，陈国栋，庞忠祥，杨瑞琳，黄军杰，明吉花，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。