基于注意力机制与胶囊网络的低照度图像分类方法技术

本发明专利技术公开了一种基于注意力机制与胶囊网络的低照度图像分类方法，解决的技术问题是在弱光下拍摄的低照度图像太暗，以至于视觉效果以及图像分类的结果效果不佳，其中的细节缺失和噪声影响图像的分类。该方法利用CBAM注意力机制网络来增强低照度图像的亮度、去除图像的噪声、提高低照度图像的细节，再将增强后的图像输入胶囊网络中进行分类。本发明专利技术通过注意力机制与胶囊网络对低照度图像进行亮度和噪声上的优化，得到亮度增强并且细节清晰的图像，并在分类弱光环境下的图像效果更好。

【技术实现步骤摘要】
基于注意力机制与胶囊网络的低照度图像分类方法
本专利技术涉及深度学习、图像增强以及图像分类
，尤其涉及一种基于注意力机制与胶囊网络的低照度图像分类方法。
技术介绍
由于现实生活中，有大量在低光环境下拍摄的图像，在运用时很多信息无法准确获取，肉眼难以分辨，导致一些类似图像分类、目标检测、复原等图像处理造成了困难。虽然在图像分类方面已经取得了一个又一个的重大突破，但大多都是在处理明亮的图像，明显缺乏低光的处理。这一直是图像分类
待解决的问题。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于注意力机制与胶囊网络的低照度图像分类方法，所要解决的技术问题是如何能在低光环境下拍摄的图像通过注意力机制与胶囊网络结合得到较好的准确率。为解决上述技术问题，本专利技术采用的技术方案是：一种基于注意力机制与胶囊网络的低照度图像分类方法，首先将图像分类领域的注意力模块CBAM运用到图像增强领域，用来增强低照度图像去噪能力、提高低照度图像细节还原效果，再利用提出的基于MAE+SSIM的内容损失函数来优化CBAM模块，接着送入增加跳跃连接的胶囊网络(CapsNet)对增强后的图像进行实例化和分类，包括以下步骤：步骤一，制作数据源，建立数据集：根据需求，将正常光照的数据集制作出相对应低照度条件的图片，并与正常光照的图片作为数据对，然后将所有图片同一规格大小，形成数据集；根据训练与测试的需求，将数据集分为6个数据集，分别为：(1)正常光照下的可见光图片训练数据集(Nor_train)；(2)图片标签训练数据集(Label_train)；(3)低照度下的弱可见光训练图片数据集(Low_train)；(4)正常光照下的可见光图片测试数据集(Nor_test)；(5)图片标签测试数据集(Label_test)；(6)低照度下的弱可见光图片测试数据集(Low_test)；网络的训练标签，低照度下的弱可见光训练样本标签集作为网络的训练样本，正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似，通过图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内；训练集占所有图片数据的80％，测试集占所有图片数据的20％，其中正常光照下可见光图片数据与低照度下弱可见光图片数据的数量为1：1的图像对，如表1所示，表1，正常光照和低照度下训练集与测试集的数据关系表步骤二，构建CBAM网络模块，将低照度图像增强，第一块为通道注意力(channelattention)，第二块为空间注意力(spatialattention)，包括以下步骤：2-1，输入Nor_train数据集中大小为H×W×C的低照度图像，C表示特征图的长，H表示特征图的宽，W表示特征图的通道数；2-2，经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9×9，通有256个，得到特征图F1；2-3，进入通道注意力：对特征图F1中的每个通道同时分别进行平均池化(Avg_pooling)和最大池化(Max_pooling)，再同时分别送入两层全连接层，进行下采样和上采样，得到的第一层神经元个数为256/r，r是压缩率，激活函数为ReLU，得到的第二层神经元个数为256，将这两个特征向量相加，接着经过一个Sigmoid激活函数得到权重系数Mc，最后，跳跃连接拿权重系数Mc和特征图F1相乘得到缩放后的特征图F2；2-4，进入空间注意力：将特征图F2每个像素的所有通道分别进行平均池化和最大池化，接着拼接在一起，经过一个卷积层，激活函数为Sigmoid，得到权重系数Ms，最后，拿权重系数Ms和特征图F2相乘得到缩放后的特征图F3；2-5，CBAM模块损失函数优化：由基于MAE+SSIM的内容损失组成，包括以下步骤：2-5-1，内容损失：是风格迁移中的损失函数之一，将预测特征图与目标图片的特征值做损失，MSE(MeanSquaredError，均方误差，简称MSE)特点是光滑连续、可导，便于使用梯度下降算法，使用MSE损失函数作为内容损失：公式(1)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，表示内容损失函数的值，当输入待处理图片后，经过特征提取后得到输出特征同时输入目标图片y与输入一个已经训练好的VGG16网络进行训练，得到φh(y)和2-5-2，计算MAE损失，平均绝对误差(MAE)是绝对误差的平均值，对离群点不那么敏感，更有包容性，鲁棒性更好，公式如下：公式(2)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，yh是目标参考图片的值，xh是网络预测输出的值；2-5-3，计算SSIM损失，结构相似性指数(structuralsimilarityindex，简称SSIM)对局部结构变化很敏感，更多的考虑了人眼的视觉感知，在修复图像质量的过程中更有优势，公式如下：公式(3)中，μx是网络预测输出图片的所有像素的平均值，μy是目标参考图片的所有像素的平均值，σx是网络预测输出图片的所有像素的方差，σy是目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况设置的偏置值；σxy表示网络预测输出图片和目标参考图片的所有像素的协方差；2-5-4，改进的基于MAE+SSIM的内容损失：在CBAM模块用预测输出的增强后特征与同时经过CBAM模块输出的目标参考特征计算损失，公式如下：Lcontent＝Lcon-MAE+Lcon-SSIM(6)h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，φy表示目标参考图片经过网络结构得到的特征，表示网络预测输出的特征，Lcontent表示内容损失值，Lcon-MAE表示与基于内容损失的MAE损失值，Lcon-SSIM表示与基于内容损失的SSIM损失值；φh(x)为CBAM预测输出的增强后的正常光照的特征，φh(y)为目标参考图片经过CBAM得到的特征，用特征值代替图片像素值计算损失，所以，为待处理图片CBAM预测输出特征的平均值，为目标参考图片经CBAM输出的特征的平均值，为待处理图片经CBAM输出的特征的方差，为目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况而设置的偏置值；步骤三，构建胶囊网络(CapsNet)，将增强后的特征图送入CapsNet进行图像分类，前两层为编码器，后三层为解码器，包括以下步骤：3-1，输入增强后的特征图F3到CapsNet；3-2，经过第一层胶囊(低层胶囊)PrimaryCaps，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，本文档来自技高网...

【技术保护点】
1.一种基于注意力机制与胶囊网络的低照度图像分类方法，其特征在于，包括以下步骤：/n步骤一，制作数据源，建立数据集：将正常光照的数据集制作出相对应低照度条件的图片，并与正常光照的图片作为数据对，然后将所有图片调整为同一规格大小，形成数据集，包括以下数据集：/n(1)正常光照下的可见光图片训练数据集(Nor_train)；/n(2)图片标签训练数据集(Label_train)；/n(3)低照度下的弱可见光训练图片数据集(Low_train)；/n(4)正常光照下的可见光图片测试数据集(Nor_test)；/n(5)图片标签测试数据集(Label_test)；/n(6)低照度下的弱可见光图片测试数据集(Low_test)；/n网络的训练标签，低照度下的弱可见光训练样本标签集作为网络的训练样本，正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似，通过图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0，1]的范围内；/n训练集占所有图片数据的80％，测试集占所有图片数据的20％，其中正常光照下可见光图片数据与低照度下弱可见光图片数据的数量为1：1的图像对，如表1所示，/n表1，正常光照和低照度下训练集与测试集的数据关系表/n...

【技术特征摘要】
1.一种基于注意力机制与胶囊网络的低照度图像分类方法，其特征在于，包括以下步骤：
步骤一，制作数据源，建立数据集：将正常光照的数据集制作出相对应低照度条件的图片，并与正常光照的图片作为数据对，然后将所有图片调整为同一规格大小，形成数据集，包括以下数据集：
(1)正常光照下的可见光图片训练数据集(Nor_train)；
(2)图片标签训练数据集(Label_train)；
(3)低照度下的弱可见光训练图片数据集(Low_train)；
(4)正常光照下的可见光图片测试数据集(Nor_test)；
(5)图片标签测试数据集(Label_test)；
(6)低照度下的弱可见光图片测试数据集(Low_test)；
网络的训练标签，低照度下的弱可见光训练样本标签集作为网络的训练样本，正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似，通过图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0，1]的范围内；
训练集占所有图片数据的80％，测试集占所有图片数据的20％，其中正常光照下可见光图片数据与低照度下弱可见光图片数据的数量为1：1的图像对，如表1所示，
表1，正常光照和低照度下训练集与测试集的数据关系表



步骤二，构建CBAM网络模块，将低照度图像增强，第一块为通道注意力(channelattention)，第二块为空间注意力(spatialattention)，包括以下步骤：
2-1，输入Nor_train数据集低照度图像；
2-2，经过一层卷积层，包括卷积操作和ReLU激活，得到特征图F1；
2-3，进入通道注意力：对特征图F1中的每个通道同时分别进行平均池化(Avg_pooling)和最大池化(Max_pooling)，再同时分别送入两层全连接层，进行下采样和上采样，激活函数为ReLU，随后将这两个特征向量相加，接着经过一个Sigmoid激活函数得到权重系数Mc，最后，拿权重系数Mc和特征图F1相乘得到缩放后的特征图F2；
2-4，进入空间注意力：将特征图F2每个像素的所有通道分别进行平均池化和最大池化，接着拼接在一起，经过一个卷积层，激活函数为Sigmoid，得到权重系数Ms，最后，拿权重系数Ms和特征图F2相乘得到缩放后的特征图F3；
2-5，CBAM模块损失函数优化：由基于MAE+SSIM的内容损失组成，包括以下步骤：
2-5-1，内容损失：是风格迁移中的损失函数之一，将预测特征图与目标图片的特征值做损失，使用MSE损失函数作为内容损失：



公式(1)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，表示内容损失函数的值，当输入待处理图片后，经过特征提取后得到输出特征同时输入目标图片y与输入一个已经训练好的VGG16网络进行训练，得到φh(y)和
2-5-2，计算MAE损失，公式如下：



公式(2)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，yh是目标参考图片的值，xh是网络预测输出的值；
2-5-3，计算SSIM损失，公式如下：



公式(3)中，μx是网络预测输出图片的所有像素的平均值，μy是目标参考图片的所有像素的平均值，σx是网络预测输出图片的所有像素的方差，σy是目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况设置的偏置值；σxy表示网络预测输出图片和目标参考图片的所有像素的协方差；
2-5-4，改进的基于MAE+SSIM的内容损失：在CBAM模块用预测输出的增强后特征与同时经过CBAM模块输出的目标参考特征计算损失，公式如下：






Lcontent＝Lcon-MAE+Lcon-SSIM(6)
h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，φy表示目标参考图片经过网络结构得到的特征，表示网络预测输出的特征，Lcontent表示内容损失值，Lcon-MAE表示与基于内容损失的MAE损失值，Lcon-SSIM表示与基于内容损失的SSIM损失值；φh(x)为CBAM预测输出的增强后的正常光照的特征，φh(y)为目标参考图片经过CBAM得到的特征，用特征值代替图片像素值计算损失，所以，为待处理图片CBAM预测输出特征的平均值，为目标参考图片经CBAM输出的特征的平均值，为待处理图片经CBAM输出的特征的方差，为目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况而设置的偏置值；
步骤三，构建胶囊网络(CapsNet)，将增强后的特征图送入CapsNet进行图像分类，前两层为编码器，后三层为解码器，包括以下步骤：
3-1，输入增强后的特征图F3到CapsNet；
3-2，经过第一层胶囊(低层胶囊)PrimaryCaps，每个胶囊中包含多个神经...

【专利技术属性】
技术研发人员：江泽涛，沈世琪，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45