本发明专利技术涉及一种基于CNN与Transformer的低分辨率图像分类方法，包括以下步骤：步骤S1:构建图像数据集并对其中图像进行类别标注，划分为训练集和验证集；步骤S2:对训练集和验证集图像进行预处理；步骤S3:基于CNN和transformer，构建双分支并行网络，通过CNN网络分支和transformer网络分支来对低分辨率图像进行特征提取，通过注意力特征融合网络将两个分支每一层的特征进行有效融合，并采用多通道注意力网络对融合后的特征进行语义信息挖掘；步骤S4：根据训练集和验证集对双分支并行网络进行训练，并利用交叉熵损失对其进行约束，得到图像分类网络；步骤S5:将预处理后的待测图像输入图像分类网络，得到分类结果。本发明专利技术能有效提高对低分辨图像的分类性能。明能有效提高对低分辨图像的分类性能。明能有效提高对低分辨图像的分类性能。
【技术实现步骤摘要】
基于CNN与Transformer的低分辨率图像分类方法及系统
[0001]本专利技术涉及计算机视觉中的图像分类领域，具体涉及一种基于CNN与Transformer的低分辨率图像分类方法及系统。
技术介绍
[0002]图像分类的任务是学习和判断图像中是否包含某种特定的目标内容，并依据其内容信息进行分类的过程。图像分类是最基础的计算机视觉任务,其已经在人机交互、生物医学、航空航天和公安司法等领域取得了广泛应用。虽然图像分类研究取得的很大的进步，然而这些研究大部分是在高分辨率的图像中进行研究的。但在真实场景中，大部分情况下只能获得低分辨率的图像，因此，对低分辨率图像分类的研究至关重要。
技术实现思路
[0003]有鉴于此，本专利技术的目的在于提供一种基于CNN与Transformer的低分辨率图像分类方法，能有效提高对低分辨图像的分类性能。
[0004]为实现上述目的，本专利技术采用如下技术方案：
[0005]一种基于CNN与Transformer的低分辨率图像分类方法，包括以下步骤：
[0006]步骤S1:构建图像数据集并对其中图像进行类别标注，同时将图像数据集按照一定比例划分为训练集和验证集；
[0007]步骤S2:对训练集和验证集图像进行预处理；
[0008]步骤S3:基于CNN和transformer，构建双分支并行网络，通过CNN网络分支和transformer网络分支来对低分辨率图像进行特征提取，通过注意力特征融合网络将两个分支每一层的特征进行有效融合，并采用多通道注意力网络对融合后的特征进行语义信息挖掘；
[0009]步骤S4：根据训练集和验证集对双分支并行网络进行训练，并利用交叉熵损失对其进行约束，得到图像分类网络；
[0010]步骤S5:将预处理后的待测图像输入图像分类网络，得到分类结果。
[0011]进一步的，所述预处理包括尺寸调整和数据增强，所述尺寸调整是将输入的图像样本转化为预设大小，所述数据增强方式采用随机水平翻转、随机垂直翻转以及随机旋转。
[0012]进一步的，所述transformer网络分支由四个阶段组成，每个阶段由两个transformer编码器堆叠而成，transformer网络分支会输出四种不同尺寸的一维特征图。
[0013]进一步的，所述transformer网络分支产生的一维特征输入到转换网络中进行转换，使其与CNN网络分支产生的特征尺寸相同，转换网络中的转换公式如下：
[0014]X
i
＝1
×
1Conv(Reshape(x
i
))i∈(1,2,3,4)
[0015]其中x为transformer网络分支四个阶段输出的一维特征，X为一维特征经过转换网络后产生的四个不同尺度的二维特征。
[0016]进一步的，所述CNN网络分支由5层组成，每一层均产生不同尺寸的二维特征，将第
一次层网络提取的特征输入到transformer分支中进行提取。
[0017]进一步的，所述注意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的特征进行融合，具体如下：
[0018]将CNN网络分支和transformer网络分支产生的特征进行相加得到一个融合特征；
[0019]将融合特征分两个分支进行处理，第一个分支利用全局平均池化得到融合特征的特征向量，同时利用卷积来降低维度，再利用relu激活函数进行处理，最后利用卷积来改变特征维度，得到第一个分支的注意力权重；
[0020]第二个分支，直接将融合特征进行卷积改变其特征尺寸，再利用relu来进行激活处理，最后利用卷积来恢复其特征尺寸，得到第二个分支的注意力权重，
[0021]将这两个分支的注意力权重进行相加得到一个新的注意力权重，
[0022]最后将新的注意力权重特征图与CNN和transformer网络产生的特征进行相乘、相加，得到最终融合的特征。
[0023]进一步的，所述多通道注意力网络利用多个支路，每个支路采用不同的卷积核来提取特征，之后利用通道注意力来增强特征的表示能力，公式如下：
[0024]x1＝1
×
1Conv(x)
[0025]x
11
＝x1+x1*Sigmoid(Conv6(Relu(Conv5(MaxPool(x1)))))
[0026]x3＝3
×
3Conv(x)
[0027]x
33
＝x3+x
31
*Sigmoid(Conv6(Relu(Conv5(MaxPool(x3)))))
[0028]x5＝5
×
5Conv(x)
[0029]x
55
＝x5+x5*Sigmoid(Conv6(Relu(Conv5(MaxPool(x5)))))
[0030]x
output
＝x
11
+x
33
+x
55
[0031]其中，Conv5为空洞卷积，用于降维，Conv6为空洞卷积，用于升维，x
output
为经注意力网络输出的特征。
[0032]进一步的，所述交叉熵损失公式如下：
[0033][0034]其中，q
i
表示软标签，B表示一个批次的样本数量，N表示类别总数也是预测向量的长度，p
i
表示教师网络的样本图像的预测值。
[0035]一种基于CNN与Transformer的低分辨率图像分类系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如上所述的基于CNN与Transformer的低分辨率图像分类方法。
[0036]本专利技术与现有技术相比具有以下有益效果：
[0037]1、本专利技术通过双分支的网络架构设计，巧妙的控制了网络的深度，从而减少了图像特征信息的丢失，同时利用注意力特征融合网络，有效的将CNN和transformer的优点融合在一起，使其网络提取的特征更具有判别性，最后利用注意力网络来充分挖掘低分辨率图像中的语义信息；
[0038]2、本专利技术在面对复杂背景噪声的低分辨率图像样本时也能够有效的减少噪声数据对最终分类结果的影响，具有较好的分类效果。
附图说明
[0039]图1是本专利技术方法流程示意图；
[0040]图2是本专利技术一实施例中模型框架图；
[0041]图3是本专利技术一实施例中transformer分支结构图；
[0042]图4是本专利技术一实施例中transformer编码器结构图。
具体实施方式
[0043]下面结合附图及实施例对本专利技术做进一步说明。
[0044]请参照图1，本专利技术提供一种基于CNN和transformer的低分辨率图像分类方法，其流程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于CNN与Transformer的低分辨率图像分类方法，其特征在于，包括以下步骤：步骤S1:构建图像数据集并对其中图像进行类别标注，同时将图像数据集按照一定比例划分为训练集和验证集；步骤S2:对训练集和验证集图像进行预处理；步骤S3:基于CNN和transformer，构建双分支并行网络，通过CNN网络分支和transformer网络分支来对低分辨率图像进行特征提取，通过注意力特征融合网络将两个分支每一层的特征进行有效融合，并采用多通道注意力网络对融合后的特征进行语义信息挖掘；步骤S4：根据训练集和验证集对双分支并行网络进行训练，并利用交叉熵损失对其进行约束，得到图像分类网络；步骤S5:将预处理后的待测图像输入图像分类网络，得到分类结果。2.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法，其特征在于，所述预处理包括尺寸调整和数据增强，所述尺寸调整是将输入的图像样本转化为预设大小，所述数据增强方式采用随机水平翻转、随机垂直翻转以及随机旋转。3.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法，其特征在于，所述transformer网络分支由四个阶段组成，每个阶段由两个transformer编码器堆叠而成，transformer网络分支会输出四种不同尺寸的一维特征图。4.根据权利要求3所述的基于CNN与Transformer的低分辨率图像分类方法，其特征在于，所述transformer网络分支产生的一维特征输入到转换网络中进行转换，使其与CNN网络分支产生的特征尺寸相同，转换网络中的转换公式如下：X
i
＝1
×
1Conv(Reshape(x
i
))i∈(1，2，3，4)其中x为transformer网络分支四个阶段输出的一维特征，X为一维特征经过转换网络后产生的四个不同尺度的二维特征。5.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法，其特征在于，所述CNN网络分支由5层组成，每一层均产生不同尺寸的二维特征，将第一次层网络提取的特征输入到transformer分支中进行提取。6.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法，其特征在于，所述注意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的特征进行融合，具体如下：将CNN网络分支和transformer网络分支产生的特征进行相加得到一个融合特征；将融合...
【专利技术属性】
技术研发人员：罗鸣，胡义，童同，谢军伟，杨宗晓，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。