基于门控局部通道注意力的神经网络图像分类方法技术

本发明专利技术涉及神经网络、图像检测技术领域，为提升神经网络在图像分类和目标检测任务上的性能，本发明专利技术，基于门控局部通道注意力的神经网络图像分类方法，步骤如下：利用前置深层卷积网络获取输入图像的特征图；使用聚合模块进行处理所述特征图；使用激发模块处理所述特征向量，激发模块包括n+1个分支的分支结构，生成重加权后的特征图；重加权后的特征图作为后置深层卷积网络的输入，继续进行卷积提取特征的操作，完成图像分类和目标检测任务。本发明专利技术主要应用于图像识别分类场合。主要应用于图像识别分类场合。主要应用于图像识别分类场合。

【技术实现步骤摘要】
基于门控局部通道注意力的神经网络图像分类方法


[0001]本专利技术涉及神经网络、图像检测
，具体涉及基于门控局部通道注意力的神经网 络图像分类方法。

技术介绍

[0002]深度卷积网络已经广泛应用于图像检测领域，其最大的优点及作用是可以将作为输入的 图像进行有效的特征提取，并用于一系列计算机视觉领域的任务中，例如图像分类，目标检 测等。模型在这些任务中的表现是和所用深度卷积神经网络的特征表达能力有关的。人们为 了提高深度卷积神经网络的表达能力进行了许多尝试，例如增加网络深度及宽度，但这种方 式会导致网络的参数量增加而提高网络过拟合的可能性。为了能在不引入过多额外参数的基 础上提高网络的表达能力，人们提出了在深度卷积神经网络中插入注意力模块，其主要功能 是从特征图中获取空间维度或通道维度上的信息，并生成带有注意力信息的权重矩阵，将其 与原特征图进行逐点相乘，完成对原特征图的重加权。
[0003]在通道维度上的重加权是由通道注意力模块来完成的，其中比较有代表性的有SE模块 (Sequeeze
‑
and
‑
Excitation模块，即聚合激发模块)，ECA模块(Efficient Channel Attention模块， 即高性能通道注意力模块)等。以SE模块为例，通过聚合和激发操作来学习通道之间的相关 性，并生成在通道维度的权重向量对特征图进行重加权。SE模块作为轻量级模块，可以嵌入 到现有的已经被证明效果优秀的深层卷积网络，在引入较少参数的同时，有效提高骨干网络 在下游任务如目标检测，图像分类等任务中的性能。
[0004]值得强调的是，在SE模块中采用的是用全连接层获取全局通道特征相关性的方式。而 在最近的工作ECANet中，提出了一种新的思想，即使用1D卷积层(即一维卷积层，与传统 的应用于三维特征图上的二维卷积层不同，一维卷积应用于一维向量)来获取局部的通道相关 性，与SE模块相比，ECA模块引入的参数量更少，并且在实验中也证明了这种获取局部通 道相关性的方法在图像分类以及目标检测的任务中也足够有效。
[0005]然而对于ECA模块而言，其使用1D卷积来获取相邻通道的相关性，但是尚未解决的问 题是如何选择1D卷积核的大小，在计算机视觉任务中，往往会使用较为深层的深度卷积神 经网络，并将多个ECA模块插入到网络的各个位置，而每一个ECA模块输入的特征图的通 道数不都是相同的，而手动调节每个ECA模块的1D卷积核大小会额外带来巨大的工作量。
[0006]在近些年的计算机视觉领域，人们经常使用架构搜索来解决这类对大量离散的超参数进 行调节的问题。大致的解决方案为构建一个包含多个网络或结构分支的超网络，对整个超网 络同时进行训练，并通过某些算法选取其中部分网络或结构的输出，来选取最佳的网络或结 构。

技术实现思路

[0007]为克服现有技术的不足，本专利技术旨在提出神经网络图像分类新方法，提升神经网络在图 像分类和目标检测任务上的性能。为此，本专利技术采取的技术方案是，基于门控局部
通道注意 力的神经网络图像分类方法，步骤如下：
[0008]利用前置深层卷积网络获取输入图像的特征图；
[0009]使用聚合模块进行处理所述特征图，聚合模块含有一个平均池化层，将输入的特征图在 空间维度上进行全局平均池化，得到一个包含通道全局信息的特征向量；
[0010]使用激发模块处理所述特征向量，激发模块包括n+1个分支的分支结构，其中的n个分 支用来聚合局部通道相关性来生成通道注意力权重，每个分支都包含一个一维1D卷积层和一 个S型Sigmoid激活函数，使用k
i
来代表其中第i个分支所用的1D卷积核大小，这里使用不 同大小的1D卷积核是为了聚集不同尺度的通道相关性信息，另一个分支用来实现门控结构， 该分支包含一个全连接层和一个归一化指数函数Softmax激活层，用来根据全局的通道信息 来决定另n个分支输出的重要程度，生成重加权后的特征图；
[0011]重加权后的特征图作为后置深层卷积网络的输入，继续进行卷积提取特征的操作，完成 图像分类和目标检测任务。
[0012]详细步骤如下：
[0013]输入的特征图在经平均池化层处理，生成维度和输入特征图通道数相同的特征向量；
[0014]将特征向量作为输入，同时在n+1个分支中进行处理；
[0015]其中n个分支负责根据聚合模块输出的特征向量生成局部通道相关性注意力权重，具体的 做法是利用1D卷积核对特征向量进行处理，并利用Sigmoid激活函数将输出压缩至0
‑
1的 范围内，作为该分支生成的通道注意力权重；
[0016]利用实现门控结构的分支对其他n个分支进行选择，具体的做法是利用全连接层对聚合模 块输出的特征向量进行处理，生成一个维度为n的特征向量，该特征向量的每一个元素的值代 表其对应的分支的重要程度，网络选取其中最大的K个值，将特征向量其他n
‑
K个值设置为 负无穷，再利用Softmax激活函数对处理后的特征向量进行处理，生成一个维度为n的特征向 量作为n个分支的权重向量，其中较为不重要的n
‑
K个分支所对应的权重为0，而较重要的K 个分支对应的权重加和为1；
[0017]利用该维度为n的权重向量对n个分支的输出进行加权求和，得到根据特征图局部通道相 关性生成的通道权重向量；
[0018]维度和输入特征图通道数相同的特征向量和模块前置深度卷积网络卷积层所输出的特征 图进行逐通道点积，相当于对深度卷积神经网络在通道维度上进行重加权，得到与模块前置 的深度卷积网络卷积层所输出的特征图尺寸相同的特征图，作为聚合和激发步骤训练阶段的 输出。
[0019]本专利技术的特点及有益效果是：
[0020]本专利技术提出的一种用于图像分类和目标检测任务的基于门控局部通道注意力的神经网络 方法，利用所构建的一种门控局部通道注意力模块，提高了现有通道注意力模块的性能，降 低了对手动调节超参数的需求，并在此基础上提升了使用该模块的深度卷积神经网络在图像 分类和目标检测任务上的性能。
附图说明：
[0021]图1为本专利技术所述模块中的聚合模块的结构；
[0022]图2为本专利技术所述模块中的激发模块的结构；
[0023]图3为本专利技术所述模块在ResNet18网络中的实际使用示意图。
具体实施方式
[0024]本专利技术提出了一种用于图像分类和目标检测任务的基于门控局部通道注意力的神经网络 方法，构建了一种门控局部通道注意力模块，提高了现有通道注意力模块的性能，降低了对 手动调节超参数的需求，并在此基础上提升了使用该模块的深度卷积神经网络在图像分类和 目标检测任务上的性能。
[0025]本专利技术所述的用于图像分类和目标检测任务的基于门控局部通道注意力的神经网络方法 核心在于将门控局部通道注意力模块插入到深度卷积神经网络的特定位置，该模块包含两个 子模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门控局部通道注意力的神经网络图像分类方法，其特征是，步骤如下：利用前置深层卷积网络获取输入图像的特征图；使用聚合模块进行处理所述特征图，聚合模块含有一个平均池化层，将输入的特征图在空间维度上进行全局平均池化，得到一个包含通道全局信息的特征向量；使用激发模块处理所述特征向量，激发模块包括n+1个分支的分支结构，其中的n个分支用来聚合局部通道相关性来生成通道注意力权重，每个分支都包含一个一维1D卷积层和一个S型Sigmoid激活函数，使用k
i
来代表其中第i个分支所用的1D卷积核大小，这里使用不同大小的1D卷积核是为了聚集不同尺度的通道相关性信息，另一个分支用来实现门控结构，该分支包含一个全连接层和一个归一化指数函数Softmax激活层，用来根据全局的通道信息来决定另n个分支输出的重要程度，生成重加权后的特征图；重加权后的特征图作为后置深层卷积网络的输入，继续进行卷积提取特征的操作，完成图像分类和目标检测任务。2.如权利要求1所述的基于门控局部通道注意力的神经网络图像分类方法，其特征是，详细步骤如下：输入的特征图在经平均池化层处理，生成维度和输入特征图通道数相同的特征向量；将特征向量作为输入，同时在n+1个分支中进行处理；其中n个...

【专利技术属性】
技术研发人员：王旗龙，庄旭，胡清华，
申请(专利权)人：天津大学，
类型：发明
国别省市：