一种空间和通道加权和动态非对称卷积的物体识别方法技术

本发明专利技术公开了一种空间和通道加权和动态非对称卷积的物体识别方法，本发明专利技术通过提出的非对称卷积组对平方卷积进行重构，加强卷积局部信息与全局信息的内在联系，使得网络获得3个不同卷积部位的特征，增强模型学习能力。其中，非对称卷积组针对平方卷积的骨干部分进行重构，增加卷积对局部显著特征的捕获。这种局部显著信息能够帮助模型更好的获得物体特征上下文语义信息，提高模型对物体识别准确率。提高模型对物体识别准确率。提高模型对物体识别准确率。

【技术实现步骤摘要】
一种空间和通道加权和动态非对称卷积的物体识别方法


[0001]本专利技术属于图像识别领域。具体涉及一种基于空间信息分析与特征通道加权方法改进的卷积神经网络模型。

技术介绍

[0002]图像是人类感知事物的视觉基础，人们可以通过图像从外界获得重要信息，因此让机器自动完成图像识别、分类具有重要意义。在图像领域，高效的特征提取算法是主要的研究方向之一，特征提取技术的发展有助于图像分类性能的提升。深度学习算法在图像分类方面的应用已经取得突破性进展。它通过建立、模拟人脑的分层结构，对外部输入的声音、图像、文本等数据进行特征提取，获取低维和高维的特征表示，从中得到表征能力更强的特征。所以深度学习在图像分类领域具有广阔的应用空间，尤其是卷积神经网络。这种网络是一种广泛被使用的深度学习模型，其优点是能够直接对图像像素进行卷积，从图像像素中提取图像特征。另外，卷积神经网络的权值共享属性和池化层使网络重待训练的参数量减少，简化网络模型，提高训练的效率。然而，当前流行的深度网络都具有相同的静态推理范式：一旦完成训练，网络的结构与参数在测试阶段都保持不变，对不同图像做相同的特征提取，在一定程度上限制了模型的表征能力、推理效率和可解释性。
[0003]现有的研究针对卷积神经网络中的基础卷积层进行改进，提出不同类型的卷积改进方式，如内容自适应卷积和卷积重新参数化方法。这些方法的特点是在不改变网络模型的深度条件下，增加卷积的复杂性提高模型的性能。其中，卷积重新参数化方法遵循卷积的可加性原则，利用复杂的卷积结构进行训练，在推理过程中将其等价的转化为传统卷积，提高传统卷积的表达能力。内容自适应卷积根据输入图像信息使得卷积适用图像的内容，其中的注意力机制快速扫描全局图像，获得需要重点关注的卷积核，然后对该卷积核投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他不相关信息。
[0004]但上述两种技术单独使用都存在一定的局限性，主要体现在：卷积重新参数化方法原理是在训练过程阶段获取样本中更多不同卷积尺度下的特征信息，此方法导致模型的训练时间成本升高，但模型性能提升有限。目前内容自适应卷积仅仅局限于对内核空间的多个维度(卷积核数、空间大小、输入通道数和输出通道数等)赋予卷积核动态属性，没有利用卷积核中整体与局部的相关性，最终使得模型无法充分利用特征点的局部信息。

技术实现思路

[0005]本专利技术针对现有技术的不足，提出一种基于空间和通道加权和动态非对称卷积的物体识别方法。
[0006]本专利技术对ResNet网络结构进行了改进，该模块由一个非对称卷积组(包含一个3x 1卷积和一个1x 3卷积)和一个平方形卷积构成，这些卷积核通过双注意力机制进行聚合生成新的卷积核。这种生成卷积的方式赋予卷积核动态属性，可以针对不同的输入图像采取不同的特征提取方式。凭借上述的动态属性，网络能够摆脱静态推理范式的限制，提升网络
的表征能力。基于空间和通道加权和动态非对称卷积的物体识别方法的核心为使用非对称卷积核组与平方卷积并行的方式对图像进行卷积操作，从全局的视角对图像中局部显著特征进行编码，从而提取出更加有效的特征图上下文语义信息。针对空间信息和特征通道的两种信息维度，该方法使用空间注意力增强模块对特征图中空间显著信息的捕获能力。模块通过整合所有通道映射中的相关特征来生产通道注意力，以此选择性地强调相互依赖的通道映射。
[0007]本专利技术方法具体包括以下步骤：
[0008]步骤1：输入图像，并对图像进行预处理，得到预处理后的图像I；
[0009]步骤2：通过改进ResNet网络结构获取新的特征图
[0010]步骤2
‑
1：改进后的ResNet网络结构中的卷积层使用全局平均池化层压缩图像I的全局空间信息，然后先后经过一层全连接层和激活函数ReLu获得初步的注意力信息G；
[0011]步骤2
‑
2：将注意力信息G分别经过通道全连接层和空间全连接层，计算出空间和通道注意力权重；
[0012]步骤2
‑
3：空间注意力将平方卷积与非对称卷积组进行聚合；
[0013]首先使用零填充的方法将非对称卷积组中的卷积等价转换成3x 3卷积；然后3个卷积核分别与其对应的空间注意力权重加权；最后进行叠加得到新的卷积核参数若需要使用偏置，则设置3个偏置值分别对应一个平方卷积、一个3x 1卷积和一个1x 3卷积；这些偏置值与其对应卷积的空间注意力参数进行聚合获得新偏置值
[0014]步骤2
‑
4：通道注意力通过乘法逐通道加权到最开始的图像I得到新的特征图
[0015]步骤3：特征提取
[0016]卷积核参数和偏置值组成新的卷积层L，特征图经过卷积层L进行特征提取，获得最后的特征输出。
[0017]作为优选，步骤1中所诉的注意力解码层在传统SENet模块的基础上改进注意力生成方式，一共包含三个全连接层，具体为：
[0018]所述的原SENet模块计算公式如下：
[0019][0020]F
sq
为全局平均池化卷积，I为输入图像，F
ex
为一个全链接层和ReLU激活函数，为通道注意力；此外，动态非对称卷积方法使用两个全连接层生成两种注意力，具体定义如下：
[0021]G＝F
ex
(F
sq
(I))
ꢀꢀꢀꢀ
(2)
[0022][0023]π＝f(f
k
(G)/t)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]f
c
和f
k
分别是通道和空间全连接层，f表示Softmax激活函数，π＝{π1，π2，π3}为空间注意力，t表示退火机制中的温度。
[0025]作为优选，计算空间注意力权重时通过Softmax函数对空间注意力的输出进行归一化，以促进空间注意力的学习；对空间注意力采用退火机制以抑制Softmax函数的one
‑
hot输出，保证空间注意力在训练初期相对平均，以促进非对称卷积组和平方卷积的学习。
[0026]作为优选，所述的空间注意力将平方卷积与非对称卷积组进行聚合，其中非对称卷积组中的卷积尺寸为：(3，1，C)和(1，3，C)，平方卷积的尺寸为：(3，3，C)，C表示通道数；通过重构的方式将3x 1和1x 3的卷积核恒等映射合并到3x 3卷积堆栈中；首先3x 1和1x 3卷积通过零填充的方式等价转化为3x 3的卷积；利用公式(5)，三个卷积核与空间注意力对应相乘后叠加，最终得到一个新的3x 3卷积核，具体如下：
[0027][0028][0029]其中，公式(5)中的表示核元素相加，W
k
分别表示三个卷积核参数矩阵，π
k
表示对应卷积核的空间注意力权值，表示聚合的卷积核权重。
[0030]作为优选，所述的聚合获得新偏置值，具体采用计算公式如下：
...

【技术保护点】

【技术特征摘要】
1.一种空间和通道加权和动态非对称卷积的物体识别方法，其特征在于，该方法具体包括以下步骤：步骤1：输入图像，并对图像进行预处理，得到预处理后的图像I；步骤2：通过改进ResNet网络结构获取新的特征图步骤2
‑
1：改进后的ResNet网络结构中的卷积层使用全局平均池化层压缩图像I的全局空间信息，然后先后经过一层全连接层和激活函数ReLu获得初步的注意力信息G；步骤2
‑
2：将注意力信息G分别经过通道全连接层和空间全连接层，计算出空间和通道注意力权重；步骤2
‑
3：空间注意力将平方卷积与非对称卷积组进行聚合；首先使用零填充的方法将非对称卷积组中的卷积等价转换成3x 3卷积；然后3个卷积核分别与其对应的空间注意力权重加权；最后进行叠加得到新的卷积核参数若需要使用偏置，则设置3个偏置值分别对应一个平方卷积、一个3x 1卷积和一个1x 3卷积；这些偏置值与其对应卷积的空间注意力参数进行聚合获得新偏置值步骤2
‑
4：通道注意力通过乘法逐通道加权到最开始的图像I得到新的特征图步骤3：特征提取卷积核参数和偏置值组成新的卷积层L，特征图经过卷积层L进行特征提取，获得最后的特征输出。2.根据权利要求1所述的一种空间和通道加权和动态非对称卷积的物体识别方法，其特征在于：步骤1中所诉的注意力解码层在传统SENet模块的基础上改进注意力生成方式，一共包含三个全连接层，具体为：所述的原SENet模块计算公式如下：F
sq
为全局平均池化卷积，I为输入图像，F
ex
为一个全链接层和ReLU激活函数，为通道注意力；此外，动态非对称卷积方法使用两个全连接层生成两种注意力，具体定义如下：G＝F
ex
(F
sq
(I))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)π＝f(f
k
(G)/t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)f
c
和f
k
分别是通道和空间全连接层，f表示Softmax激活函数，π＝{π1，π2，π3}为空间注意力，t表示退火机制中的温度。3.根据权利要求1所述的一种空间和通道加权和动态非对称卷积的物体识别方法，其特征在于：计算空间注意力权重时通过Softmax函数对空间注意力的输出进行归一化，以促进空间注意力的学习；对空间注...

【专利技术属性】
技术研发人员：陈滨，王秦科，邵艳利，魏丹，王兴起，方景龙，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：