基于脉冲发送皮层模型的注意力模块的特征图处理方法技术

本发明专利技术属于图像处理与分析中的图像识别领域，公开了基于脉冲发送皮层模型的注意力模块的特征图处理方法，包括步骤：(1)得到若干个特征子图F及对应的外部激励矩阵S，进行并行处理；(2)对应基于脉冲发送皮层模型的注意力模块，同时初始化；利用脉冲发送皮层模型对S进行处理，迭代N

【技术实现步骤摘要】
基于脉冲发送皮层模型的注意力模块的特征图处理方法


[0001]本专利技术属于图像处理与分析中的图像识别领域，更具体地，涉及一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，通过构建基于脉冲发送皮层模型的注意力模块，尤其可应用于图像分类。

技术介绍

[0002]由于成像设备的发展，数字图像的数量呈现井喷式增长，基于计算机的自动化图像处理与分析，尤其是机器视觉方向成为研究热点。要分析理解图像内容，图像特征提取是核心步骤。近年来，得益于深度学习方法的发展，机器视觉任务如图像分类识别、语义分割等领域取得突破。深度学习方法基于构建的深层卷积神经网络，通过大量数据对网络中可调整的权重进行训练更新，可自动完成特征学习过程。由于网络模型中权重均服务于特定种类图像以及目标问题，其所提取的特征更具针对性，故在多种图像分类、分割等问题中的效果均优于传统图像处理算法。
[0003]然而，为保证神经网络的拟合能力，目前主流神经网络均为深层网络，其训练过程需要大量带标签数据。而对于遥感、医疗等领域，难以收集大量可用的有标签数据。以医疗领域为例，不同医院使用设备不同，或设备的设置参数不同，导致图像像素分布不一致，不同来源的图像混用可能导致模型难以收敛。同时，不同医生对医学图像的认识解读可能存在差异，导致图像标签的真实性难以保证。
[0004]为减小网络模型对数据的的依赖性，许多学者设计了多种应对方案。其一为数据扩增，即通过对图像进行旋转、平移等操作，增加训练数据量，使用扩增的数据训练的网络模型具有对旋转、平移等变换具有较好抗性，但因扩增后数据与原始数据之间存在较大相似性，所以其对模型性能提升效果有限。同时，部分复杂的扩增方式使得训练数据分布发生变化，可能导致网络难以训练。其二为迁移学习，即先通过大量相似数据先对网络模型进行预训练后，再利用应用问题空间中数据对模型进行微调。此方案要求提供大量相似数据，故适用范围有限。其三为优化网络模型结构，增强网络特征提取能力，由此可在保证其性能前提下尝试减小网络模型层数和参数量，使得问题搜索空间减小，从而减少网络对数据量的依赖性。
[0005]注意力机制是增强网络特征提取能力的重要途径之一，它是一种简易的对人眼聚焦现象进行模拟的技术。通过引入注意力机制，网络可快速聚焦到图像内容中对语义识别、语义分割等有意义的局部区域，即筛除无用或有干扰的其他内容。当前卷积神经网络模型中使用的注意力机制模块，以压缩激励(Squeeze and Excitation，SE)模块、卷积块注意力模块(Convolutional Block Attention Module，CBAM)为代表。前者为通道注意力机制，主要可以赋予不同特征图通道以不同权重，在通道维度进行特征筛选。后者是通道注意力机制与空间注意力机制的组合，在前者的基础上，辅助使用了额外的卷积运算结果作为掩膜，在图像空间维度对特征图进行特征筛选。对于以上注意力模块而言，其仍然依赖卷积运算以及激活函数得到的特征图通道以完成特征筛选，不能有效利用特征图内容作为先验知识
进行自分析，其性能依赖于网络训练情况。

技术实现思路

[0006]针对现有注意力机制不能有效利用特征图内容的缺陷，本专利技术的目的在于提供一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，不同于现有主流注意力机制通过卷积运算获得掩膜，本专利技术中的处理方法对输入的每一张特征图并行处理，通过引入脉冲发送皮层模型模拟人眼视觉神经对图像的感知过程，将特征图解析为不同成分；而后，通过可训练权重对不同成分进行重组为注意力图，并将其作为掩膜，由此完成重要特征的筛选。本专利技术对传统脉冲发送皮层模型进行了调整，使其适用于神经网络，对其中关键参数也提供了优选设置方案；本专利技术所对应的特征图分析过程基于特征图中的内容本身，无需引入额外的可训练参数进行特征图组合，因而对网络训练情况依赖性较小。而且，模块利用脉冲发送皮层模型发掘新特征，其中涉及多个嵌套非线性运算，比现有主流注意力模块的非线性程度更高。进一步的，通过将本专利技术基于脉冲发送皮层模型的注意力模块简易地集成至现有主流卷积神经网络中，即可提高网络特征提取能力。经试验验证，基于本专利技术，在主流卷积神经网络模型嵌入基于脉冲发送皮层模型的注意力模块后，网络于灵敏度、特异性以及分类精度等方面均有明显提高。
[0007]为实现上述目的，按照本专利技术的一个方面，提供了一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，包括如下步骤：
[0008](1)对于待处理的特征图F0，根据其通道个数，由每一个通道对应得到一个独立的特征子图F；然后，对每一个特征子图F进行并行处理，将每张特征子图F中所有像素点的值归一化到[0,1]区间，得到的归一化特征子图作为外部激励矩阵S；
[0009](2)构建基于脉冲发送皮层模型的注意力模块，包括脉冲发送皮层模型及可训练权重，开始并行处理，即：对于每一个外部激励矩阵S，初始化脉冲发送皮层模型相关参数、以及可训练权重{w[n]|n＝1,2,...,N
iter
}；然后，利用脉冲发送皮层模型对S进行处理，迭代N
iter
次，获得系列内部活动项矩阵{U[n]|n＝1,2,...,N
iter
}、阈值矩阵{E[n]|n＝1,2,...,N
iter
}、点火矩阵{Y[n]|n＝1,2,...,N
iter
}以及脉冲强度矩阵{A[n]|n＝1,2,...,N
iter
}；
[0010]其中，N
iter
为预先设定的正整数；
[0011](3)通过可训练权重{w[n]|n＝1,2,...,N
iter
}对脉冲强度矩阵{A[n]|n＝1,2,...,N
iter
}进行加权求和，得到注意力图M；
[0012](4)将注意力图M作用于对应的特征子图F，得到注意力筛选后的特征子图然后，结束并行处理，将并行处理得到的注意力筛选后的各个特征子图进行通道合并，即可得到特征图作为基于脉冲发送皮层模型的注意力模块的输出，完成对原始特征图F0的处理。
[0013]作为本专利技术的进一步优选，所述步骤(1)中，所述归一化过程是按如下计算公式进行的：
[0014][0015]其中，max(
·
)和min(
·
)分别表示取最大值和最小值运算。
[0016]作为本专利技术的进一步优选，所述步骤(2)中，可训练权重{w[n]|n＝1,2,...,N
iter
}初始值为1；
[0017]脉冲发送皮层模型相关参数的初始化包括：
[0018]内部活动项衰减系数τ
U
、阈值项的衰减系数τ
E
、阈值的放大系数h均为预先设定的、大于0且小于1的有理数，连接权重W为二范数为1的3
×
3的矩阵；优选的，内部活动项衰减系数τ
U
＝0.5，阈值项的衰减系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，包括如下步骤：(1)对于待处理的特征图F0，根据其通道个数，由每一个通道对应得到一个独立的特征子图F；然后，对每一个特征子图F进行并行处理，将每张特征子图F中所有像素点的值归一化到[0，1]区间，得到的归一化特征子图作为外部激励矩阵S；(2)构建基于脉冲发送皮层模型的注意力模块，包括脉冲发送皮层模型及可训练权重，开始并行处理，即：对于每一个外部激励矩阵S，初始化脉冲发送皮层模型相关参数、以及可训练权重{w[n]|n＝1，2，...，N
iter
}；然后，利用脉冲发送皮层模型对S进行处理，迭代N
iter
次，获得系列内部活动项矩阵{U[n]|n＝1，2，...，N
iter
}、阈值矩阵{E[n]|n＝1，2，...，N
iter
}、点火矩阵{Y[n]|n＝1，2，...，N
iter
}以及脉冲强度矩阵{A[n]|n＝1，2，...，N
iter
}；其中，N
iter
为预先设定的正整数；(3)通过可训练权重{w[n]|n＝1，2，...，N
iter
}对脉冲强度矩阵{A[n]|n＝1，2，...，N
iter
}进行加权求和，得到注意力图M；(4)将注意力图M作用于对应的特征子图F，得到注意力筛选后的特征子图然后，结束并行处理，将并行处理得到的注意力筛选后的各个特征子图进行通道合并，即可得到特征图作为基于脉冲发送皮层模型的注意力模块的输出，完成对原始特征图F0的处理。2.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(1)中，所述归一化过程是按如下计算公式进行的：其中，max(
·
)和min(
·
)分别表示取最大值和最小值运算。3.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(2)中，可训练权重{w[n]|n＝1，2，...，N
iter
}初始值为1；脉冲发送皮层模型相关参数的初始化包括：内部活动项衰减系数τ
U
、阈值项的衰减系数τ
E
、阈值的放大系数h均为预先设定的、大于0且小于1的有理数，连接权重W为二范数为1的3
×
3的矩阵；优选的，内部活动项衰减系数τ
U
＝0.5，阈值项的衰减系数τ
E
＝0.3，阈值的放大系数h＝0.5，连接权重迭代次数N
iter
与特征子图F的尺寸相关，记特征子图F的高和宽分别为s
h
像素与s
w
像素，则N
iter
为log2(max(s
h
，s
w
))取整后的整数；优选的，所述取整为向上取整；迭代计数器n初始化为0；初始的内部活动项矩阵U[0]、阈值矩阵E[0]以及点火矩阵Y[0]均为全零矩阵，每个矩阵的尺寸均与特征子图F的尺寸相同，它们共同表征了与特征图等大小的神经元矩阵相关信息；内部活动项矩阵、阈值矩阵及点火矩阵分别表示各神经元的所受激励水平、对兴奋的
抑制水平及记录神经元是否发送脉冲信号。4.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(2)中，利用脉冲发送皮层模型对S进行处理，迭代N
iter
次，其中，第n次迭代，n＝1，2，...，N
iter
，包括如下子步骤：步骤(2
‑
1)计算内部活动项矩阵U[n]，即，对该矩阵内的任一位置(i，j)，活动项U
i，j
[n]表示该处神经元所受激励水平，其计算公式如下：其中，k，l∈{
‑
1，0，1}；(i+k，j+l)表示矩阵Y[n
‑
1]中位置(i，j)周围3
×
3邻域内的位置索引，若位置索引中对应的位置缺少矩阵元素，则补零；(2+k，2+l)表示连接权重W中元素的位置索引；步骤(2
‑
2)...

【专利技术属性】
技术研发人员：张旭明，黄志文，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：