基于颜色拮抗与注意力机制的脉冲神经网络训练方法技术

本发明专利技术公开了一种基于颜色拮抗与注意力机制的脉冲神经网络训练方法，包括以下步骤：S1、进行基于颜色信息的视觉通路处理和基于Gabor算子的轮廓通路处理，得到脉冲特征图A和脉冲特征图B；S2、获得融合脉冲特征图C；S3、引入注意力机制，得到C中每个特征图的权重；使用颜色拮抗机制与脉冲时序依赖可塑性调整权重；使用注意力机制分配不同的权重给不同的特征图，将得到的C中每个特征图的权重与C中对应的特征图相乘来作为新的特征图。本发明专利技术能有效地将彩色输入图像中的颜色信息与轮廓信息结合起来，得到具有更加丰富信息的脉冲特征图提供给脉冲神经网络学习。给脉冲神经网络学习。给脉冲神经网络学习。

【技术实现步骤摘要】
基于颜色拮抗与注意力机制的脉冲神经网络训练方法


[0001]本专利技术属于计算机视觉和图像处理
，涉及无监督脉冲神经网络的训练，特别涉及一种基于颜色拮抗与注意力机制的脉冲神经网络训练方法。

技术介绍

[0002]脉冲神经网络属于第三代神经网络，相较于人工神经网络，它的神经元是脉冲神经元。脉冲神经元记录了自身的电压值，一旦电压值大于某个阈值，该神经元就会释放脉冲，该脉冲会沿着连接传递给下一层的脉冲神经元，但是，由于脉冲释放函数的不可导性，一般的反向传播不能用于训练脉冲神经网络。近些年来，脉冲神经网络领域变得异常火热，其训练方法可以主要分为三类：基于从人工神经网络转换的方法，基于梯度替代的反向传播方法和使用无监督学习算法来训练脉冲神经网络。其中，用无监督学习算法来训练脉冲神经网络的方法中常用的STDP算法就是本方法中的脉冲时序依赖可塑性。
[0003]对于大多数基于STDP及其变体的训练方法，它们大多数都是使用灰度图像作为网络的输入，舍弃了图像的颜色信息，即使存在少量方法考虑了颜色信息的提取与学习，但是也没有从生物视觉出发，没有模拟生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于颜色拮抗与注意力机制的脉冲神经网络训练方法，其特征在于，包括以下步骤：S1、并行地进行基于颜色信息的视觉通路处理和基于Gabor算子的轮廓通路处理，分别得到脉冲特征图A和脉冲特征图B；S2、获得融合脉冲特征图C：将脉冲特征图A与脉冲特征图B首尾拼接，随后进行池化操作，得到脉冲特征图C；S3、引入注意力机制，得到C中每个特征图的权重；使用颜色拮抗机制与脉冲时序依赖可塑性调整权重；使用注意力机制分配不同的权重给不同的特征图，将得到的C中每个特征图的权重与C中对应的特征图相乘来作为新的特征图，然后再将这个新的特征图与卷积核进行卷积操作；C中的颜色特征图使用颜色拮抗机制与脉冲时序依赖可塑性调整权重，图C中的轮廓特征图只使用脉冲时序依赖可塑性调整权重。2.根据权利要求1所述的基于颜色拮抗与注意力机制的脉冲神经网络训练方法，其特征在于，步骤S1具体实现方法为：基于颜色信息的视觉通路将RGB彩色图像转化到LMS颜色空间，根据像素值大小决定释放脉冲的时间，得到脉冲特征图A；具体处理方法为：空间，根据像素值大小决定释放脉冲的时间，得到脉冲特征图A；具体处理方法为：其中，分别代表原始图像在RGB颜色空间、XYZ颜色空间、LMS颜色空间中的矩阵表示；公式(1)和公式(2)表示了将原始RGB图像转换到LMS空间的过程；基于Gabor算子的轮廓通路处理使用多个Gabor算子提取图像轮廓，根据像素值大小决定释放脉冲的时间，得到脉冲特征图B；具体方法为：使用4个具有不同方向(π/8、π/4+π/8、π/2+π/8、3π/4+π/8)的Gabor算子与灰度图像进行卷积来提取图像中的轮廓信息。3.根据权利要求1所述的基于颜色拮抗与注意力机制的脉冲神经网络训练方法，其特征在于，步骤S3具体实现方法为：进行注意力机制处理，实现方法是：先在脉冲特征图C上进行卷积操作，得到卷积后的脉冲特征图D，根据C和D来计算C中每个特征图的权重：其中，a
f
代表的是第f个特征图的权重，p
+
和p
‑
分别代表对该特征图增强或者抑制的参数，和分别代表的是卷积前后的特征图上所有点释放脉冲的平均时间，Sigmoid()...

【专利技术属性】
技术研发人员：高绍兵，姚智伟，
申请(专利权)人：四川大学，
类型：发明
国别省市：