随时间在线训练脉冲神经网络模型的图像数据分类方法技术

本发明专利技术公布了一种随时间在线训练脉冲神经网络模型的图像数据分类方法，构建脉冲神经网络模型并设计随时间在线方法训练模型；再利用训练好的模型对图像数据进行分类和识别，有效提升图像数据的分类和识别性能；其中图像数据包括计算机图像数据和神经形态的图像视觉数据。通过本发明专利技术提供的方法，可以在训练脉冲神经网络SNN模型时，极大地减小训练内存的开销，将训练得到的模型用于计算机图像数据和神经形态图像视觉数据的分类与识别等视觉任务，能够提高分类与识别性能、降低识别系统的处理延迟，能实现高效节能的图像视觉数据分类与识别系统。别系统。别系统。

【技术实现步骤摘要】
networks.Frontiers in Neuroscience，2018.)提出了四种替代脉冲发放二值函数的导数的连续函数。但是，由于这些方法需要保存展开的计算图，他们在训练的过程中将受制于大量的和时间步数成正比的内存开销，同时这些方法使用近似的替代梯度进行优化的方式缺乏足够的理论保证。另一系列的工作在神经元的脉冲信号表示之间建立一种闭式的映射关系，如(加权)放电率或放电时间，这将和传统的人工神经网络(ANN)的形式相类似。从而SNN可以通过脉冲信号表示之间的等价的映射计算梯度进行优化，或者从一个训练好的等价的ANN进行转换。这些方法的优化过程相比替代梯度的方法更清晰。然而，他们训练的模型相比使用SG的BPTT的方法，在推理时都需要更大的时间步数来取得类似的效果，因此他们将受制于较高的延迟，且如果脉冲信号表示是基于放电率的，也将需要更多的能量消耗。对于这两类方法，另一个关键的缺点在于，他们都和生物上的在线学习是不一致的，而这也是神经形态芯片上的学习法则(Davies et al.Loihi：A neuromorphic manycore processor with on
‑
chip learning.IEEE Micro，2018.)。我们需要保持在线学习的性质，从而为在神经形态芯片上训练高性能的SNN模型进行铺路。
[0009]因此，现有基于脉冲神经网络的图像视觉数据分类技术或者需要较大的内存开销以训练得到高性能低延迟的SNN模型，或者需要较高延迟的推理以取得高性能，现有技术尚未出现能够保持随时间在线学习的性质对SNN模型进行训练，从而能够以低内存开销训练得到高性能和低延迟的SNN模型，进行高效节能的图像视觉数据分类与识别任务的技术。

技术实现思路

[0010]为了克服上述现有技术的不足，本专利技术提供一种基于随时间在线训练的脉冲神经网络模型进行图像视觉数据分类的方法，方法取名为OTTT(Online Training Through Time)。通过本专利技术提供的方法，可以在训练SNN模型时极大地减小训练内存的开销，将训练得到的模型用于计算机图像数据和神经形态图像视觉数据的分类与识别等视觉任务，能够提高分类与识别性能、降低识别系统的处理延迟，能实现高效节能的图像视觉数据分类与识别系统。
[0011]本专利技术将计算机图像数据和神经形态的图像视觉数据两种数据类型统称为图像数据。本专利技术中涉及的神经形态数据通常由神经形态照相机将计算机图像数据进行转换而生成得到。神经形态数据使用脉冲序列，即值为0或1的时间序列，来表示图像中每个像素点位置的信息。本专利技术通过脉冲神经网络常用的LIF神经元模型，构建前馈型或反馈型脉冲神经网络模型，它的输入为图像数据(计算机图像数据或者神经形态图像视觉数据)，输出为预测得到的数据分类结果；通过本专利技术方法，构建模型并进行高效的训练，可以利用得到的高性能、低延迟的脉冲神经网络模型进行图像视觉数据的有效分类与识别，提高图像分类与识别效率。
[0012]为方便起见，本专利技术定义如下术语名称及参数：
[0013]x[t]：离散情况下，在时刻t时的输入图像数据样本向量；
[0014]y：输入图像数据样本的标签向量；
[0015]u[t]：离散情况下，一组脉冲神经元在时刻t时的膜电位向量；
[0016]s[t]：离散情况下，一组脉冲神经元在时刻t时的脉冲信号向量；
[0017]离散情况下，一组脉冲神经元在时刻t时记录的神经元活动向量；
[0018]T：脉冲神经网络的总离散时间步数；
[0019]λ：离散情况下，脉冲神经元的泄漏项参数；
[0020]V
th
：神经元发放脉冲的阈值；
[0021]N：前锁或反锁型脉冲神经网络模型中神经元的总层数；
[0022]向量上标l：前馈或反馈型脉冲神经网络模型中层数的标号，可作为上标，如u
l
[t]表示第l层神经元的膜电位向量等，l＝0表示输入层，l＝N表示输出层；
[0023]W
l
：第l层到第l+1层神经元前馈连接的权重矩阵，l＝0表示输入层到第一层隐层的连接权重；
[0024]广义的任意第l
i
层到任意第l
j
层神经元的前馈或反馈连接的权重矩阵；
[0025]b
l
：第l层的偏置向量；
[0026]L：模型训练时的总损失；
[0027]L[t]：在时刻t时模型训练的损失；
[0028]模型训练时模型的输出与输入图像数据样本标签之间的损失函数；
[0029]在时刻t时第l
j
层神经元膜电位的梯度；
[0030]在时刻t时模型参数W
l
的梯度；
[0031]在时刻t时模型参数的梯度。
[0032]本专利技术提供的技术方案是：
[0033]一种随时间在线训练脉冲神经网络模型的图像数据分类方法，基于构建的前馈或反馈型SNN模型并通过提出的方法训练模型，实现高性能、低延迟且高效节能地进行计算机图像数据与神经形态图像视觉数据的分类和识别，有效提升图像视觉数据的分类和识别性能；包括以下步骤：
[0034]1)将图像或神经形态数据分为训练样本和测试样本；
[0035]2)对训练样本进行预处理，进行标准数据增强：
[0036]21)对于图像数据，预处理可采用常用技术，如减去图像数据集的像素值的均值并除以标准差；数据增强可采用标准增强技术，如在图像每边增加4个零值像素，再进行随机裁剪；对图像进行随机水平翻转；对图像进行随机中心旋转等；
[0037]22)对于神经形态数据，预处理可采用常用技术，如累积一段时间的脉冲数据以减小时间分辨率；
[0038]本专利技术中，通过神经形态照相机将计算机图像数据转换生成神经形态数据。神经形态数据的像素点使用脉冲序列(即值为0或1的时间序列)来表示。
[0039]3)构建前馈或反馈型脉冲神经网络模型；并采用权重标准化的方法，将构建的网络模型权重矩阵进行重参数化：
[0040]本专利技术考虑LIF脉冲神经元模型，构建前馈型脉冲神经网络和反馈型脉冲神经网络模型，同时采用权重标准化的技术，模型包括输入层、隐层、输出层；步骤如下：
[0041]31)构建网络的输入层：
[0042]网络的输入层的输入是预处理后的神经形态数据或者实值的计算机图像。
[0043]32)构建前馈型或反馈型的网络的隐层：
[0044]对于前馈型脉冲神经网络，构建多组(N
‑
1组)脉冲神经元作为不同的隐层，输入层
与隐层和隐层与隐层之间具有前馈连接，最后第N
‑
1层隐层与输出层具有前馈连接。
[0045]对于反馈型脉冲神经网络，构建多组(N
‑
1组)脉冲神经元作为不同的隐层，输入层与隐层和隐层与隐层之间具有前馈连接，最后第N
‑
1层隐层与输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种随时间在线训练脉冲神经网络模型的图像数据分类方法，其特征是，构建脉冲神经网络模型并设计随时间在线方法训练所述模型；再利用训练好的模型对图像数据进行分类和识别，有效提升图像数据的分类和识别性能；所述图像数据包括计算机图像数据和神经形态的图像视觉数据；所述图像数据分类方法包括以下步骤：1)将图像数据分为训练样本和测试样本；2)对训练样本进行预处理，并进行标准数据增强处理；3)构建前馈或反馈型脉冲神经网络模型，包括输入层、隐层和输出层；并采用权重标准化的方法，将所构建模型的权重矩阵进行重参数化；包括步骤如下：31)构建网络模型的输入层，用于将步骤2)处理后得到的图像数据输入到网络模型；32)构建网络模型的隐层：包括构建多组脉冲神经元作为不同的隐层；输入层与隐层、隐层与隐层之间均具有前馈连接；对于反馈型脉冲神经网络，最后的一层隐层与第一层隐层具有反馈连接；所述连接均为任意的线性操作；33)构建网络模型的输出层：网络模型的输出层采用一组不发放脉冲和重置膜电位的神经元，神经元的数量等于图像数据分类的类别数，并使用累积的神经元膜电位大小作为图像数据分类的标准；网络模型最后的一层隐层与输出层之间具有前馈连接，采用全连接的形式；输出层即为网络模型的分类层；分类层用于根据累积的神经元膜电位进行分类，并选择最大膜电位的神经元对应的类别作为网络模型预测得到的图像数据分类类别；34)采用权重标准化的方法，将构建的网络模型的权重矩阵进行重参数化：采用对前馈连接权重的权重标准化的方法，将构建的前馈或反馈型脉冲神经网络神经元之间连接的权重矩阵重参数化；4)通过设计随时间在线训练的方法训练步骤3)构建并重参数化的脉冲神经网络模型，计算每个时刻损失函数关于权重的梯度，完成对网络的训练；包括如下步骤：41)在每个离散时刻，对模型输入的图像样本数据，模型逐层根据神经元连接的输入更新脉冲神经元的膜电位、产生脉冲和前传脉冲信号，同时每个神经元记录神经元活动；42)在每个时刻，根据输出层的输出计算即时的损失函数，逐层计算并反向传播对神经元膜电位的即时梯度，得到每一层关于膜电位的梯度；其中即时的反向传播仅针对前馈连接；训练模型的总损失是各时刻的即时损失的累和；43)通过下式计算在每个时刻对脉冲神经网络连接权重的即时梯度：其中，W
l
为第l层到第l+1层神经元前馈连接的权重矩阵，l＝0表示输入层到第一层隐层的连接权重；向量上标l为前馈或反馈型脉冲神经网络模型中层数的标号，l＝0表示输入层，l＝N表示输出层；N为前馈或反馈型脉冲神经网络模型中神经元的总层数；为任意第l
i
层到任意第l
j
层神经元的前馈或反馈连接的权重矩阵；L[t]为在时刻t时模型训练的损失；表示在时刻t时模型参数的梯度；为在时刻t时第l
j
层神经元膜电位的梯度；为离散情况下，一组脉冲神经元在时刻t时记录的神经元活动向量；
44)使用离散时刻的即时梯度，基于梯度的优化算法，对模型进行训练优化；5)利用步骤3)和步骤4)构建并训练好的脉冲神经网络模型，对待测试的图像数据样本进行分类识别；待测试的图像数据样本无需经过数据增强处理；具体是在每个离散时刻，对模型输入图像样本数据，模型逐层根据神经元连接的输入更新脉冲神经元的膜电位、产生脉冲和前传脉冲信号，总时间后从输出层得到预测的数据分类标签，由此实现图像数据分类。2.如权利要求1所述的图像数据分类...

【专利技术属性】
技术研发人员：林宙辰，肖命清，孟庆晏，张宗鹏，贺笛，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：