一种基于时空融合注意力脉冲神经网络的动态图像识别方法技术

本发明专利技术公开一种基于时空融合注意力脉冲神经网络的动态图像识别方法，应用于动态图像识别领域，针对现有技术面对具有时间信息的动态数据时，没有办法处理动态数据在时间方向传递的具有时空特性的噪声和干扰的问题；本发明专利技术借鉴生物的预测性特征重映射理论，将提取到的时空特征通过注意力模块转换为时空注意力张量，通过膜电位继承过程中在时间方向调整下一时刻的时空特征图；本发明专利技术能够在小参数量的网络结构下，高效的生成时空注意力张量，改善了脉冲神经网络在时空动态图像识别中难以提取时空特征的难题，在引导特征提取的同时，减弱了沿时间方向的噪声干扰，使得脉冲神经网络高效地识别时空图像。效地识别时空图像。效地识别时空图像。

【技术实现步骤摘要】
一种基于时空融合注意力脉冲神经网络的动态图像识别方法


[0001]本专利技术属于图像处理领域，特别涉及一种动态图像识别技术。

技术介绍

[0002]脉冲神经网络(Spiking Neural Network:SNN)作为第三代神经网络，由更加精细的生物神经网络启发而来。与传统的神经网络相比，SNN是由脉冲事件所驱动，以脉冲的时空关系承载信息，具有精确的放电时间和放电位置，因此SNN能够降低能量消耗的同时，鲁棒、高效地整合时空信息。然而朴素的SNN由于时间方向的信息传递只存在于神经元内部，无法在神经元间交互，难以应对在动作、手势、动态图片等具有时间信息过程的动态数据识别过程中，环境和系统噪声、高动态背景的时空信息冗余。
[0003]传统神经网络解决上述问题常常采用的是循环网络结构和注意力机制。循环网络结构是向原有分类网络中加入循环连接，从而增加了模型的时间特征提取能力，但这种模型同时引入了大量的参数和时间方向上的噪声，不利于时空动态数据的分类。注意力机制能够忽略无关信息而关注重点信息，从而削弱数据噪声对识别过程的影响。在模型中插入注意力模块，通过赋予特征图、特征向量不同的权重，从而自动搜索到特征中的关键信息，忽视噪声干扰。但是，已有的注意力机制模型主要关注于通道、空间、分支、时间等单维度或简单叠加的复合维度过程，在面对具有时间信息的动态数据时，没有办法处理在动态数据在时间方向传递的具有时空特性的噪声和干扰，不能够在SNN中发挥作用。因此，需要进一步设计适用于处理动态图像的注意力脉冲神经网络识别方法。
专利
技术实现思路

[0004]为解决上述技术问题，本专利技术提出一种基于时空融合注意力脉冲神经网络的动态图像识别方法，借鉴生物的预测性特征重映射理论，在引入小参数量下，高效地进行动态数据的识别。
[0005]本专利技术采用的技术方案为：一种基于时空融合注意力脉冲神经网络的动态图像识别方法，包括：
[0006]A1、获取待处理的动态图像；
[0007]A2、构建基于时空融合注意力的脉冲神经网络；
[0008]A3、将步骤A1的待处理的动态图像输入步骤A2构建的基于时空融合注意力的脉冲神经网络中，得到识别结果。
[0009]步骤A2所述构建基于时空融合注意力的脉冲神经网络，包括：输入模块、时空特征提取模块、注意力模块以及输出模块；所述输入模块用于对输入的动态图像进行分帧按时间顺序输入到时空特征提取模块，所述时空特征提取模块用于对输入的数据提取时空特征；注意力模块将时空特征转换为注意力张量；在时空特征提取模块中还包括时空特征调整单元，所述时空特征调整单元将注意力张量与时空特征相乘，得到调整后的时空特征；输出模块根据调整后的时空特征输出识别结果。
[0010]本专利技术的有益效果：本专利技术将时空特征提取模块提取到的时空特征通过注意力模块转换为时空注意力张量，通过膜电位继承过程中在时间方向调整下一时刻的时空特征图，从而由历史信息指导抑制噪声，加强关键区域的关注程度。本专利技术引入了注意力模块这种小参数量的结构，高效的生成时空注意力张量，改善了脉冲神经网络在时空动态图像识别中难以提取时空特征的难题，在引导特征提取的同时，减弱了沿时间方向的噪声干扰，使得脉冲神经网络高效地识别时空图像。
附图说明
[0011]图1是基于时空融合注意力的脉冲神经网络结构。
[0012]图2是时空融合注意力的结构与时空特征提取过程。
[0013]图3是基于时空融合注意力的脉冲神经网络训练流程图。
[0014]图4是时空融合注意力脉冲神经网络的结果展示。
具体实施方式
[0015]本专利技术主要采用仿真实验的方法进行验证，所有步骤、结论都在Pytorch1.7上验证正确。下面结合附图1
‑
4对本专利技术的内容进行详细阐述。
[0016]如图1所示，本专利技术所涉脉冲神经网络结构为卷积脉冲神经网络结构，由输入模块、时空特征提取模块、分类模块和注意力模块组成，具体如下：
[0017]1.输入模块：本专利技术可处理的数据如视频数据、事件流数据等动态图像数据。在本专利技术实施例中，以动作视频数据为例进行说明，通过对视频数据滤波、镜像、旋转等操作，将视频分帧按时间顺序输入到网络中。
[0018]2.时空特征提取模块：主要采用卷积或全连接结构提取特征，采用膜电位衰减和注意力转换联系时空信息，并根据具体的任务和需求，设置卷积层和全连接层的数量，如图2所示；空间方向上，通过卷积或全连接结构连接，时间方向上，通过循环连接和注意力转换共同连接。时空特征提取模块的输入为被时空注意力调整后的前层特征图或输入数据；经过非线性变换后得到的时空特征，输出到后层和注意力模块中。
[0019]3.输出模块：采用全卷积、循环连接或者全连接结构，统计各时刻的输出情况，共同决定结果。在本专利技术分类实施例中，输出模块最后一层神经元各自对应某类数据，在输入时间窗口内，统计神经元平均输出值，最大的神经元决定输出分类结果。
[0020]4.注意力模块：采用通道注意力、空间注意力、自注意力或者通道空间注意力等注意力模块，将神经元产生的脉冲特征转换为注意力张量。注意力张量作用回循环连接上传递的特征后，作为输入放入到后时刻的同层神经元。在本专利技术脉冲神经网络实施例中，所生成的注意力张量与神经元膜电位相乘，调节神经元膜电位衰减。
[0021]如图3所示，本专利技术具体实施例中，基于时空融合注意力的脉冲神经网络训练流程如下：
[0022]S1：搭建脉冲神经网络。根据具体任务情况选择时空特征提取模块具体结构和输出模块的输出规则，并定义损失函数。在本专利技术一个实施例中，针对DVS Gesture数据集的手势识别任务，时空特征提取模块包括5层卷积层和2层全连接层，每一层卷积层都对应了BatchNorm和一个注意力模块。其中，输入模块将DVS数据按照固定时长压缩为帧，输入到网
络中；特征提取模块为网络中的卷积层和全连阶层，逐层提取越图像特征。输出模块由11个脉冲神经元构成，对应11个分类标签。Epoch设置为200，batch size为16，学习优化器为Adam，学习率以衰减因子为0.98的指数衰减策略衰减，学习率初始化为0.001。
[0023]当然本专利技术中的脉冲神经网络还可以为其他结构，比如调整特征提取模块中卷积层与全连接层的数量；或者采用通用的结构ResNet18、VGG16之类。
[0024]S2：数据预处理，数据按时间顺序依次输入到模型中。在本专利技术一个实施例中，针对DVS Gesture数据集的手势识别任务，输入模块将输入的事件数据每200毫秒压缩为一帧，共10帧。将数据按时间先后顺序，依次输入到模型。
[0025]S3：注意力张量调整输入特征图。有时空注意力模块生成的注意力张量和循环连接传递的时空特征相乘，调整时空特征。在本专利技术部分实施例中，针对脉冲神经网络的卷积层，将t时刻l层生成的注意力张量U
l,t
，作用于脉冲神经网络的膜电位继承过程，公式如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空融合注意力脉冲神经网络的动态图像识别方法，其特征在于，包括：A1、获取待处理的动态图像；A2、构建基于时空融合注意力的脉冲神经网络；A3、将步骤A1的待处理的动态图像输入步骤A2构建的基于时空融合注意力的脉冲神经网络中，得到识别结果。2.根据权利要求1所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方法，其特征在于，步骤A2所述构建基于时空融合注意力的脉冲神经网络，包括：输入模块、时空特征提取模块、注意力模块以及输出模块；所述输入模块用于对输入的动态图像进行分帧按时间顺序输入到时空特征提取模块，所述时空特征提取模块用于对输入的数据提取时空特征；注意力模块将时空特征转换为注意力张量；在时空特征提取模块中还包括时空特征调整单元，所述时空特征调整单元根据注意力张量对时空特征进行调整；输出模块根据调整后的时空特征输出识别结果。所述时空特征调整单元将注意力张量与时空特征相乘，得到调整后的时空特征。3.根据权利要求2所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方法，其特征在于，所述时空特征提取模块包括若干卷积层和若干全连接层，通过卷积层逐层提取越图像特征，每一层卷积层都对应了BatchNorm层和一个注意力模块。4.根据权利要求3所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方法，其特征在于，时空特征调整单元通过膜电位继承过程中在时...

【专利技术属性】
技术研发人员：郭大庆，蔡吴缺，尧德中，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：