【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种基于脉冲神经网络的残差网络优化方法、装置及电子设备。
技术介绍
1、脉冲神经网络以其低能耗、事件驱动和天然包含时域信息处理等特性，在近些年来备受关注，尤其是与传统的卷积神经网络以及transformer相结合后展现出了很好的性能，在此基础上设计出了众多网络框架。而这些众多架构中，基本都应用到残差网络(residual network，resnet)中的残差连接结构。常用的就是满足脉冲驱动的基于膜的残差网络(membrane based residual network，ms resnet)结构，ms resnet结构中的加法部分为稠密的浮点数相加过程，尽管这部分在图形处理器的仿真阶段实际带来的能耗开销非常小，但对于神经形态芯片端来说，过于稠密的加法会不利于硬件的实现，最终导致过多的时间开销和能耗开销，违背了神经形态芯片的设计初衷，无法在实际过程中真正发挥神经形态芯片的优势；
2、如何能在不违背脉冲驱动这一神经形态芯片的最基本设计原则的基础上将resnet中的残差连接结构对应的相加部分转换为稀...
【技术保护点】
1.一种基于脉冲神经网络的残差网络优化方法，其特征在于，所述残差网络包括至少一个残差块，每个残差块包括跳跃连接模块、卷积模块和加法模块；所述卷积模块包括多个卷积层和多个批标准化层，每个卷积层后设置有一个批标准化层；
2.根据权利要求1所述的基于脉冲神经网络的残差网络优化方法，其特征在于，在所述每个卷积层的输入端设置有LIF神经元的激活函数的情况下，所述方法还包括：
3.根据权利要求1所述的基于脉冲神经网络的残差网络优化方法，其特征在于，在所述每个卷积层的输入端设置有LIF神经元的激活函数的情况下，所述方法还包括：
4.根据权利要求1...
【技术特征摘要】
1.一种基于脉冲神经网络的残差网络优化方法，其特征在于，所述残差网络包括至少一个残差块，每个残差块包括跳跃连接模块、卷积模块和加法模块；所述卷积模块包括多个卷积层和多个批标准化层，每个卷积层后设置有一个批标准化层；
2.根据权利要求1所述的基于脉冲神经网络的残差网络优化方法，其特征在于，在所述每个卷积层的输入端设置有lif神经元的激活函数的情况下，所述方法还包括：
3.根据权利要求1所述的基于脉冲神经网络的残差网络优化方法，其特征在于，在所述每个卷积层的输入端设置有lif神经元的激活函数的情况下，所述方法还包括：
4.根据权利要求1所述的基于脉冲神经网络的残差网络优化方法，其特征在于，所述第一脉冲矩阵包括第一子矩阵和第二子矩阵，所述第一膜电位矩阵包括第三子矩阵和第四子矩阵；
5.根据权利要求1所述的基于脉冲神经网络的残差网络优化方法，其特征在于，在每个批标准化层的输出端设置有lif神经元的激活函数的情况下，所述方法还包括：
6.根据权利要...
【专利技术属性】
技术研发人员：李国齐，胡天翔，徐波，姚满，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。