一种基于元残差的深度脉冲神经网络构建方法技术

本发明专利技术提供了一种基于元残差的深度脉冲神经网络构建方法，通过构建深度脉冲神经网络XOResNet，对图像进行编码和学习，有效提升了图像识别的准确率，并显著降低了脉冲冗余和学习冗余；XOResNet的创新之处在于引入了元残差的概念，通过特定的残差块设计，实现了对信息的高效提取和处理；本方法适用于多种图像处理场景，特别是在边缘计算设备中的视觉任务处理中表现优异；本发明专利技术为深度脉冲神经网络的构建与应用提供了一种稳定且高效的解决方案，具有广泛的应用前景。

【技术实现步骤摘要】

本专利技术属于神经网络，尤其涉及一种基于元残差的深度脉冲神经网络构建方法。

技术介绍

1、受人类大脑工作机制及生物神经元工作模式的启发，脉冲神经网络(spikingneural networks,snns)有望实现像大脑一样高效的机器智能。同时，snns也因其异步二值脉冲通讯的能耗优势及强大的时空信息处理能力被视为第三代神经网络。通过借鉴和模拟人工神经网络(artificial neural networks,anns)的学习算法和网络结构，snns在一些分类任务上表现出接近anns的性能，但在复杂任务上仍逊色于anns。一个重要的原因是离散二值脉冲及复杂的时空动力学限制了snns直接采用anns的深层结构。然而深层网络在计算代价及表征能力上比浅层网络更具优势。

2、为提高snns的表征能力，借鉴anns的残差结构构建深层snns是应然的。然而已有的工作直接将anns中的非线性激活单元直接替换为脉冲神经元，这种脉冲版本的resnet依然遭受梯度问题所导致的性能退化困扰。此外，一些工作为了解决恒等映射问题，通过将残差结构中主干分支和捷径分支的输出本文档来自技高网...

【技术保护点】

1.一种基于元残差的深度脉冲神经网络构建方法，其特征在于，所述构建方法包括以下步骤：

2.根据权利要求1所述的基于元残差的深度脉冲神经网络构建方法，其特征在于，所述构建残差块的捷径连接步骤在恒等映射阶段，当所述主干分支输入输出尺度一致时，所述主干分支和捷径分支的输出特征均为脉冲序列，两个分支的脉冲序列通过或运算进行合并，维护脉冲的二值属性，同时避免脉冲冗余；在非恒等映射阶段，当所述主干分支输入输出尺度不一致时，所述捷径分支通过1×1的卷积对所述输入特征图进行尺度变换，所述主干分支和捷径分支的输出均为电流，两个分支通过电流求和进行合并，所述电流和通过脉冲神经元转换为残差块的输出...

【技术特征摘要】

1.一种基于元残差的深度脉冲神经网络构建方法，其特征在于，所述构建方法包括以下步骤：

2.根据权利要求1所述的基于元残差的深度脉冲神经网络构建方法，其特征在于，所述构建残差块的捷径连接步骤在恒等映射阶段，当所述主干分支输入输出尺度一致时，所述主干分支和捷径分支的输出特征均为脉冲序列，两个分支的脉冲序列通过或运算进行合并，维护脉冲的二值属性，同时避免脉冲冗余；在非恒等映射阶段，当所述主干分支输入输出尺度不一致时，所述捷径分支通过1×1的卷积对所述输入特征图进行尺度变换，所述主干分支和捷径分支的输出均为电流，两个分支通过电流求和进行合并，所述电流和通过脉冲神经元转换为残差块的输出脉冲。

3.根据权利要求1所述的基于元残差的深度脉冲神经网络构建方法，其特征在于，在主干分支元残差特征提取和选择步骤，两个不同的尺度的并行分支对输入特征进行提取，所具体包括以下步骤：

4.根据权利要求1所述的基于元残差的深度脉冲神经网络构建方法，其特征在于，在元残差特征提取和选择步骤的特征提取阶段，以尺度为3×3，步长为1或2的卷积对异或元残差进行特征提取，卷积通道数与元残差特征通道数一致。

5.根据权利要求4所述的基于元残差的深度脉冲神经网络构建方法，其特征在于，对所述元残差进行特征提取后，以尺度为1×1，步长为1，输出通道数为输入通道数4倍的卷...

【专利技术属性】
技术研发人员：王俊松，吴建方，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：