【技术实现步骤摘要】
一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统
本专利技术涉及深度残差脉冲神经网络领域，具体涉及一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统。
技术介绍
随着深度学习技术的不断突破，以人工神经网络为核心的人工智能技术正在快速发展。第三代神经网络——脉冲神经网络目的在于填补当下神经科学和机器学习之间的理论差距，它使用最接近拟合生物神经元机制的模型进行计算。脉冲神经网络使用脉冲作为基本作用单元，这是一种发生在时间点上的离散事件。脉冲增强了神经网络对于时空数据处理的能力。空间层面上，神经元仅与附近的神经元连接，这样它们可以分别处理输入块,某种程度上类似于卷积神经网络的滤波器；时间层面上，脉冲随着时间而发生，这样允许我们在脉冲的信息中重新获取编码过程中可能丢失的信息。事实证明，脉冲神经元是比传统人工神经元更强大的计算单元。经分析，深度神经网络往往是过参数化的，内部存储大量冗余信息，并不是所有的参数和结构都对产生深度神经网络高判别性起作用。对脉冲神经网络的训练依然存在困难，且从神经网络转换...
【技术保护点】
1.一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于包括如下步骤：/n步骤1、解析：构建深度残差神经网络，针对深度神经网络中的多种网络结构进行解析；/n步骤2、标准化：对网络模型中的参数进行标准化处理；/n步骤3、转换：将参数标准化的网络模型转换为深度残差脉冲神经网络。/n
【技术特征摘要】
1.一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于包括如下步骤：
步骤1、解析：构建深度残差神经网络，针对深度神经网络中的多种网络结构进行解析；
步骤2、标准化：对网络模型中的参数进行标准化处理；
步骤3、转换：将参数标准化的网络模型转换为深度残差脉冲神经网络。
2.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤1中所述解析过程进一步包括建立深度残差脉冲神经网络的基本网络层，若对应的深度残差神经网络模型的某网络层具有参数，则将该网络层的参数加载到已建立的深度残差脉冲神经网络的网络层中。
3.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤1中所述解析过程进一步包括在建立深度残差脉冲神经网络的网络层时，若遇到网络模型中的批标准化层，则将批标准化层所有的参数吸收到上一层脉冲神经网络的卷积层参数中。
4.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤1中所述解析过程进一步包括在建立深度残差脉冲神经网络的网络层时，若遇到深度残差神经网络中所特有的Add层，则对两个维度相同的网络层进行逐点相加。
5.根据权利要求1所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，步骤2中所述标准化过程进一步包括对深度残差脉冲神经网络中具有参数的网络层进行参数标准化。
6.根据权利要求5所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，所述具有参数的网络层至少包括卷积层和全连接层；所述参数标准化至少包括权重标准化和偏置标准化；
所述权重标准化由该层和上一层的缩放因子共同确定，在权重标准化过程中，首先对该层的权重参数乘以上一层缩放因子以恢复大小，然后除以该层缩放因子再进行缩小：
式中，表示权重标准化前当前层的参数，表示经过权重标准化后的参数；表示当前层的缩放因子，表示上一层的缩放因子。
7.根据权利要求6所述的一种提高深度残差脉冲神经网络精度以优化图像分类的方法，其特征在于，所述缩放因子通过该层激活值分布的99.9%的大小来确定：
当遇到深度残差神经网络的Add层时，两个网络层同时进入该Add层进行运算，此时该层的上一层同时存在包括和在内的两个缩放因子；此时取和的几何平均值作为上层的统一化缩放因子：
随后对和的值进行更新；
此时的权重标准化公式为：
式中，各符合含义同上。
8.根据权利要求...
【专利技术属性】
技术研发人员：李丽，陈沁雨，傅玉祥，何书专，李伟，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。