一种脉冲神经网络参数量化方法技术

技术编号:19277551 阅读:52 留言:0更新日期:2018-10-30 18:04
本发明专利技术涉及神经网络技术领域,尤其涉及一种脉冲神经网络参数量化方法。本发明专利技术的方法通过离线映射或在线训练获得训练完成的原始脉冲神经网络,对训练完成的脉冲神经网络权值、阈值、泄露常数、置位电压、不应期、突触延迟等参数进行量化,神经网络所有层可共享同一组量化参数或分别为一组量化参数。参数量化后的脉冲神经网络仅需少量参数即可实现高精度脉冲神经网络功能。该方法在保持高精度的同时,有效节约脉冲神经网络参数存储空间、提高运算速度、降低运算功耗。

A parameter quantization method for pulse neural network

The invention relates to the field of neural network technology, in particular to a pulse neural network parameter quantization method. The method of the invention obtains the original pulse neural network trained by off-line mapping or on-line training, quantifies the weights, thresholds, leakage constants, placement voltage, refractory period, synaptic delay and other parameters of the trained pulse neural network, and all layers of the neural network can share the same set of quantization parameters or are one respectively. Group quantization parameters. The pulse neural network with quantized parameters can realize the function of high precision pulse neural network with only a few parameters. This method can save the storage space of parameters, improve the operation speed and reduce the operation power consumption while maintaining the high precision.

【技术实现步骤摘要】
一种脉冲神经网络参数量化方法
本专利技术涉及神经网络
,尤其涉及一种脉冲神经网络参数量化方法。
技术介绍
脉冲神经网络(简称SNN)被称为第三代神经网络,它更接近于人脑处理信息的方式,是未来神经网络技术的发展方向。SNN基于脉冲序列来接收信息,有很多编码方式可以把脉冲序列解释为一个实际的数字,常用的编码方式有脉冲编码和频率编码。神经元之间的通信也是通过脉冲来进行,当一个神经元的膜电位大于它的阈值,它会产生一个脉冲信号传递给其他神经元,提高或降低其膜电位。SNN的硬件平台被称为神经形态芯片或类脑芯片,完全颠覆了传统的冯诺依曼架构,这类芯片具有低功耗,资源消耗少等特点,在分类和识别等类人脑领域的表现要大大优于传统芯片。SNN的训练方式主要有两种,一种是通过在特定条件下训练相应的人工神经网络(简称ANN)再把训练好的参数映射到SNN中,但是在映射过程中往往会需要传递大量的参数;另外一种是直接进行SNN的在线学习,同样也伴随着产生大量的参数。若采用传统存储器(如SRAM、DRAM等)存储参数则需要巨大的存储空间,若采用忆阻器等新型器件存储参数,则难以精确稳定地实现众多参数;同时,巨大的本文档来自技高网...

【技术保护点】
1.一种脉冲神经网络参数量化方法,其特征在于,包括以下步骤:S1、获取训练完成的原始脉冲神经网络,原始脉冲神经网络的参数包括权值、阈值、泄漏常数、置位电压、不应期、突触延迟;S2、选取需要量化的一个或者多个参数;S3、统计所选取参数在神经网络中的分布情况;S4、对所选取参数进行区间划分;S5、根据区间对参数进行量化,即将分布在同一区间内的参数量化为同一个值;S6、获得参数量化脉冲神经网络,即采用步骤5中获得的量化值替代原始脉冲神经网络只能怪对应的原始参数;S7、对步骤S6获得的参数量化脉冲神经网络进行测试:采用原始化脉冲神经网络的输入作为输入,对参数量化神经网络进行测试,若测试结果满足预定指标...

【技术特征摘要】
1.一种脉冲神经网络参数量化方法,其特征在于,包括以下步骤:S1、获取训练完成的原始脉冲神经网络,原始脉冲神经网络的参数包括权值、阈值、泄漏常数、置位电压、不应期、突触延迟;S2、选取需要量化的一个或者多个参数;S3、统计所选取参数在神经网络中的分布情况;S4、对所选取参数进行区间划分;S5、根据区间对参数进行量化,即将分布在同一区间内的参数量化为同一个值;S6、获得参数量化脉冲神经网络,即采用步骤5中获得的量化值替代原始脉冲神经网络只能怪对应的原始参数;S7、对步骤S6获得的参数量化脉冲神经网络进行测试:采用原始化脉冲神经网络的输入作为输入,对参数量化神经网络进行测试,若测试结果满足预定指标要求则结束,否则返回步骤S3。2.根据权利要求1所述的一种脉冲神经网络参数量化方法,其特征在于,步骤S1中所述获取训练完成的原始脉冲神经网络的具体方法为:通过训练相应...

【专利技术属性】
技术研发人员:胡绍刚乔冠超张成明罗鑫刘夏凯宁宁刘洋
申请(专利权)人:电子科技大学
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1