一种用于类脑计算平台的脉冲神经网络量化方法及系统技术方案

技术编号:40090842 阅读:34 留言:0更新日期:2024-01-23 16:11
本发明专利技术公开了一种用于类脑计算平台的脉冲神经网络量化方法及系统,包括:加载并保存预训练全精度float32的脉冲神经网络模型,记为脉冲神经网络模型T1;对脉冲神经网络模型T1进行修改获得脉冲神经网络模型T2;选取校准数据集对脉冲神经网络模型T2进行量化过程的训练,以选取合适的缩放量化放因子scale和零点zp使得量化前后精度损失最小;将训练后的脉冲神经网络模型T2部署至类脑计算平台;实现真正异步的脉冲神经网络计算,并且无精度丢失。

【技术实现步骤摘要】

本专利技术属于人工智能模型压缩领域,具体涉及脉冲神经网络量化方法及系统。


技术介绍

1、脉冲神经网络是第三代神经网络,其原理时模拟生物神经元脉冲发放的模式实现网络层间信息交互,并且由于其脉冲特性,卷积和全连接的乘加操作直接转为加法操作,能够大幅减少计算量。由于当前cpu和gpu均属于同步计算架构,难以发挥脉冲神经网络的优势。

2、问天是一种基于脉冲神经网络的大规模并行、通用型超级类脑计算机。问天是基于arm芯片的计算架构,int8量化后的模型,不仅能够起到加速的作用,结合硬件int8架构,实现精度无损迁移部署。但由于脉冲神经网络稀疏性,模型精度丢失给模型整体精度带来严重的影响。


技术实现思路

1、本专利技术提供了一种用于类脑计算平台的脉冲神经网络量化方法,以解决因表示精度不足引起精度丢失的技术问题。

2、为达到上述目的,本专利技术所采用的技术方案是:

3、本专利技术第一方面提供了一种用于类脑计算平台的脉冲神经网络量化方法,包括:

4、加载并保存预训练全精度flo本文档来自技高网...

【技术保护点】

1.一种用于类脑计算平台的脉冲神经网络量化方法,其特征在于,包括:

2.根据权利要求1所述的脉冲神经网络量化方法,其特征在于,将脉冲神经网络模型T1改为欧拉数值解形式的表达公式为:

3.根据权利要求1所述的脉冲神经网络量化方法,其特征在于,将卷积算子、批归一化处理、LIF神经元算子做算子折叠的方法包括:

4.根据权利要求1所述的脉冲神经网络量化方法,其特征在于,选取校准数据集对脉冲神经网络模型T2进行量化过程的训练,以选取合适的缩放量化放因子scale和零点zp使得量化前后精度损失最小的方法包括:

5.根据权利要求4所述的脉冲神经网络量化方...

【技术特征摘要】

1.一种用于类脑计算平台的脉冲神经网络量化方法,其特征在于,包括:

2.根据权利要求1所述的脉冲神经网络量化方法,其特征在于,将脉冲神经网络模型t1改为欧拉数值解形式的表达公式为:

3.根据权利要求1所述的脉冲神经网络量化方法,其特征在于,将卷积算子、批归一化处理、lif神经元算子做算子折叠的方法包括:

4.根据权利要求1所述的脉冲神经网络量化方法,其特征在于,选取校准数据集对脉冲神经网络模型t2进行量化过程的训练,以选取合适的缩放量化放因子scale和零点zp使得量化前后精度损失最小的方法包括:

5.根据权利要求4所述的脉冲神经网络量化方法,其特征在于,执行从全精度float32格式转化至int8格式的量化操作,表达公式为:

6.根据权利要求4所述的脉冲神经网络量化方法,其特征在于,执行从int8格式转化为全精度float32格式的反量化操作,表达公式为:

7.根据权利要求1所述的脉冲神经网...

【专利技术属性】
技术研发人员:杨宗林陶丽颖尚德龙周玉梅
申请(专利权)人:中科南京智能技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1