芯片在环代理训练方法及设备、芯片及电子设备技术

技术编号:34432929 阅读:26 留言:0更新日期:2022-08-06 16:12
本发明专利技术公开了一种芯片在环代理训练方法及设备、芯片及电子设备。为解决部署SNN网络至芯片时存在的各种误差问题,本发明专利技术将芯片纳入SNN网络训练过程,消除了量化误差。本发明专利技术以芯片在环训练、训练设备中的ANN网络和芯片中的SNN网络共享网络配置数据为技术手段,解决了将SNN网络部署至芯片时存在的转换误差、量化误差等技术问题,获得了部署至芯片中的SNN网络也能获得高推理精度的技术效果。本发明专利技术适于类脑芯片、AIoT、脉冲神经网络训练领域。脉冲神经网络训练领域。脉冲神经网络训练领域。

【技术实现步骤摘要】
芯片在环代理训练方法及设备、芯片及电子设备


[0001]本专利技术涉及一种芯片在环代理训练方法及设备、芯片及电子设备,具体涉及一种将人工神经网络(ANN)作为代理(proxy)且芯片在环(chip in loop)的脉冲神经网络(SNN)训练方法及设备、芯片及电子设备。

技术介绍

[0002]在后人工智能时代,如何低功耗地实现边缘智能是学术届、商业届普遍关注的重要课题,而仿生的脉冲神经网络(Spiking Neural Networks,SNN)则是最有希望的研究方向之一。如何高效地训练(也称学习)出高精度脉冲神经网络则又是该领域极其重要的研究内容。
[0003]目前现有技术中训练SNN的方法,主要包括以下几类:1)ANN转SNN:即训练一个ANN(Artificial Neural Networks),然后将其转换为SNN。该训练过程忽视了SNN自身所有的时域特性。参考图1,但是该过程存在ANN转SNN的转换误差,以及部署SNN至芯片(神经形态芯片、类脑芯片)后,还存在量化误差。参考图2,ANN转SNN的基本理念是在使用ReLU函数的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种芯片在环代理训练方法,其特征在于,该芯片在环代理训练方法包括如下步骤:在训练设备中部署ANN网络;在包含SNN处理器的芯片中部署SNN网络,所述ANN网络和所述SNN网络结构相同;基于输入的训练数据,所述SNN网络执行推理操作,获得SNN网络的输出脉冲序列;基于SNN网络的输出脉冲序列,获得当前网络损失;基于当前网络损失,更新ANN网络和SNN网络共享的网络配置参数。2.根据权利要求1所述的芯片在环代理训练方法,其特征在于:所述ANN网络中的至少部分神经元为ReLU神经元;所述SNN网络中对应的至少部分神经元为IAF神经元。3.根据权利要求1所述的芯片在环代理训练方法,其特征在于:所述基于当前网络损失,更新ANN网络和SNN网络共享的网络配置参数,包括:根据当前网络损失,通过反向传播方法更新所述ANN网络的网络配置参数。4.根据权利要求3所述的芯片在环代理训练方法,其特征在于:将更新后的所述ANN网络的网络配置参数,部署至所述芯片中。5.根据权利要求1所述的芯...

【专利技术属性】
技术研发人员:邢雁南西克
申请(专利权)人:成都时识科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1