【技术实现步骤摘要】
基于在线迁移训练的忆阻器神经网络芯片架构补偿方法
本专利技术属于存算一体芯片应用领域，提出一种基于在线迁移训练的忆阻器神经网络芯片架构补偿方法。
技术介绍
近年来，人工智能的研究和应用已取得重大突破。目前通用处理器GPU和专用处理器TPU都在加速神经网络训练和推理方面效果显著。但是CMOS电路要完成复杂的任务会消耗大量的能量，能效低。相比于基于CMOS(互补金属氧化物半导体)的神经网络芯片，忆阻器神经网络芯片具有片上权重存储、在线学习、可扩展为更大阵列的优势，并且可以快速完成神经网络核心计算——矩阵-向量乘法，大幅提升计算能效，是未来实现高性能人工智能芯片的关键技术之一。目前忆阻器神经网络芯片不仅在推理方面已有大量研究和实现，而且在训练方面，也已经有研究。但是忆阻器器件存在本征非理想特性，因此会对忆阻器神经网络芯片的在线训练造成影响。在忆阻器神经网络芯片中使用的器件是模拟忆阻器(AnalogRRAM)，模拟忆阻器是指电导值连续的随着施加脉冲数的增加而发生改变的忆阻器。但是由于模拟忆阻器的良率(yield)和涨落(va...
【技术保护点】
1.一种基于在线迁移训练的忆阻器神经网络芯片架构补偿方法，其特征在于，包括以下步骤：/n1)对需要映射到忆阻器神经网络芯片上的神经网络进行离线训练，训练完毕后获取该神经网络中各层对应的神经网络权重；/n其中，所述忆阻器神经网络芯片的架构，包括依次连接的N层映射卷积层Tile和M层映射全连接层Tile；/n2)对忆阻器神经网络芯片进行架构补偿；对于原芯片的架构，在最后一层全连接层Tile之前的增加一层补偿全连接层Tile；/n3)通过在线迁移训练方法对架构补偿后的忆阻器神经网络芯片进行训练，得到训练完毕的忆阻器神经网络芯片；具体步骤如下/n3-1)通过迭代训练更新架构补偿后的...
【技术特征摘要】
1.一种基于在线迁移训练的忆阻器神经网络芯片架构补偿方法，其特征在于，包括以下步骤：
1)对需要映射到忆阻器神经网络芯片上的神经网络进行离线训练，训练完毕后获取该神经网络中各层对应的神经网络权重；
其中，所述忆阻器神经网络芯片的架构，包括依次连接的N层映射卷积层Tile和M层映射全连接层Tile；
2)对忆阻器神经网络芯片进行架构补偿；对于原芯片的架构，在最后一层全连接层Tile之前的增加一层补偿全连接层Tile；
3)通过在线迁移训练方法对架构补偿后的忆阻器神经网络芯片进行训练，得到训练完毕的忆阻器神经网络芯片；具体步骤如下
3-1)通过迭代训练更新架构补偿后的忆阻器神经网络芯片中全连接层Tile中忆阻器阵列电导值，得到训练完毕的补偿全连接层Tile中忆阻器阵列电导值；具体步骤如下：
3-1-1)将步骤1)离线训练得到的各层对应的神经网络权重依次赋值到架构补偿后的忆阻器神经网络芯片的对应层Tile中的忆阻器阵列上，各层的神经网络权重值由该层Tile中忆阻器阵列的电导值表示，并将该电导值作为该层Tile中忆阻器阵列的初始电导值；此时补偿全连接层Tile中的忆阻器阵列电导值均处于高阻态，并将该高阻态对应的电导值作为该补偿全连接层Tile中的忆阻器阵列的初始电导值；
3-1-2)对补偿全连接层进行单独迭代训练，令架构补偿后的忆阻器神经网络芯片进行一次推理计算，通过反向传播算法计算补偿全连接层Tile中忆阻器阵列的电导更新值，并根据该更新...
【专利技术属性】
技术研发人员：高滨，刘宇一，唐建石，吴华强，钱鹤，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。