基于忆阻器的神经网络的训练方法及其训练装置制造方法及图纸

一种基于忆阻器的神经网络的训练方法及其训练装置。该神经网络包括逐一连接的多层神经元层以及在神经元层之间的权重参数，该训练方法包括：训练神经网络的权重参数，并基于训练后的权重参数对忆阻器阵列进行编程，以将训练后的权重参数写入忆阻器阵列中；以及通过调节忆阻器阵列的部分电导值以更新神经网络的至少一层权重参数。该训练方法弥补了忆阻器神经网络的片上训练和片外训练实现方案的不足，从神经网络系统实现角度出发，解决了由于良率问题、非一致性问题、电导漂移以及随机的波动性等器件非理想特性造成的神经网络系统的功能退化，极大地简化了神经网络系统的复杂度，降低了神经网络系统的实现成本。

The training method and device of neural network based on memristor

【技术实现步骤摘要】
基于忆阻器的神经网络的训练方法及其训练装置
本公开的实施例涉及一种基于忆阻器的神经网络的训练方法及其训练装置。
技术介绍
深度神经网络算法的兴起，带来了智能化的信息技术革命。基于各种深度神经网络算法，可以实现图像识别与分割、物体探测以及完成对语音和文本的翻译、生成等处理。使用深度神经网络算法处理不同工作负载是一类以数据为中心的计算，实现该算法的硬件平台需要具有高性能、低功耗的处理能力。然而，传统的实现该算法的硬件平台是基于存储和计算分离的冯诺依曼架构，这种架构在计算时需要数据在存储器件和计算器件之间来回搬移，因此在包含大量参数的深度神经网络的计算过程中，该架构的能效较低。为此，开发一种新型计算硬件来运行深度神经网络算法成为当前亟需解决的问题。
技术实现思路
本公开至少一实施例提供一种基于忆阻器的神经网络的训练方法，所述神经网络包括逐一连接的多层神经元层以及在所述神经元层之间的权重参数，所述训练方法包括：训练所述神经网络的权重参数，并基于训练后的所述权重参数对忆阻器阵列进行编程，以将所述训练后的所述权重参数写入所述忆阻器阵列中本文档来自技高网...

【技术保护点】
1.一种基于忆阻器的神经网络的训练方法，所述神经网络包括逐一连接的多层神经元层以及在所述神经元层之间的权重参数，所述训练方法包括：/n训练所述神经网络的权重参数，并基于训练后的所述权重参数对忆阻器阵列进行编程，以将所述训练后的所述权重参数写入所述忆阻器阵列中；以及/n通过调节所述忆阻器阵列的至少部分电导值以更新所述神经网络的至少一层权重参数。/n

【技术特征摘要】
1.一种基于忆阻器的神经网络的训练方法，所述神经网络包括逐一连接的多层神经元层以及在所述神经元层之间的权重参数，所述训练方法包括：
训练所述神经网络的权重参数，并基于训练后的所述权重参数对忆阻器阵列进行编程，以将所述训练后的所述权重参数写入所述忆阻器阵列中；以及
通过调节所述忆阻器阵列的至少部分电导值以更新所述神经网络的至少一层权重参数。


2.根据权利要求1所述的训练方法，其中，训练所述神经网络的权重参数，并基于训练后的所述权重参数对忆阻器阵列进行编程，以将所述训练后的所述权重参数写入所述忆阻器阵列中，包括：
在训练所述神经网络的权重参数的过程中，根据所述忆阻器阵列的电导状态的约束，直接获取所述神经网络的量化后的权重参数，将所述量化后的权重参数写入所述忆阻器阵列中。


3.根据权利要求1所述的训练方法，其中，训练所述神经网络的权重参数，并基于训练后的所述权重参数对忆阻器阵列进行编程，以将训练后的所述权重参数写入忆阻器阵列中，包括：
基于所述忆阻器阵列的电导状态的约束对所述训练后的权重参数进行量化操作，以获取量化后的权重参数；
将所述量化后的权重参数写入所述忆阻器阵列中。


4.根据权利要求3所述的训练方法，其中，所述量化操作包括均匀量化和非均匀量化。


5.根据权利要求2-4任一所述的训练方法，其中，将所述量化后...

【专利技术属性】
技术研发人员：吴华强，姚鹏，高滨，张清天，钱鹤，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11