一种基于模糊玻尔兹曼机的忆阻神经网络训练方法技术

本发明专利技术公布了一种基于模糊玻尔兹曼机的忆阻神经网络训练方法，使用模糊化处理的方法，将受限玻尔兹曼机网络中连接的强度/权值由确定的数变成为模糊数，得到模糊权值；再将模糊权值代入受限玻尔兹曼机中，得到更适于描述忆阻器器件特性的模糊受限玻尔兹曼机网络；网络的训练过程为对模糊权值进行更新，由此得到训练好的忆阻神经网络。本发明专利技术克服了在利用忆阻器作为神经网络硬件中的突触单元时由于器件本身的涨落性带来的对网络精度及稳定性的影响，能够增强神经网络学习的鲁棒性，且具有普适性，可作为建立处理器件固有随机涨落性的神经形态系统的通用方法。

【技术实现步骤摘要】
一种基于模糊玻尔兹曼机的忆阻神经网络训练方法
本专利技术属于信息
，涉及神经网络计算技术，具体涉及一种基于模糊玻尔兹曼机的忆阻神经网络训练方法。
技术介绍
神经形态计算为克服传统的冯诺依曼计算机架构在效率、速度等方面的限制提供了新的出路，并且提出了新的适用于大规模并行计算和高能量效率的计算架构。忆阻器，作为第四个无源电路元件，因其自身所具有的特性与神经网络中突触结构的相似性，被认为是神经形态系统中电子突触结构的完美候选。一方面，类脑计算算法目前很大程度上依赖于矢量的乘法来计算网络中神经元的输出，而高密度忆阻器交叉阵列自然地提供了以极低功率并行执行这种矢量乘法的能力。另一方面，忆阻器的电导作为突触的连接权重，能够在外加的电压脉冲信号下很容易地被调控，因此为基于忆阻器阵列的在线学习提供了巨大的可能性。这些理想的特性使得忆阻器非常适合于作为神经形态硬件中的电子突触，因此现在被广泛利用。然而，大量实验研究已经表明，当忆阻器小型至纳米尺度以后，其作为电子突触的特性具有非常大的涨落性，这种涨落性源自在离子迁移以及导电细丝形成和熔断过程中的内在随机性，其物理机制决定了以上涨落性无法从根本上消本文档来自技高网...

【技术保护点】
一种忆阻神经网络训练方法，构建基于忆阻器模型的模糊受限玻尔兹曼机网络，使用模糊化处理的方法，通过将权值模糊化来处理器件中电导的涨落性，从而增强神经网络训练过程的鲁棒性；所述模糊化处理的方法是将受限玻尔兹曼机网络中连接的强度/权值由确定的数变成为模糊数，得到模糊权值；再将所述模糊权值代入所述受限玻尔兹曼机中，得到更适于描述忆阻器器件特性的模糊受限玻尔兹曼机网络；网络的训练过程为对所述模糊权值进行更新，由此得到训练好的忆阻神经网络。

【技术特征摘要】
1.一种忆阻神经网络训练方法，构建基于忆阻器模型的模糊受限玻尔兹曼机网络，使用模糊化处理的方法，通过将权值模糊化来处理器件中电导的涨落性，从而增强神经网络训练过程的鲁棒性；所述模糊化处理的方法是将受限玻尔兹曼机网络中连接的强度/权值由确定的数变成为模糊数，得到模糊权值；再将所述模糊权值代入所述受限玻尔兹曼机中，得到更适于描述忆阻器器件特性的模糊受限玻尔兹曼机网络；网络的训练过程为对所述模糊权值进行更新，由此得到训练好的忆阻神经网络。2.如权利要求1所述训练方法，其特征是，具体采用Pt/TaOx/Ta型忆阻器；所述忆阻器的阻变层TaOx的厚度约为12nm；所述忆阻器的器件尺寸为2x2um2。3.如权利要求1所述训练方法，其特征是，通过输入测试数据到由所述训练方法训练得到的网络，计算得到网络的输出，再与期望的输出进行比较评估，由此评估网络的正确性。4.如权利要求1所述训练方法，其特征是，所述训练过程具体包括如下步骤：1)对受限玻尔兹曼机进行模糊化处理，使受限玻尔兹曼机网络中连接的强度/权值参数与实际器件中的电导涨落性同分布，得到模糊受限玻尔兹曼机网络的初始状态；设定模糊受限玻尔兹曼机网络的模糊权值表示为ω，模糊权值的下界和上界分别表示为ωL和ωR；由器件中实际测得的高阻态电导分布，得到所述模糊权值及其下界和上界的初始值；2)将训练样本数据x输入所述模糊受限玻尔兹曼机网络的可见神经元层，利用连接的突触，通过式1和...

【专利技术属性】
技术研发人员：杨玉超，张腾，殷明慧，陆霞烟，黄如，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11