权值原位更新方法、装置、终端设备和可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种权值原位更新方法、装置、终端设备和可读存储介质，应用于忆阻器脉冲神经网络，所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器，突触训练过程包括信号处理时期和权值更新时期，该方法包括：在信号处理时期，获取突触的前神经元的输出端和后神经元的输出端确定的标记信号；在权值更新时期，根据前神经元的输出端确定的标记信号确定突触前端的前驱动脉冲；根据输入神经元产生的初始驱动脉冲和后神经元的输出端确定的标记信号确定突触后端的后驱动脉冲；当前驱动脉冲与后驱动脉冲的电势差幅值大于等于所述忆阻器的阈值电压时，更新突触权值。本技术方案遵循忆阻器交叉阵列的读操作偏置方案，有效抑制串扰现象。

【技术实现步骤摘要】
权值原位更新方法、装置、终端设备和可读存储介质
本专利技术涉及人工智能领域，尤其涉及一种权值原位更新方法、装置、终端设备和可读存储介质。
技术介绍
目前，忆阻器脉冲神经网络的权值更新的方式主要可以分为以下三类：一、离线训练，预先训练网络权值，再将权值写入到忆阻器阵列中；二、非原位在线训练，该方法将忆阻器权值网络与计算机训练程序结合，通过ADC、DAC实现通信，并根据训练程序对忆阻器阵列进行权值调整；三、原位在线训练，利用神经元和少量外围电路，直接在忆阻器阵列上进行权值训练，并基于突触的前后神经元信号实时调整权值。然而，第一类方式虽然基于成熟的算法，但是在权值写入过程中导致的误差以及电路的不确定因素将会降低网络性能，网络训练电路资源开销较大，不适合与忆阻器阵列封装在一起，因此权值写入后网络不支持调整；第二类方式的训练在忆阻器阵列上，避免权值最终写入时造成的性能损失，但是实时信号传输对时间和功耗的开销较大，不利于实际应用；第三类方式最接近于生物大脑，但是受限于现有脉冲神经网络算法相对发展滞后，无法在网络性能上和前两种方法相比拟。
技术实现思路
鉴于上述问题，本专利技术提出一种权值原位更新方法、装置、终端设备和可读存储介质。本专利技术的一个实施例提出一种权值原位更新方法，应用于忆阻器脉冲神经网络，所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器，突触训练过程包括信号处理时期和权值更新时期，该方法包括：在所述信号处理时期，获取所述突触的前神经元的输出端和后神经元的输出端确定的标记信号；在所述权值更新时期，根据所述前神经元的输出端确定的标记信号确定所述突触前端的前驱动脉冲；根据输入神经元产生的初始驱动脉冲和所述后神经元的输出端确定的标记信号确定所述突触后端的后驱动脉冲；当所述前驱动脉冲与所述后驱动脉冲的电势差幅值大于等于所述忆阻器的阈值电压时，更新突触权值。上述实施例所述的权值原位更新方法，所述突触的前神经元的输出端和后神经元的输出端确定标记信号，包括：当所述前神经元是所述输入神经元时，则根据输入至所述输入神经元的数据样本将所述标记信号确定为正或负；当所述前神经元或所述后神经元是隐层神经元时，则根据所述隐层神经元的激活状态将所述标记信号确定为正或零；当所述后神经元是输出神经元时，则根据所述输出神经元获取的监督信号将所述标记信号确定为正或零。上述实施例所述的权值原位更新方法，所述根据输入至所述输入神经元的数据样本将所述标记信号确定为正或负，包括：yn代表第n个输入神经元产生的标记信号，xn代表所述数据样本的特征值，λ代表预设的参考阈值，代表第n个输入神经元的输出端产生的所述标记信号的电压幅值。上述实施例所述的权值原位更新方法，所述根据所述隐层神经元的激活状态将所述标记信号确定为正或零，包括：根据同一层中各个隐层神经元的输入电流计算平均输入电流；将所述平均输入电流注入到所述各个隐层神经元；所述隐层神经元在对应的输入电流大于所述平均输入电流时被激活，则对应的所述标记信号确定为正；所述隐层神经元在对应的输入电流小于等于所述平均输入电流时未被激活，则对应的所述标记信号确定为零。上述实施例所述的权值原位更新方法，所述根据所述前神经元的输出端确定的标记信号确定所述突触前端的前驱动脉冲，包括：当所述前神经元是输入神经元时，若所述输入神经元的输出端确定的标记信号为正，则所述前驱动脉冲与所述初始驱动脉冲相同且延迟为零；若所述输入神经元的输出端确定的标记信号为负，则所述前驱动脉冲与所述初始驱动脉冲相同且延迟两个脉冲宽度；当所述前神经元是隐层神经元时，若所述隐层神经元的输出端确定的标记信号为正，则所述前驱动脉冲与所述初始驱动脉冲相反且延迟一个脉冲宽度；若所述隐层神经元的输出端确定的标记信号为零，则无所述前驱动脉冲。上述实施例所述的权值原位更新方法，所述根据输入神经元产生的初始驱动脉冲和所述后神经元的输出端确定的标记信号确定所述突触后端的后驱动脉冲，包括：当所述后神经元是隐层神经元时，若所述隐层神经元的输出端确定的标记信号为正，所述后驱动脉冲与所述初始驱动脉冲相同且延迟一个脉冲宽度；若所述隐层神经元的输出端确定的标记信号为零，无所述后驱动脉冲；当所述后神经元是输出神经元时，若所述输出神经元获取的监督信号为正，所述后驱动脉冲与所述初始驱动脉冲相反且延迟为零；若所述输出神经元获取的监督信号为零，所述后驱动脉冲与所述初始驱动脉冲相反且延迟两个脉冲宽度。上述实施例所述的权值原位更新方法，当所述阈值电压是z时，所述初始驱动脉冲的电压幅值大于等于且小于z。本专利技术的另一个实施例提出一种权值原位更新装置，应用于忆阻器脉冲神经网络，所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器，突触训练过程包括信号处理时期和权值更新时期，该装置包括：标记信号获取模块，用于在所述信号处理时期，获取所述突触的前神经元的输出端和后神经元的输出端确定的标记信号；前驱动脉冲确定模块，用于在所述权值更新时期，根据所述前神经元的输出端确定的标记信号确定所述突触前端的前驱动脉冲；后驱动脉冲确定模块，用于根据输入神经元产生的初始驱动脉冲和所述后神经元的输出端确定的标记信号确定所述突触后端的后驱动脉冲；突触权值更新模块，用于当所述前驱动脉冲与所述后驱动脉冲的电势差幅值大于等于所述忆阻器的阈值电压时，更新突触权值。上述实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备执行上述的权值原位更新方法。上述实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述的权值原位更新方法。本专利技术提供的权值原位更新方法是一种在线训练的权值原位更新方法，本专利技术中的突触权值无负权值，w∈(0,1)，即每一个突触只含有一个忆阻器，突触训练过程包括信号处理时期和权值更新时期。在信号处理时期，网络中前向传播的信号为远低于忆阻器的阈值电压的标记信号；且这种标记信号仅在每层网络的神经元的输出端产生，遵循忆阻器交叉阵列的读操作偏置方案。在权值更新时期，根据信号处理时期的标记信号，各神经元产生相应的正负电压驱动脉冲，根据前后神经元的重叠区域的电势差更新权值。本专利技术所公开的权值原位更新方法实现权值原位在线训练，利用神经元和少量外围电路，直接在忆阻器阵列上进行权值训练，并基于突触的前神经元输出端的标记信号和后神经元输出端的标记信号实时调整权值，突触权值更新更为简单。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。图1示出了本专利技术实施例提供的一种权值原位更新方法的流程示意图；图2示出了本专利技术实本文档来自技高网...

【技术保护点】
1.一种权值原位更新方法，其特征在于，应用于忆阻器脉冲神经网络，所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器，突触训练过程包括信号处理时期和权值更新时期，该方法包括：/n在所述信号处理时期，获取所述突触的前神经元的输出端和后神经元的输出端确定的标记信号；/n在所述权值更新时期，根据所述前神经元的输出端确定的标记信号确定所述突触前端的前驱动脉冲；/n根据输入神经元产生的初始驱动脉冲和所述后神经元的输出端确定的标记信号确定所述突触后端的后驱动脉冲；/n当所述前驱动脉冲与所述后驱动脉冲的电势差幅值大于等于所述忆阻器的阈值电压时，更新突触权值。/n

【技术特征摘要】
1.一种权值原位更新方法，其特征在于，应用于忆阻器脉冲神经网络，所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器，突触训练过程包括信号处理时期和权值更新时期，该方法包括：
在所述信号处理时期，获取所述突触的前神经元的输出端和后神经元的输出端确定的标记信号；
在所述权值更新时期，根据所述前神经元的输出端确定的标记信号确定所述突触前端的前驱动脉冲；
根据输入神经元产生的初始驱动脉冲和所述后神经元的输出端确定的标记信号确定所述突触后端的后驱动脉冲；
当所述前驱动脉冲与所述后驱动脉冲的电势差幅值大于等于所述忆阻器的阈值电压时，更新突触权值。


2.根据权利要求1所述的权值原位更新方法，其特征在于，所述突触的前神经元输出端和后神经元输出端确定标记信号，包括：
当所述前神经元是所述输入神经元时，则根据输入至所述输入神经元的数据样本将所述标记信号确定为正或负；
当所述前神经元或所述后神经元是隐层神经元时，则根据所述隐层神经元的激活状态将所述标记信号确定为正或零；
当所述后神经元是输出神经元时，则根据所述输出神经元获取的监督信号将所述标记信号确定为正或零。


3.根据权利要求2所述的权值原位更新方法，其特征在于，所述根据输入至所述输入神经元的数据样本将所述标记信号确定为正或负，包括：

yn代表第n个输入神经元产生的标记信号，xn代表所述数据样本的特征值，λ代表预设的参考阈值，代表第n个输入神经元的输出端产生的所述标记信号的电压幅值。


4.根据权利要求2所述的权值原位更新方法，其特征在于，所述根据所述隐层神经元的激活状态将所述标记信号确定为正或零，包括：
根据同一层中各个隐层神经元的输入电流计算平均输入电流；
将所述平均输入电流注入到所述各个隐层神经元；
所述隐层神经元在对应的输入电流大于所述平均输入电流时被激活，则对应的所述标记信号确定为正；
所述隐层神经元在对应的输入电流小于等于所述平均输入电流时未被激活，则对应的所述标记信号确定为零。


5.根据权利要求2所述的权值原位更新方法，其特征在于，所述根据所述前神经元的输出端确定的标记信号确定所述突触前端的前驱动脉冲，包括：
当所述前神经元是输入神经元时，若所述输入神经元的输出端确定的标记信号为正，则所述前驱动脉冲与所述初始驱动脉冲相同且延迟为零；若所述...

【专利技术属性】
技术研发人员：李清江，于红旗，王伟，李纪伟，李智炜，李楠，徐晖，刁节涛，陈长林，宋兵，刘森，刘海军，王义楠，王玺，步凯，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43