【技术实现步骤摘要】
神经网络训练方法、装置、终端设备和可读存储介质
本专利技术涉及人工智能领域,尤其涉及一种神经网络训练方法、装置、终端设备和可读存储介质。
技术介绍
大数据时代,人工智能(artificialintelligence,AI)技术飞速发展以满足近年来海量数据处理的迫切需求。以忆阻器(Memristor)为物理基础、脉冲神经网络(SpikingNeuralNetworks,SNNs)为算法基础的忆阻器脉冲神经网络提供了一种高功效的类脑计算方案。忆阻器是一种两端口非易失性存储器件,其阻态可通过施加在其两端的电压或流经的电流改变,具有高集成密度和极低操作功耗;脉冲神经网络是一种生物启发的新型网络,通过具有时空信息的脉冲信号在神经元之间传递信息,在网络功效上有巨大潜力。由于被证明具有类似生物大脑中的突触可塑性(Spike-timing-dependentplasticity,STDP)特性,忆阻器可以作为突触单元应用于SNNs中,实现接近于生物大脑功效和性能的类脑计算系统。目前忆阻器神经网络在硬件实现上存在功效低、资源开销大和电 ...
【技术保护点】
1.一种神经网络训练方法,其特征在于,应用于忆阻器脉冲神经网络,所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器,该方法包括:/n根据预设的区域划分规则将待输入至输入神经元的数据样本单元划分为LC个子区域;/n将第lc个子区域内的每一个最小单元对应输入至一个所述输入神经元;/n根据所述第lc个子区域对应的输入神经元以及与所述对应的输入神经元连接的隐层神经元,构造第lc个局部连接子网络;/n将LC个局部连接子网络中所有隐层神经元的输出与各个输出神经元连接;/n将所述第lc个局部连接子网络作为最小训练单元进行训练。/n
【技术特征摘要】
1.一种神经网络训练方法,其特征在于,应用于忆阻器脉冲神经网络,所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器,该方法包括:
根据预设的区域划分规则将待输入至输入神经元的数据样本单元划分为LC个子区域;
将第lc个子区域内的每一个最小单元对应输入至一个所述输入神经元;
根据所述第lc个子区域对应的输入神经元以及与所述对应的输入神经元连接的隐层神经元,构造第lc个局部连接子网络;
将LC个局部连接子网络中所有隐层神经元的输出与各个输出神经元连接;
将所述第lc个局部连接子网络作为最小训练单元进行训练。
2.根据权利要求1所述的神经网络训练方法,其特征在于,所述根据预设的区域划分规则将待输入至输入神经元的数据样本划分为LC个子区域,包括:
根据以下公式将所述数据样本划分为LC个子区域:
所述子区域的数目为LC=knum1*knum2,knum1代表所述子区域的行数,knum2代表所述子区域的列数;
knum1=floor(K1-ksize1,kstride)+1,K1代表所述数据样本中每行的最小单元数量,ksize1代表预设的所述子区域中每行的最小单元数量;
knum2=floor(K2-ksize2,kstride)+1,K2代表所述数据样本中每列的最小单元数量,ksize2代表预设的所述子区域中每列的最小单元数量;
kstride代表预设的每一个子区域所移动的步长,floor()代表向下取整函数。
3.根据权利要求1所述的神经网络训练方法,其特征在于,所述将所述第lc个局部连接子网络作为最小训练单元进行训练,包括:
根据所述隐层神经元的自适应激活触发突触权值进行原位更新;
利用忆阻器非线性电导响应特性调节所述原位更新的速度。
4.根据权利要求3所述的神经网络训练方法,其特征在于,所述隐层神经元的自适应激活,包括:
根据第lc个局部连接子网络中同一层的各个隐层神经元的输入电信号计算平均电信号;
将所述平均电信号注入到所述各个隐层神经元;
控制相应的输入电信号大于所述平均电信号的隐层神经元依次放电;
根据各个放电的隐层神经元的放电次序,确定所述各个放电的隐层神经元的激活状态。
5.根据权利要求3所述的神经网络训练方法,其特征在于,所述原位更新,包括:
在小信号获取时期,获取所述突触的前一神经元的输出端和后一神经元的输出端确定的小信号;
在权值原位...
【专利技术属性】
技术研发人员:李智炜,李清江,徐晖,李纪伟,李楠,刁节涛,陈长林,宋兵,刘森,王义楠,王伟,于红旗,刘海军,步凯,王玺,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。