【技术实现步骤摘要】
本专利技术涉及模型训练，尤其涉及一种神经网络训练方法、装置、设备及存储介质。
技术介绍
1、将神经网络权重参数映射在非易失存储器阵列中，通过给存储器阵列施加不同的输入信号，利用基尔霍夫定律和欧姆定律原理可实现高效的点积计算。这种新的计算范式可极大地加速模型计算，减少数据传输的开销，降低计算能耗。然而，目前基于rram等新型非易失存储器的存算一体计算架构中，由外围电路组成的输入输出端无法做到数据的双向配置，因而只能对神经网络的正向计算进行加速，极大的限制了存算一体技术的应用场景。此外，由于这种只能进行正向传播计算的硬件架构限制，在进行在线学习时，只能对训练过程中的正向计算进行加速，反向传播和权重更新计算则需要在其他计算平台上进行，这种计算模式限制了系统计算能效的提升，导致神经网络模型的训练效率不高。
2、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种神经网络训练方法、装置、设备及存储介质，旨在解决现有技术中利用rram等新型存储器的ai加速器进行神经网络训练过程中不支持神经网络的反馈计算，导致神经网络模型的训练效率不高的技术问题。
2、为实现上述目的，本专利技术提供了一种神经网络训练方法，所述神经网络训练方法应用于神经网络训练系统，所述神经网络训练系统包括cam电路和存储器阵列，所述神经网络训练方法包括以下步骤：
3、获取待训练神经网络的训练阶段信息，根据所述训练阶
4、根据所述内存计算模式生成所述cam电路的控制信号；
5、基于所述控制信号控制所述待训练神经网络训练过程中目标数据在所述存储器阵列中的数据流向。
6、可选地，所述cam电路包含传输门，所述传输门与所述存储器阵列连接；
7、所述基于所述控制信号控制所述待训练神经网络训练过程中目标数据在所述存储器阵列中的数据流向的步骤，包括：
8、基于所述控制信号控制所述cam电路中所述传输门的开关状态；
9、根据所述开关状态控制所述待训练神经网络训练过程中目标数据在所述存储器阵列中的数据流向。
10、可选地，所述控制信号包括正向传播信号和反向传播信号；
11、所述基于所述控制信号控制所述待训练神经网络训练过程中目标数据在所述存储器阵列中的数据流向的步骤，包括：
12、在所述控制信号为正向传播信号时，所述待训练神经网络训练过程中的目标数据在所述存储器阵列中的数据流向为前馈方向，以进行所述待训练神经网络的前馈计算；
13、在所述控制信号为反向传播信号时，所述待训练神经网络训练过程中的目标数据在所述存储器阵列中的数据流向为反馈方向，以进行所述待训练神经网络的反馈计算。
14、可选地，所述进行所述待训练神经网络的反馈计算的步骤，包括：
15、确定反馈计算的误差项；
16、根据所述误差项确定所述反馈计算对应的电压向量；
17、基于所述电压向量和所述存储器阵列按照所述反馈方向的数据流向进行所述待训练神经网络的反馈计算。
18、可选地，所述正向传播模式和所述反向传播模式共用一套输入输出电路。
19、可选地，所述存储器阵列包括阻变存储器、相变存储器、磁存储器或铁电存储器。
20、可选地，所述神经网络训练系统包括两套输入输出电路，所述输入输出电路分别用于进行神经网络训练的前馈计算和反馈计算。
21、此外，为实现上述目的，本专利技术还提供一种神经网络训练装置，所述装置包括：
22、获取模块，用于获取待训练神经网络的训练阶段信息，根据所述训练阶段信息确定内存计算模式，所述内存计算模式包括正向传播模式和反向传播模式；
23、生成模块，用于根据所述内存计算模式生成所述cam电路的控制信号；
24、数据流向控制模块，用于基于所述控制信号控制所述待训练神经网络训练过程中目标数据在所述存储器阵列中的数据流向。
25、此外，为实现上述目的，本专利技术还提出一种神经网络训练设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络训练程序，所述神经网络训练程序配置为实现如上文所述的神经网络训练方法的步骤。
26、此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有神经网络训练程序，所述神经网络训练程序被处理器执行时实现如上文所述的神经网络训练方法的步骤。
27、本专利技术神经网络训练方法应用于神经网络训练系统，所述神经网络训练系统包括cam电路和存储器阵列，所述神经网络训练方法包括以下步骤：获取待训练神经网络的训练阶段信息，根据所述训练阶段信息确定内存计算模式，所述内存计算模式包括正向传播模式和反向传播模式；根据所述内存计算模式生成所述cam电路的控制信号；基于所述控制信号控制所述待训练神经网络训练过程中目标数据在所述存储器阵列中的数据流向。本专利技术上述方式根据内存计算模式生成cam电路的控制信号，基于控制信号控制待训练神经网络训练过程中目标数据在存储器阵列中的数据流向，能够实现神经网络训练过程中数据流的双向配置，完成神经网络正向传播和反向传播的计算加速，提高模型训练效率。
本文档来自技高网...【技术保护点】
1.一种神经网络训练方法，其特征在于，所述神经网络训练方法应用于神经网络训练系统，所述神经网络训练系统包括CAM电路和存储器阵列，所述神经网络训练方法包括以下步骤：
2.如权利要求1所述的神经网络训练方法，其特征在于，所述CAM电路包含传输门，所述传输门与所述存储器阵列连接；
3.如权利要求1所述的神经网络训练方法，其特征在于，所述控制信号包括正向传播信号和反向传播信号；
4.如权利要求3所述的神经网络训练方法，其特征在于，所述进行所述待训练神经网络的反馈计算的步骤，包括：
5.如权利要求1-4任一项所述的神经网络训练方法，其特征在于，所述正向传播模式和所述反向传播模式共用一套输入输出电路。
6.如权利要求1-4任一项所述的神经网络训练方法，其特征在于，所述存储器阵列包括阻变存储器、相变存储器、磁随机存储器或铁电存储器。
7.如权利要求1-4任一项所述的神经网络训练方法，其特征在于，所述神经网络训练系统包括两套输入输出电路，所述输入输出电路分别用于进行神经网络训练的前馈计算和反馈计算。
8.一种神
9.一种神经网络训练设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络训练程序，所述神经网络训练程序配置为实现如权利要求1至7中任一项所述的神经网络训练方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有神经网络训练程序，所述神经网络训练程序被处理器执行时实现如权利要求1至7任一项所述的神经网络训练方法的步骤。
...【技术特征摘要】
1.一种神经网络训练方法，其特征在于，所述神经网络训练方法应用于神经网络训练系统，所述神经网络训练系统包括cam电路和存储器阵列，所述神经网络训练方法包括以下步骤：
2.如权利要求1所述的神经网络训练方法，其特征在于，所述cam电路包含传输门，所述传输门与所述存储器阵列连接；
3.如权利要求1所述的神经网络训练方法，其特征在于，所述控制信号包括正向传播信号和反向传播信号；
4.如权利要求3所述的神经网络训练方法，其特征在于，所述进行所述待训练神经网络的反馈计算的步骤，包括：
5.如权利要求1-4任一项所述的神经网络训练方法，其特征在于，所述正向传播模式和所述反向传播模式共用一套输入输出电路。
6.如权利要求1-4任一项所述的神经网络训练方法，其特征在于，所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。