神经网络的权值的量化方法、量化装置及存储介质制造方法及图纸

一种用于神经网络的权值的量化方法、量化装置及存储介质。神经网络基于交叉阵列模拟存内计算系统实现，量化方法包括：获取权值的分布特性；以及根据权值的分布特性，确定用于量化权值的初始量化参数，以减小量化权值的量化误差。本公开的实施例所提供的量化方法不预先限定所使用的量化方法，而是根据权值的分布特性来确定用于量化权值的量化参数，以减小量化误差，从而使得在相同的映射开销下，神经网络的模型效果更好；另外，在相同的神经网络的模型效果下，映射开销更小。

【技术实现步骤摘要】
神经网络的权值的量化方法、量化装置及存储介质
本公开的实施例涉及一种用于神经网络的权值的量化方法、量化装置及存储介质。
技术介绍
神经网络模型广泛应用于计算机视觉、语音识别、自然语言处理、强化学习等领域。但是，神经网络模型具有较高的复杂度，从而很难应用于计算速度和功率非常有限的边沿设备(例如，手机、智能传感器、可穿戴设备等)。一种基于交叉阵列模拟存内计算(Crossbar-enabledanalogcomputing-in-memory，CACIM)系统实现的神经网络可以降低神经网络模型的复杂度，使得神经网络模型可以应用于边沿设备。具体地，CACIM系统包括计算存储单元，可以在数据存储的地方进行数据计算，从而可以节省数据搬运带来的开销。此外，CACIM系统中的计算存储单元可以基于基尔霍夫电流定律和欧姆定律来完成乘加运算，从而可以减小系统的计算开销。
技术实现思路
本公开至少一实施例提供一种用于神经网络的权值的量化方法，神经网络基于交叉阵列模拟存内计算系统实现，方法包括：获取权值的分布特性；以及根据权值的分布特性，确定本文档来自技高网...

【技术保护点】
1.一种用于神经网络的权值的量化方法，所述神经网络基于交叉阵列模拟存内计算系统实现，所述方法包括：/n获取所述权值的分布特性；以及/n根据所述权值的分布特性，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差。/n

【技术特征摘要】
1.一种用于神经网络的权值的量化方法，所述神经网络基于交叉阵列模拟存内计算系统实现，所述方法包括：
获取所述权值的分布特性；以及
根据所述权值的分布特性，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差。


2.根据权利要求1所述的方法，其中，根据所述权值的分布特性，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差，包括：
获取候选分布库，所述候选分布库存储有多个分布模型；
根据所述权值的分布特性，从所述候选分布库中选择与所述分布特性相对应的分布模型；以及
根据所选的分布模型，确定用于量化所述权值的初始量化参数，以减小量化所述权值的量化误差。


3.根据权利要求1所述的方法，还包括：
使用所述初始量化参数对所述权值进行量化以得到经量化权值；以及
使用所述经量化权值对所述神经网络进行训练，并基于训练结果更新所述权值以得到经更新权值。


4.根据权利要求1所述的方法，还包括：
使用所述初始量化参数对所述权值进行量化以得到经量化权值；
向所述经量化权值添加噪声以得到经加噪权值；以及
使用所述经加噪权值对所述神经网络进行训练，并基于训练结果更新所述权值以得到经更新权值。


5.根据权利要求3或4所述的方法，其中，对所述神经网络进行训练，并基于训练结果更新所述权值以得到经更新权值，包括：
对所述神经网络进行前向传播和反向传播；以及
使用所述反向传播得到的梯度更新所述权值，以得到所述经更新权值。...

【专利技术属性】
技术研发人员：吴华强，张清天，代凌君，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11