【技术实现步骤摘要】
技术介绍
1、由于当前神经网络的发展，神经网络要处理的输入数据和要达到的目标越来越复杂，因此神经网络需要更多的计算资源进行计算。例如，1998年，最先进的神经网络是lenet-5，其应用于mnist数据集，输入图像大小为1×28×28。20年后，常见的基准数据集是imagenet，其输入分辨率比mnist大200倍，这造成了模型的内存占用量更高。事实上，在很多应用中，imagenet分辨率被认为是偏小的分辨率，例如在自动驾驶应用中，其中输入分辨率明显更大(在某些情况下超过40倍)。
2、对于计算和存储系统来说，现在的神经网络的存储、推理过程和训练过程的巨量计算资源的消耗对计算系统提出了更高的要求。因此，机器学习模型的压缩算法和低精度计算算法成为当前主要的研究方向。基于对噪音的计算健壮性的模型量化方法是最重要的压缩技术之一。在压缩计算和存储的过程中，噪音的主要来源是截断误差和数据类型转换带来的错误。
3、量化方法是指将初始高精度的原始模型的数据类型替换为较低精度数据类型进行存储和计算的方法。量化主要对深度神经网络...
【技术保护点】
1.一种分层确定量化神经网络模型的量化模式的方法，包括：
2.根据权利要求1所述的方法，其中，所述多个量化模式中的一个量化模式包括：利用多个数据精度中的一个数据精度来通过向上取整或向下取整中的一种取整方式来量化所述层的输入向量和所述层的权重参数。
3.根据权利要求1所述的方法，其中，所述按神经网络模型的层为单位利用多个量化模式中的一个量化模式来量化神经网络模型的一层的输入向量和该层的权重参数包括：
4.根据权利要求1所述的方法，其中，所述得到量化所述影响矩阵P[i][j]包括：
5.根据权利要求4所述的方法，其中，所述得...
【技术特征摘要】
1.一种分层确定量化神经网络模型的量化模式的方法，包括：
2.根据权利要求1所述的方法，其中，所述多个量化模式中的一个量化模式包括：利用多个数据精度中的一个数据精度来通过向上取整或向下取整中的一种取整方式来量化所述层的输入向量和所述层的权重参数。
3.根据权利要求1所述的方法，其中，所述按神经网络模型的层为单位利用多个量化模式中的一个量化模式来量化神经网络模型的一层的输入向量和该层的权重参数包括：
4.根据权利要求1所述的方法，其中，所述得到量化所述影响矩阵p[i][j]包括：
5.根据权利要求4所述的方法，其中，所述得到量化所述影响矩阵p[i][j]包括利用如下公式来计算所述影响矩阵p[i][j]：
6.根据权利要求5所述的方法，其中，在计算第i层的输入向量的所述第j个量化模式导致的噪音向量∈i和最大噪音scaleinput之后：
7.根据权利要求1-6中任一项所述的方法，其中，所述求解在代价矩阵w[i][j]在所有层的总和小于代价限制的情况下、使得所述影响矩阵p[i][j]在所有层的总和最小的第j种量化模式作为第i层的量化所采用的量化模式的步骤包括：
8.根据权利要求7所述的方法，其中所述求解在代价矩阵w[...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。