【技术实现步骤摘要】
一种自适应的非对称量化的深度神经网络模型压缩方法
本专利技术涉及深度神经网络模型压缩
，尤其涉及一种自适应的非对称量化的深度神经网络模型压缩方法。
技术介绍
近些年，深度学习逐渐替代了传统机器学习在日常生活中的应用，诸如语音识别、图像分类、机器翻译等一系列机器学习任务中，深度神经网络都取得了一定成果。但是，经典的深度神经网络模型，由于其厚重的层级结构带来数以百万计的浮点网络参数运算量，使得大多数网络难以部署到移动设备、嵌入式设备当中并保持良好的处理性能。而如何极大限度压缩神经网络参数并保证不低于原网络识别性能逐渐成为当前深度学习的重要研究方向。目前，针对模型参数冗余性的深度模型压缩方法分为两种，早在ICLR2016获得最佳论文奖的DeepCompression中便对这两种方法做了详尽的解释。其一是基于参数修剪的技术(也被称为网络剪枝)，其通过分析网络结构的重要性，将不重要的网络结构剪掉，来削减模型参数的冗余性。其二是基于参数量化的技术，其将32bit浮点权重，量化到1-bit、2-bit的有限数值，以此降低模型...
【技术保护点】
1.一种自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，所述自适应的非对称量化的深度神经网络模型压缩方法包括：/n在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；/n在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；/n对训练完成的量化深度神经网络进行压缩存储。/n
【技术特征摘要】
1.一种自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，所述自适应的非对称量化的深度神经网络模型压缩方法包括：
在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；
在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；
对训练完成的量化深度神经网络进行压缩存储。
2.如权利要求1所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的三元值的表达式如下：
其中，W1p，表示对应的缩放因子，W1表示当前待量化的浮点权重，表示量化过程中采用的阈值。
3.如权利要求2所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的四元值的表达式如下：
其中，W1p，表示对应的缩放因子，W1表示当前待量化的浮点权重，表示量化过程中采用的阈值。
4.如权利要求3所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，所述方案还包括：
采用L2范式最小来降低量化过程所带来的损失，公式如下：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。