一种针对深度学习网络参数的量化方法技术

本发明专利技术提供了一种针对深度学习网络参数的量化方法。本方法包括如下步骤：(1)构建深度学习网络，产生训练数据；(2)利用大量训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取出学习参数，确定超参数；(4)设计量化器，由超参数确定所设计软阶梯函数的具体表达式，并引入可学习参数，使之形状可调整；(5)将该带有学习参数的软阶梯函数引入深度学习网络，量化学习参数，通过相同的训练数据学习量化器参数，训练过程采用退火策略；(6)固定训练后的量化器参数，运用量化器对深度学习网络参数进行量化。本发明专利技术能够有效降低量化所引起的性能损失，大大降低了深度网络所需的存储开销。

A quantitative method for deep learning network parameters

【技术实现步骤摘要】
一种针对深度学习网络参数的量化方法
本专利技术属于深度学习领域，是一种针对深度学习网络参数的量化方法。
技术介绍
深度学习网络这一学科是自从2006年起，随着基于层叠的限制玻尔兹曼机的深度信念网络的学习算法的提出，而逐渐开创起来的，它在人工智能领域中是一门新兴的学科，其研究的主要内容，就是多层神经网络的建模和算法学习的问题。深度学习网络方法已经成功运用于其他很多领域，比如说图像处理，自然语言处理等。深度学习是一种新兴的多层神经网络学习算法，因其缓解了传统网络训练中局部最小性，引起机器学习领域的广泛关注。随着近几年的发展，深度学习网络不仅仅指多层神经网络，而是泛指由复杂网络结构构成的多层网络，主要可将深度学习网络分为两种，一是模型驱动的深度学习网络，该类网络根据已知的知识和机制构建，通常是将已知的迭代算法展开成网络，比如LAMP和LISTA算法；二是数据驱动深度学习方法，此方法将网络看做是黑盒并依赖大量数据训练这个网络，常见的全连接网络以及深度卷积网络都属于此种方法。深度网络凭借其多层网络结构，在很多领域获得了很好的应用，但是与此同时，随着网络层次的增加，随之而来的是数量庞大的网络参数本文档来自技高网...

【技术保护点】
1.一种针对深度学习网络参数的量化方法，其特征在于包括以下步骤：(1)构建深度学习网络，并根据问题产生训练数据；(2)利用训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取步骤(2)所述的网络参数，根据网络参数界限和量化台阶数确定量化比特数和相邻量化台阶间隔；(4)设计量化器，所述量化器由带有可学习参数的处处可导的软阶梯函数构成，由步骤(3)所述的网络参数界限、量化台阶数和相邻量化台阶间隔确定软阶梯函数的函数表达式，并引入可学习参数作为量化器参数；(5)固定步骤(2)得到的网络参数，将步骤(4)所述的量化器引入深度学习网络并量化网络参数，采用步骤(1)所述的训练数据训练量化器参数...

【技术特征摘要】
1.一种针对深度学习网络参数的量化方法，其特征在于包括以下步骤：(1)构建深度学习网络，并根据问题产生训练数据；(2)利用训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取步骤(2)所述的网络参数，根据网络参数界限和量化台阶数确定量化比特数和相邻量化台阶间隔；(4)设计量化器，所述量化器由带有可学习参数的处处可导的软阶梯函数构成，由步骤(3)所述的网络参数界限、量化台阶数和相邻量化台阶间隔确定软阶梯函数的函数表达式，并引入可学习参数作为量化器参数；(5)固定步骤(2)得到的网络参数，将步骤(4)所述的量化器引入深度学习网络并量化网络参数，采用步骤(1)所述的训练数据训练量化器参数，训练过程采用退火策略；(6)固定训练后的量化器参数，运用训练好的量化器对深度学习网络参数进行量化。2.如权利要求1所述的针对深度学习网络参数的量化方法，其特征在于所述的步骤(3)具体为：提取训练后的网络参数，寻找界限，将绝对值最大的网络参数作为网络参数界限Gb；确定所需的量化台阶数2l+1，根据量化台阶数确认所需的量化比特数根据量化台阶数2l+1以及网络参数界限Gb确定相邻量化台阶间隔为3.如权利要求1所述的针对深度学习网络参数的量化方法，其特征在于所述的步骤(4)具体为：设计可引入深度学习网络的处处可导的软阶梯函...

【专利技术属性】
技术研发人员：韦逸，赵明敏，赵民建，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33