一种面向长短期记忆网络的权值和激活值的量化方法技术

本发明专利技术公开了一种面向长短期记忆网络的权值和激活值的量化方法，包括步骤：1)收集长短期记忆网络的权重值和激活值数集；2)确定对应的目标量化范围，开始阈值遍历循环，根据计算出的不同阈值情况下的缩放因子和饱和值，将权重值和激活值进行缩放或置为饱和值；3)遍历完成后，分别计算权重值和激活值的初始数集与映射后数集的KL散度，最终分别输出正、负数方向截断阈值以及最小的KL散度值。本发明专利技术实现了将高精度浮点数训练完成的长短期记忆网络转化为定点数网络，创新性地设计了针对长短期记忆网络的权重值和激活值的量化结构，在保证算法硬件实施精度的同时，减小了硬件开销，提高了运行速度。

【技术实现步骤摘要】
一种面向长短期记忆网络的权值和激活值的量化方法
本专利技术属于循环神经网络量化领域，具体涉及一种面向长短期记忆网络的权值和激活值的量化方法。
技术介绍
随着图形处理器，通用中央处理器的计算能力不断提升，缓解了人工神经网络对运算复杂度的要求。2012年以后，基于神经网络的人工智能算法不断发展，广泛应用于模式识别、语音处理和图像处理等多个领域。然而，硬件性能的发展始终不能满足算法的进化。2016年提出的SSD网络引入了多达500亿次的计算，需要在大型工作站中运行。然而，桌面处理器和移动端处理器难以承受如此大的计算量，这样极大地限制了神经网络的应用场景，包括各种终端应用如虚拟现实技术和增强现实技术。解决该问题有两种方案，其中一个是针对神经网路中的冗余信息进行压缩，例如将浮点全精度的神经网络进行量化，通过压缩数据位宽，实现对网络的参数量的压缩。当前，大多数量化方案针对于神经网络中的卷积神经网络，因为其网络参数多，计算复杂度高，并没有针对循环神经网络的量化方案，本专利技术针对循环神经网络中广泛使用的长短期记忆网络(LSTM)，设计了一套适用于小规模LST本文档来自技高网...

【技术保护点】
1.一种面向长短期记忆网络的权值和激活值的量化方法，其特征在于，包括以下步骤：/n1)收集长短期记忆网络的权重值数集，并确定权重值的目标量化范围，开始阈值遍历循环，根据计算出的不同阈值情况下的缩放因子和饱和值，将权重值进行缩放或置为饱和值；遍历完成后，计算权重值的初始数集与映射后数集的KL散度，最终分别输出正、负数方向截断阈值以及最小的KL散度值；/n2)收集长短期记忆网络的激活值数集，并确定激活值的初始量化范围和目标量化范围，开始阈值遍历循环，根据计算出的不同阈值情况下的缩放因子和饱和值，将激活值进行缩放或置为饱和值；遍历完成后，计算激活值的初始数集与映射后数集的KL散度，最终分别输出正、负...

【技术特征摘要】
1.一种面向长短期记忆网络的权值和激活值的量化方法，其特征在于，包括以下步骤：
1)收集长短期记忆网络的权重值数集，并确定权重值的目标量化范围，开始阈值遍历循环，根据计算出的不同阈值情况下的缩放因子和饱和值，将权重值进行缩放或置为饱和值；遍历完成后，计算权重值的初始数集与映射后数集的KL散度，最终分别输出正、负数方向截断阈值以及最小的KL散度值；
2)收集长短期记忆网络的激活值数集，并确定激活值的初始量化范围和目标量化范围，开始阈值遍历循环，根据计算出的不同阈值情况下的缩放因子和饱和值，将激活值进行缩放或置为饱和值；遍历完成后，计算激活值的初始数集与映射后数集的KL散度，最终分别输出正、负数方向截断阈值以及最小的KL散度值。


2.根据权利要求1所述的一种面向长短期记忆网络的权值和激活值的量化方法，其特征在于，步骤1)的具体实现方法如下：
101)长短期记忆网络的权重值LSTM网络中的循环参数或者输入参数，权重值数集大小较小而且稀疏，在100-4500；
102)对于阻塞序列的LSTM网络的输入参数，首先搜索权重值的合适目标量化范围num，num一共选取2N个值，N＝1～7采用特定量化算法计算后，收集每个num下最优量化方案的KL散度，这里输入参数的量化选择为INT3，即num等于8；而循环参数比输入参数数据量大，因而这里循环参数的量化选择为INT4，即num等于16；
103)然后在INT3遍历搜索最佳的阈值，权重值的最小分组步长step设置为“(max-min)/num/3”；“遍历所有阈值”的过程，相当于在3×num个初始分组中，选取num个分组的数据按照缩放因子sf进行缩放，num个分组外的数据设置为饱和值low和high；从3×num个初始分组中遍历，通过循环变量j和g控制；当负数方向阈值取第2个分组，即idk＝2的平均值，正数方...

【专利技术属性】
技术研发人员：杨晨，丰贵鹏，王逸洲，耿莉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61