用于时序数据处理的LSTM模型量化重训练方法、系统及设备技术方案

本发明专利技术涉及人工智能领域，尤其涉及一种用于时序数据处理的LSTM模型量化重训练方法、系统及设备，包括：将量化校准集修正为时间序列图像组与多样化图像组的有效组合配置形成组合图像，对LSTM模型进行量化校准；基于LSTM模型的量化校准方法，对LSTM模型进行了基于均匀

【技术实现步骤摘要】
用于时序数据处理的LSTM模型量化重训练方法、系统及设备


[0001]本专利技术涉及人工智能领域，具体为一种用于时序数据处理的LSTM模型量化重训练方法、系统及设备。

技术介绍

[0002]长短期记忆网络(LSTM)是循环神经网络(RNN)的一种改进形式，能够依据之前时刻的时序信息来预测下一时刻的输出。LSTM在RNN基础上引入了门控机制和记忆单元，能有效解决RNN在处理大量文本时会产生梯度消失或梯度爆炸的问题，并且对较长语句的输入具备长距离的依赖。许多最广泛使用的实时AI应用程序如文本生成、机器翻译、语音识别、生成图像描述等现在都基于LSTM，从经验中学习以解决各种以前无法解决的问题。
[0003]LSTM主要用于执行时序数据处理任务，然而，在这些任务中，LSTM模型受到延迟，能量和模型大小的严格限制。量化算法通过降低模型的数值位宽来压缩原始网络，通过量化部署可以有效降低预测过程的计算资源需求，减少计算和推理时间。然而，目前面向LSTM模型的量化算法尚未考虑LSTM的时序输入特性带来的影响，主要表现在两个方面：(1)用于常规算子的普通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于时序数据处理的LSTM模型量化重训练方法，其特征在于，包括：将量化校准集修正为时间序列图像组与多样化图像组的有效组合配置形成组合图像，对LSTM模型进行量化校准；基于LSTM模型的量化校准方法，对LSTM模型进行了基于均匀
‑
对称量化策略的量化操作，确定LSTM模型的量化参数生成方法；针对生成LSTM量化参数的方法，采用直通滤波器的实现方式，在训练中考虑LSTM量化前后的误差，经由训练学习得到合理的LSTM模型。2.根据权利要求1所述的用于时序数据处理的LSTM模型量化重训练方法，其特征在于，假设LSTM层的时间步长为T，模型的输入大小为C
×
H
×
W，用于普通层量化的校准集数量设置为N，选取N组不同场景的数据集，每组中包含具有训练一致性的T组时间序列数据集，即组合图像的量化校准集维度为N
×
T。3.根据权利要求2所述的用于时序数据处理的LSTM模型量化重训练方法，其特征在于，量化校准集由具有不同种类、不同背景、不同角度、不同光照、不同时间序列特征的图像组成。4.根据权利要求2所述的用于时序数据处理的LSTM模型量化重训练方法，其特征在于，组合图像N
×
T用于普通层的量化校准；遇到LSTM层时，根据LSTM的时间步长，将不同的图像组逐步发送到每个时间步长，其中每个不同的图像组具有时间序列特征。5.根据权利要求4所述的用于时序数据处理的LSTM模型量化重训练方法，其特征在于，首先将N
×
T组数据全部送入普通层，根据本层的输出数据分布选择激活量化阈值，每层l的数据维度均为N
×
T
×
C
l
×
H
l
×
W
l
，当遭遇LSTM层时，按照时间步长T的大小，将输入量化校准集等量的划分为T个维度为N
×
...

【专利技术属性】
技术研发人员：王月娇，马钟，杨超杰，
申请(专利权)人：西安微电子技术研究所，
类型：发明
国别省市：