一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法技术

本发明专利技术公开了一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，包括如下步骤：S1、在生成快照前对原神经网络输入矩阵进行奇异值分解；S2、根据奇异值分布选择截断维数q，截断奇异值与奇异向量矩阵TSVD；S3、利用截断的矩阵构建新输入权重矩阵并重建用于采样的神经网络；S4、用于采样的神经网络前向传播并进行状态采样生成鲁棒快照；S5、对鲁棒快照进行POD得到鲁棒的压缩投影算子。相比于直接从原网络生成采样的方法，在采样过程中在原网络的输入矩阵上采用TSVD构建新神经网络并生成替代的采样，可加速快照的生成速度，减少由于长序列输入带来的输入到隐藏层信息的冗余，生成鲁棒的快照。生成鲁棒的快照。生成鲁棒的快照。

【技术实现步骤摘要】
一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法


[0001]本专利技术属于神经网络压缩
，具体涉及一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法。

技术介绍

[0002]前向传播速度和权重参数数量对于循环神经网络在资源有限设备(如边缘设备和嵌入式设备)上的部署至关重要，因此模型压缩一直是一个重要课题，而基于POD的低秩投影方法是解决该问题的一种常用方法。
[0003]POD是一种在希尔伯特子空间中构造低维近似的方法，且已被证明与在有限维空间上进行SVD在本质上是相同的，在POD方法中为了获得低维近似投影算子，需要提供由输入驱动的隐藏状态采样集，即快照，基于快照进行TSVD所得到的低维近似投影算子的泛化能力与所提供的快照关系密切。而在长序列输入问题中，模型的中间状态更加复杂，输入到隐藏层矩阵更加臃肿，存在大量冗余，往往需要更大量的采样来获得更准确的结果，但大型的快照矩阵在进行SVD时的开销过大，且生成的低维近似投影算子往往不够准确，泛化能力较弱。

技术实现思路

[0004]本专利技术的目的在于提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于，包括如下步骤：S1、在生成快照前对原神经网络输入矩阵进行奇异值分解；S2、根据奇异值分布选择截断维数q，截断奇异值与奇异向量矩阵TSVD；S3、利用截断的矩阵构建新输入权重矩阵并重建用于采样的神经网络；S4、用于采样的神经网络前向传播并进行状态采样生成鲁棒快照；S5、对鲁棒快照进行POD得到鲁棒的压缩投影算子。2.根据权利要求1所述的一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，其特征在于：步骤S1中原神经网络结构为h
t
＝f(Uh
t
‑1+Wx
t
)，其中h
t
与h
t
‑1为当前时刻得到的状态与上一时刻的状态，x
t
为当前时刻的输入向量，其长度为n
in
，U为状态到隐藏层矩阵，W为输入到隐藏层矩阵，f()为该网络采用的非线性激活函数，常用的有tan...

【专利技术属性】
技术研发人员：王海，陈嘉轩，郭锦程，黄乐天，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：