一种宽度学习系统量化方法技术方案

本发明专利技术公开了一种宽度学习系统量化方法，属于神经网络量化方法技术领域。本发明专利技术包括以下步骤：首先获得输入输出数据，其次提供量化权重的选择标准，然后结合搜索方法获得随机权重被量化后的最佳模型，最后对输出权重量化，最终获得一个轻量化的宽度学习系统模型。本发明专利技术使用了动态的权重量化方式，通过在训练过程中设置权重量化时可选择的最大比特，从而动态选择出和浮点权重最优匹配的整型权重；最后，交替进行输出权重的分组量化和浮点权重再训练直到全部权重量化同时模型收敛为止。本发明专利技术在保持甚至提升模型性能的同时可以得到一个轻量级宽度学习系统，使其更易部署在移动端等边缘应用上。边缘应用上。边缘应用上。

【技术实现步骤摘要】
一种宽度学习系统量化方法


[0001]本专利技术涉及一种神经网络量化方法，尤其涉及一种宽度学习系统量化方法，属于模型压缩


技术介绍

[0002]目前，深度神经网络在发现高维数据中的复杂结构方面十分强大，但是所有参数都需要经过反向传播调整，这需要大量的时间；另外，当输入数据发生了改变，整个网络也需要重新训练，这又会消耗很多时间。而宽度学习系统及其变体的高效判别学习算法的提出很好的解决了这个问题。
[0003]宽度学习系统具有两个核心：一是能够提取特征的特征映射层和增加网络非线性能力的增强层，二者同时连接到输出层；二是BLS可以在输入数据改变或者其他必要的时候通过增量学习的方法来更新整个系统，因此，BLS非常适合重塑和需要快速学习的应用。具体来说，宽度学习系统可表述为：输入数据通过映射和稀疏自编码器的调整生成特征节点，然后特征节点经过非线性激活函数连接形成增强节点，最后特征节点和增强节点共同形成的隐层节点连接到输出层。其中，隐层节点的所有权重和偏差都是随机生成的，只需要训练隐层和输出层之间的权重，这给模型的训练带来了极大的方便；此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种宽度学习系统量化方法，其特征在于：包括以下步骤：步骤1：数据集的处理和划分：使用开源数据集进行模型的训练，首先将获得的数据集按照2：1的比例划分成训练集和测试集，训练集输入为X＝(X1,X2...X
m
)
T
∈R
m
×
n
，输出为Y＝(Y1,Y2...Y
m
)
T
∈R
m
×
b
，测试集输入为XX＝(XX1,XX2...XX
tt
)
T
∈R
tt
×
n
，输出为YY＝(YY1,YY2...YY
tt
)
T
∈R
tt
×
b
；其中m表示训练集输入样本的数量，n表示输入样本的特征，b表示输出样本的特征，tt表示测试集输入样本的数量，T表示矩阵的转置，R表示实数域集合；步骤2：权重的选择标准：模型在训练过程中，权重的数值大小是动态变化的，量化的权重也是动态选择的，考虑嵌入式平台移位运算的特性，利用2的指数幂来进行权重的量化：权重的选择表示为集合P＝{
±2I
},0≤I≤b
ꢀꢀꢀꢀꢀꢀꢀ
(1)其中b是权重量化时可选择的最大比特，然后权重将在集合P中取值；通过公式(2)来确定I的大小，从而选择出权重的最佳比特位宽：其中w
I
为量化前的浮点型权重，w
I_quant
为量化后的权重，err为量化前后权重的误差；步骤3：建立LBLS(Lightweight Broad Learning System)模型：首先设置好特征节点和增强节点的数量范围，然后利用网格搜索得到随机权量化之后的最佳的BLS模型，网格搜索和随机权的量化是同步进行的；然后在得到的模型上对输出权重进行划分，先量化权重数值大的部分，然后通过梯度下降来训练未量化的部分以减少模型损失，整个训练过程权重分组量化和更新交替迭代进行，直到网络损失收敛得到最终的LBLS模型为止；所述步骤3具体包括以下步骤：步骤3.1：随机权进行量化：步骤3.1.1：首先，输入数据通过公式(3)形成特征节点矩阵Z
r
＝[Z1,Z2...Z
r
]Z
Z
＝φ(XW
Z
+β
Z
)s.t.W
Z
,β
Z
∈P z＝1.2...r
ꢀꢀꢀꢀ
(3)其中Z
Z
是特征节点，φ(*)映射函数，X是训练集的输入数据，W
Z
是特征层内量化之后的权重，β
Z
是特征层内量化之后的偏置，r是特征节点的组数，P是公式(1)表示的集合，X是输入数据；步骤3.1.2：其次，特征节点经过公式(4)形成增强节点矩阵H
t
＝[H1,H2...H
t
]H
h
＝ξ(ZW
h
+β
h
)s.t.W
h
,β
h
∈P h＝1.2...t
ꢀꢀꢀꢀ

【专利技术属性】
技术研发人员：褚菲，王光辉，陆宁云，何大阔，陈俊龙，王雪松，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：