卷积神经网络压缩方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种卷积神经网络压缩方法、装置及电子设备，该方法包括：获取目标应用场景的目标训练样本集；采用方差缩放方法初始化待压缩神经网络模型的权重，得到待压缩神经网络模型的初始权重向量；以预设稀疏度作为约束条件，确定初始权重向量对应的权重优化向量，并根据权重优化向量计算待压缩神经网络模型中所有连接的灵敏度；根据预设稀疏度和灵敏度对待压缩神经网络模型进行剪枝，得到稀疏神经网络模型；使用目标训练样本集训练稀疏神经网络模型，直至得到训练完成的目标神经网络模型。本发明专利技术可以在保证压缩后模型的准确性的同时提高模型压缩的效率。时提高模型压缩的效率。时提高模型压缩的效率。

【技术实现步骤摘要】
卷积神经网络压缩方法、装置及电子设备


[0001]本专利技术涉及卷积神经网络压缩
，尤其是涉及一种卷积神经网络压缩方法、装置及电子设备。

技术介绍

[0002]目前，现有的卷积神经网络在实际应用中很大程度上受到高计算量的阻碍，需要采用不同的剪枝策略来减小模型规模，减少模型运行时的内存占用，同时在不影响精度的情况下减少计算操作的次数。模型剪枝通常是一个反复进行训练
‑
剪枝
‑
微调的迭代优化过程，虽然能够得到具有较高准确率的压缩模型，但该过程需要耗费大量时间，时间成本较高。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种卷积神经网络压缩方法、装置及电子设备，以在保证压缩后模型的准确性的同时提高模型压缩的效率。
[0004]第一方面，本专利技术实施例提供了一种卷积神经网络压缩方法，所述方法包括：获取目标应用场景的目标训练样本集；其中，所述目标训练样本集是基于所述目标应用场景对应的待压缩神经网络模型的初始训练样本集确定的；采用方差缩放方法初始化所述待压缩神经网络模型的权重，得到所述待压缩神经网络模型的初始权重向量；以预设稀疏度作为约束条件，确定所述初始权重向量对应的权重优化向量，并根据所述权重优化向量计算所述待压缩神经网络模型中所有连接的灵敏度；其中，所述灵敏度用于表征所述待压缩神经网络模型中各个网络层的连接的重要程度；
[0005]根据所述预设稀疏度和所述灵敏度对所述待压缩神经网络模型进行剪枝，得到稀疏神经网络模型；其中，所述稀疏神经网络模型的权重是根据所述预设稀疏度和所述灵敏度确定出来的；
[0006]使用所述目标训练样本集训练所述稀疏神经网络模型，直至得到训练完成的目标神经网络模型；其中，所述目标神经网络模型用于对所述目标应用场景对应的数据进行处理。
[0007]结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，获取目标样本集的步骤，包括：对所述初始训练样本集进行采样，得到所述目标样本集其中，D代表所述目标样本集，x
i
代表第i个样本，y
i
代表第i个样本对应的标签，i代表当前批次，n代表所述目标样本集的样本数量。
[0008]结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述方法还包括：将所述待压缩神经网络模型的剪枝定义为以下公式的约束优化问题：
[0009][0010]s，t.w∈R
m
，c∈{0，1}
m
，||c||0≤k
[0011]其中，L(
·
)表示整体损失函数，l(
·
)表示部分损失函数，
⊙
表示哈达玛乘积，c表示所述权重优化向量，w表示所述初始权重向量，∥
·
∥0表示标准的L0范数，m表示所述待压缩神经网络模型的参数总数，{0,1}
m
表示元素只有0和1的m维向量，k表示所述预设稀疏度。
[0012]结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，以预设稀疏度作为约束条件，确定所述初始权重向量对应的权重优化向量，并根据所述权重优化向量计算所述待压缩神经网络模型中所有连接的灵敏度的步骤，包括：
[0013]对于所述待压缩神经网络模型中的每一个连接，采用以下公式计算所述整体损失函数关于所述权重优化向量的导数以近似表征移除连接对所述待压缩神经网络模型的损失的影响：
[0014][0015]s.t.w∈R
m
，c∈{0，1}
m
，Hc||0≤k
[0016]其中，g
j
(w；D)表示连接j对应的整体损失函数关于权重优化向量的导数值，e
j
表示连接j的指示向量；
[0017]根据计算得到的每一个连接对应的导数值，采用以下公式计算所述待压缩神经网络模型中每一个连接的灵敏度：
[0018][0019]其中，s
j
表示连接j的灵敏度，|g
j
(w；D)|表示连接j对应的导数值的绝对值，N表示所述待压缩神经网络模型的连接数量。
[0020]结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，根据所述预设稀疏度和所述灵敏度对所述待压缩神经网络模型进行剪枝，得到稀疏神经网络模型的步骤，包括：按照所述灵敏度由大到小的顺序对所述待压缩神经网络模型中的所有连接进行排序，并保留排序结果中的前k个连接，得到第一稀疏神经网络模型；根据所述预设稀疏度和所述排序结果，对所述第一稀疏神经网络模型中各个网络层的连接进行加权处理，得到所述稀疏神经网络模型。
[0021]结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，根据所述预设稀疏度和所述排序结果，对所述第一稀疏神经网络模型中各个网络层的连接进行加权处理，得到所述稀疏神经网络模型的步骤，包括：
[0022]采用如下公式计算所述前k个连接中的每一个连接对应的优化权重值：
[0023][0024]其中，w
i
’
表示第i个连接的优化权重值；
[0025]为所述前k个连接中的每一个连接对应分配所述优化权重值，得到所述稀疏神经网络模型。
[0026]结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，使
用所述目标训练样本集训练所述稀疏神经网络模型，直至得到训练完成的目标神经网络模型的步骤，包括：将所述目标训练样本集中的所有样本输入所述稀疏神经网络模型；根据所述稀疏神经网络模型的预测结果和所述目标训练样本集中的所有样本对应的标签计算损失函数值，直至迭代次数超过预设次数或损失函数值小于预设值，停止训练，得到训练完成的目标神经网络模型。
[0027]第二方面，本专利技术实施例还提供一种卷积神经网络压缩装置，所述装置包括：样本获取模块，用于获取目标应用场景的目标训练样本集；其中，所述目标训练样本集是基于所述目标应用场景对应的待压缩神经网络模型的初始训练样本集确定的；初始化模块，用于采用方差缩放方法初始化所述待压缩神经网络模型的权重，得到所述待压缩神经网络模型的初始权重向量；灵敏度计算模块，用于以预设稀疏度作为约束条件，确定所述初始权重向量对应的权重优化向量，并根据所述权重优化向量计算所述待压缩神经网络模型中所有连接的灵敏度；其中，所述灵敏度用于表征所述待压缩神经网络模型中各个网络层的连接的重要程度；剪枝模块，用于根据所述预设稀疏度和所述灵敏度对所述待压缩神经网络模型进行剪枝，得到稀疏神经网络模型；其中，所述稀疏神经网络模型的权重是根据所述预设稀疏度和所述灵敏度确定出来的；训练模块，用于使用所述目标训练样本集训练所述稀疏神经网络模型，直至得到训练完成的目标神经网络模型；其中，所述目标神经网络模型用于对所述目标应用场景对应的数据进行处理。
[0028]第三方面，本专利技术实施例还提供一种电子设备，包括处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络压缩方法，其特征在于，所述方法包括：获取目标应用场景的目标训练样本集；其中，所述目标训练样本集是基于所述目标应用场景对应的待压缩神经网络模型的初始训练样本集确定的；采用方差缩放方法初始化所述待压缩神经网络模型的权重，得到所述待压缩神经网络模型的初始权重向量；以预设稀疏度作为约束条件，确定所述初始权重向量对应的权重优化向量，并根据所述权重优化向量计算所述待压缩神经网络模型中所有连接的灵敏度；其中，所述灵敏度用于表征所述待压缩神经网络模型中各个网络层的连接的重要程度；根据所述预设稀疏度和所述灵敏度对所述待压缩神经网络模型进行剪枝，得到稀疏神经网络模型；其中，所述稀疏神经网络模型的权重是根据所述预设稀疏度和所述灵敏度确定出来的；使用所述目标训练样本集训练所述稀疏神经网络模型，直至得到训练完成的目标神经网络模型；其中，所述目标神经网络模型用于对所述目标应用场景对应的数据进行处理。2.根据权利要求1所述的方法，其特征在于，获取目标样本集的步骤，包括：对所述初始训练样本集进行采样，得到所述目标样本集其中，D代表所述目标样本集，x
i
代表第i个样本，y
i
代表第i个样本对应的标签，i代表当前批次，n代表所述目标样本集的样本数量。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将所述待压缩神经网络模型的剪枝定义为以下公式的约束优化问题：s.t.w∈R
m
，c∈{0，1}
m
，||c||0≤k其中，L(
·
)表示整体损失函数，l(
·
)表示部分损失函数，
⊙
表示哈达玛乘积，c表示所述权重优化向量，w表示所述初始权重向量，||
·
||0表示标准的L0范数，m表示所述待压缩神经网络模型的参数总数，{0，1}
m
表示元素只有0和1的m维向量，k表示所述预设稀疏度。4.根据权利要求3所述的方法，其特征在于，以预设稀疏度作为约束条件，确定所述初始权重向量对应的权重优化向量，并根据所述权重优化向量计算所述待压缩神经网络模型中所有连接的灵敏度的步骤，包括：对于所述待压缩神经网络模型中的每一个连接，采用以下公式计算所述整体损失函数关于所述权重优化向量的导数以近似表征移除连接对所述待压缩神经网络模型的损失的影响：s.t.w∈R
m
，c∈{0，1}
m
，||c||0≤k其中，g
j
(w；D)表示连接j对应的整体损失函数关于权重优化向量的导数值，e
j
表示连接j的指示向量；根据计算得到的每一个连接对应的导数值，采用以下公式计算所述待压缩神经网络模
型中每一个连接的灵敏度：其中，s
j
表示连接j的灵敏度，|g
j
(w；D)...

【专利技术属性】
技术研发人员：李心慧，石柱国，李凡平，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：