一种应用于终端设备的轻量化图像分类方法及终端设备技术

本发明专利技术公开了一种应用于终端设备的轻量化图像分类方法及终端设备，提取多帧样本图像；利用所述多帧样本图像训练轻量化网络模型，得到图像分类模型；其中，所述轻量化网络模型获取过程包括：在指定裁剪参数空间内按照既定比例对深度网络模型每层进行随机初始化通道裁剪，固定裁剪后的深度网络模型参数；将所述深度网络模型的推理精度作为灰狼算法的输入，更新所述深度网络模型每层的通道裁剪比例系数，得到裁剪后的深度网络模型，即轻量化网络模型。本发明专利技术模型占用资源少，解决了现有技术中小型设备难以承载大负荷而无法加在图像处理算法的问题，因此本发明专利技术的方法适用于嵌入式设备或其余小型移动载体。式设备或其余小型移动载体。式设备或其余小型移动载体。

【技术实现步骤摘要】
一种应用于终端设备的轻量化图像分类方法及终端设备


[0001]本专利技术涉及图像处理领域，特别是一种应用于终端设备的轻量化图像分类方法及终端设备。

技术介绍

[0002]现有的深度学习系统已经在诸如场景监控、智能工厂、无人系统以及医疗诊断等常见应用中扮演着越来越重要的角色。而深度学习系统相关性能的崛起主要得益于深度学习网络的成功，尤其是卷积神经网络的快速发展，它们为诸多的实际应用场景提供了先进的性能支撑。在目前大数据时代的背景环境下，一方面海量数据为深度学习网络提供了大量的训练数据集，另一方面复杂的深度网络模型大大增强了数据的拟合能力，从而使得深度学习方法在某些应用中可以取得传统方法无法企及的成就。而这些成就都依赖于复杂的深度网络模型，以及数以亿计的模型参数，具有高性能计算能力的GPU和TPU同样发挥了重要作用。随着应用任务的日益精化，所需的网络结构也日益复杂化，将会引入更多的网络层数，带来的是模型大小，计算复杂度以及运行时间呈幂级倍数增长，访问内存的大量占用以及训练推理过程能耗的巨大需求。然而近年来，实时应用程序和小型移动设备得到了广泛的应用，因此如何将深度网络的优越应用性能成功移植到移动设备上成为了极大的难题。我们思考如何在有限资源(内存，CPU，带宽和能耗)的设备上有效地嵌入这些深度网络模型的性能，发现其中主要存在以下几个难点：
[0003](一)模型大，常用的深度模型占用了大量内存资源，如GoogleNet的模型大小达到了50MB，ResNet
‑
101的模型则有200M大小，以及VGG
‑
16的大小则超过了500M，对于小型移动设备难以承载以上大小的负荷；
[0004](二)计算量大，当前常用的深度网络模型都有着上千万甚至上亿的参数量，每次训练和推断需要进行大量的浮点数乘法运算；
[0005](三)能耗大，频繁且大量的内存访问以及GPU等加速计算资源消耗，需要大量的电量作为支撑。因此我们需要考虑在不影响深度网络模型的性能下对模型进行压缩和加速，有效的压缩方法必定能够对人工智能相关的分布系统、嵌入设备或移动载体产生显著的影响。

技术实现思路

[0006]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种应用于终端设备的轻量化图像分类方法及终端设备，降低图像分类过程的计算量。
[0007]为解决上述技术问题，本专利技术所采用的技术方案是：一种应用于终端设备的轻量化图像分类方法，包括以下步骤：
[0008]S1、提取多帧样本图像；
[0009]S2、利用所述多帧样本图像训练轻量化网络模型，得到图像分类模型；
[0010]其中，所述轻量化网络模型获取过程包括：
[0011]S2.1、在指定裁剪参数空间内按照既定比例对深度网络模型每层进行随机初始化通道裁剪，固定裁剪后的深度网络模型参数；
[0012]S2.2、将所述深度网络模型的推理精度作为灰狼算法的输入，更新所述深度网络模型每层的通道裁剪比例系数，得到裁剪后的深度网络模型，即轻量化网络模型。
[0013]本专利技术中，推理精度指的是利用裁剪后的深度网络模型进行标准化数据集分类测试得到的测试精度。
[0014]本专利技术首先将每个卷积层的保留通道数目比例限制约束在指定空间内，从而大大减少需搜索的次数。然后，将最优剪枝结构的搜索问题转化为优化问题，以减少人为干扰。最后，结合灰狼算法和剪枝后的子模型推理精度作为判断准则，进行自动求解得到最优模型结构。本专利技术极大地降低了图像分类的计算量和复杂度，减少了允许时间，可以适用于嵌入式设备。
[0015]本专利技术中，步骤S2.2的具体实现过程包括：
[0016]A)随机产生参与搜索的灰狼种群X
i,j
：X
i,j
～U(lb,ub)，i为灰狼种群数且i∈{1,2
…
N}，N为种群总数，j为种群维度，种群维度即网络层数，U为随机函数，lb和ub为搜索区间的上界和下界；初始化参与搜索的灰狼种群X
i,j
中各灰狼的位置；指定各灰狼对应的适应度为所述固定裁剪后的深度网络模型的推理精度；
[0017]B)利用下式搜索候选灰狼的位置X(t)：X(t+1)＝X
p
(t)
‑
A
·
D，D＝|C
·
X
p
(t)
‑
X(t)|；其中，D表示候选灰狼与猎物间的距离，t为当前的迭代次数，X
p
(t)为猎物位置，A和C为调节系数；
[0018]C)判断是否满足迭代终止条件，若是，则输出最优个体以及该最优个体的适应度大小，结束；否则，计算候选灰狼的适应度，进入步骤D)；
[0019]D)当适应度增加时，利用下式更新候选灰狼位置：X(t+1)＝(1/3)((X
W
‑
A1DW)+(XY
‑
A2DY)+(XZ
‑
A3DZ)1
‑
t/T+(XW
‑
A1DW)
·
(t/T)；其中，X(t)表示当前候选灰狼位置，X(t+1)表示下一时刻候选灰狼位置，X
W
、X
Y
和X
Z
分别表示W狼、Y狼、Z狼的当前位置A1、A2、A3以及C1、C2、C3为随机变量，D
W
、D
Y
、D
Z
分别表示候选灰狼与灰狼W、Y、Z之间的移动距离，D
W
＝|C1·
X
W
‑
X(t)|，d
Y
＝|C2·
X
Y
‑
X(t)|，D
Z
＝|C3·
X
Z
‑
X(t)|；所述W狼、Y狼、Z狼分别对应最优的个体、优的个体、次优的个体；灰狼位置对应深度网络模型网络层的剪枝率；T为设定的最大迭代次数；
[0020]E)更新候选灰狼的适应度值，返回步骤C)；
[0021]F)计算各网络层的各个通道的L1范数，对网络各层中参数值L1范数低于网络层剪枝率的通道予以剪枝，对剪枝后的深度网络模型使用适应性批量标准化方法更新批量标准化层，得到轻量化网络模型
[0022]A＝2a
·
r1‑
a，其中，r1是0～1之间的随机向量，a＝2e
‑
t/T
,T为设定的最大迭代次数。
[0023]C＝2
·
r2，r2是0～1之间的随机向量。
[0024]本专利技术中，所述深度网络模型为在损失函数中添加L1范数训练后得到的模型；其中，添加L1范数后损失函数表达式为：Loss*为深度网络标准损失函数，K为网络权值集合，||
·
||1为L1范数，γ为惩罚因子。
[0025]本专利技术中，步骤S2之后，为了进一步提高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于终端设备的轻量化图像分类方法，其特征在于，包括以下步骤：S1、提取多帧样本图像；S2、利用所述多帧样本图像训练轻量化网络模型，得到图像分类模型；其中，所述轻量化网络模型获取过程包括：S2.1、在指定裁剪参数空间内按照既定比例对深度网络模型每层进行随机初始化通道裁剪，得到固定裁剪后的深度网络模型；S2.2、将所述固定裁剪后的深度网络模型的推理精度作为灰狼算法的输入，更新所述深度网络模型每层的通道裁剪比例系数，得到裁剪后的深度网络模型，即轻量化网络模型。2.根据权利要求1所述的应用于终端设备的轻量化图像分类方法，其特征在于，步骤S2.2的具体实现过程包括：A)随机产生参与搜索的灰狼种群X
i,j
：X
i,j
～U(lb，ub)，i为灰狼种群数且i∈{1，2
…
N}，N为种群总数，j为种群维度，种群维度即网络层数，U为随机函数，lb和ub为搜索区间的上界和下界；初始化参与搜索的灰狼种群X
i，j
中各灰狼的位置；指定各灰狼对应的适应度为所述固定裁剪后的深度网络模型的推理精度；B)利用下式搜索候选灰狼的位置X(t)：X(t+1)＝X
p
(t)
‑
A
·
D，D＝|C
·
X
p
(t)
‑
X(t)|；其中，D表示候选灰狼与猎物间的距离，t为当前的迭代次数，X
p
(t)为猎物位置，A和C为调节系数；C)判断是否满足迭代终止条件，若是，则输出最优个体以及该最优个体的适应度大小，结束；否则，计算候选灰狼的适应度，进入步骤D)；D)当适应度增加时，利用下式更新候选灰狼位置：X(t+1)＝(1/3)((X
W
‑
A1D
W
)+(X
Y
‑
A2D
Y
)+(X
Z
‑
A3D
z
))(1
‑
t/T)+(X
W
‑
A1D
W
)
·
(t/T)；其中，X(t)表示当前候选灰狼位置，X(t+1)表示下一时刻候选灰狼位置，X
W
、X
Y
和X
Z
分别表示W狼、Y狼、Z狼的当前位置A1、A2、A3以及C1、C2、C3为随机变量，D
W
...

【专利技术属性】
技术研发人员：龙鑫，曾瑶源，刘煜，张茂军，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：