一种边云协同场景下的基于结构化剪枝的卷积神经网络组件化方法技术

本发明专利技术提出一种边云协同场景下的基于结构化剪枝的卷积神经网络组件化方法，对于不同类别输入，以通道控制门的形式量化不同卷积通道对最终推断的贡献程度，得到所有类别对应的控制门。针对给定的类别组合，通过线性组合它们对应的控制门来寻找最佳的修剪结构，并通过自然选择、交叉、变异等过程迭代得到线性组合系数。最后根据组合后的控制门信息，对原模型剪枝，得到一个定制的子模型。本发明专利技术可以使得一个参数冗余的大型卷积神经网络根据边端不同的需求定制化的压缩模型，使得模型表现降低在可以接受的范围内的前提下，模型的规模大大缩小。相较于传统模型压缩方法，本发明专利技术是基于任务的，能更灵活的面向不同任务对原模型进行组件化拆解。组件化拆解。组件化拆解。

【技术实现步骤摘要】
一种边云协同场景下的基于结构化剪枝的卷积神经网络组件化方法


[0001]本专利技术涉及云边协同场景下图像识别
，具体的，涉及一种基于结构化剪枝将大型卷积神经网络组件化的方法。

技术介绍

[0002]卷积神经网络(CNN)因为强大的特征表示能力，已广泛应用于图像分类场景中，例如遥感图像的场景分类以及自动驾驶汽车的场景分类技术。与此同时，云边协同正在成为这些需要实时性和效率的场景的解决方案。该方案将数据采集、分析、处理等任务放在边缘端，通过网络转发将数据传输到云端进行监控和存储。这种方法可以降低系统响应延迟，云端压力和带宽成本，具有很强的鲁棒性和实用性。然而，神经网络模型的高存储和高计算特性与边缘设备的低存储空间和低算力特性相矛盾，为应对CNN从云端到边缘迁移的大规模趋势，已经有许多模型压缩技术来解决上述挑战。
[0003]在模型压缩领域，已经提出了许多理论方法，包括剪枝，张量分解和知识蒸馏等。其中，对模型进行剪枝一般通过修剪权重(细粒度)或修剪过滤器/通道(粗粒度)来产生紧凑的子网络。虽然权重修剪方法能更好地保持网络的最终推断准确性，但它会导致不规则的计算和存储器访问，限制了硬件实现的并行性。相比之下，结构化修剪则是删除一组权重，而不是修剪单个权重。在神经网络深度不断增加的趋势下，直接删除整个卷积核或通道能够大幅度压缩模型，从而能更好地部署到存储能力较差的边缘设备上。此外，结构化修剪通过利用数据并行架构在硬件中提供有效的处理，改善网络压缩，并降低存储要求，被更广泛地使用。由于结构化修剪的各种优点，已经进行了许多研究来进一步发展这种方法：研究人员通过消融卷积层中的某些神经元，可以观察到特定类别的显著准确性下降，这揭示了神经元在不同层上的差异化过程，也揭示了类别相关信息主要集中在少数神经元中。一些研究人员对模型的批量归一化(Batch Normalization)层的缩放因子施加了稀疏性约束，并将具有较低缩放因子的通道识别为信息量较少的通道；还有将模型每一层的输出通道与标量控制门相关联，以学习不同的卷积通道对于神经网络最终输出的贡献程度，较大的门值意味着卷积通道的重要性，否则卷积通道不太重要。
[0004]然而，上述方法中的大部分工作主要集中在移除模型中冗余层和参数，以减小模型的规模，但忽视了某些场景下边缘设备只需感知输入类别总数中的极小部分的实际需求。在实际应用中，例如遥感图像分类、工业缺陷检测、自动驾驶场景识别等领域，边缘设备只需要对特定的几个类别进行分类或研究，而不需要考虑全部的类别。在这些场景中，不同的边缘设备的任务需求各不相同，对于某个特定设备来说，可能只有少数几个类别是其关注对象，因为这些类别与其特定的研究或监测目的密切相关。我们的方法将结合边缘设备特定的任务需求，为其定制化一个模型大幅缩减的子模型，为边云协同场景下一些边缘设备部署模型提供了解决方案。

技术实现思路

[0005]专利技术目的：
[0006]在一些边云协同场景下，例如遥感图像分类、工业缺陷检测、自动驾驶场景识别等领域，云端拥有着更多的数据源获取大规模的数据集，能训练得到一个过参数化的大型模型，用于判别所有图像场景。而边缘设备只需对特定的几个类别进行分类或研究，而不需要考虑全部的类别，这意味着在这些设备上的模型只需要关注特定类别的分类，因此我们提出一个以结构化剪枝为基础的将大型卷积神经网络组件化通用方法。这里，组件化指的是将大模型拆解为若干面向不同业务的子模型，云端结合边缘设备特定的任务需求，将子模型部署到适用的边缘设备执行感知、推断等任务。通过结构化剪枝的方式移除对特定任务推断无关的卷积通道，保证部署在边缘端的子模型在精度略微下降的前提下，模型规模大大缩减，使得存储能力及能量供应都有限的边缘设备也能更方便的完成图像感知的任务。最终，通过边缘设备与云端的协同工作，云端可以根据边缘设备的需求定制子模型，实现卷积神经网络的组件化效果，并提供模型训练、优化和更新的支持，边缘设备也能够更专注地处理特定类别的感知和推断任务，进一步强化边云协同的优势。
[0007]本专利技术的技术方案为：
[0008]一种边云协同场景下的基于结构化剪枝的卷积神经网络组件化方法，包括以下步骤：
[0009]步骤1：获取图像级的通道控制门A；
[0010]步骤1.1：利用训练集预训练得到过参数化的完整模型N_full，模型深度为K；
[0011]步骤1.2：初始化控制门λ
k
；
[0012]步骤1.3：获取一副图像x，利用模型N_full对该图像进行预测，得到推断结果f
θ
(x)；并利用增加控制门λ
k
后的模型对该图像进行预测，得到推断结果f
θ
(x,A)；所述增加控制门λ
k
后的模型指控制门λ
k
在完整模型中逐通道地乘以模型第k层的输出后得到的模型；控制门λ
k
的维度是模型第k层的卷积通道数目，A＝{λ1,λ2…
λ
K
}；
[0013]步骤1.4：以
[0014][0015]计算损失函数，其中γ是超参数，crossEntropy()函数的含义是交叉熵损失函数，K是模型的深度；
[0016]并以
[0017][0018]对A进行梯度更新，更新过程中确保λ
k
每个值非负；更新结束后计算加控制门后的模型预测类别标签为j＝argmax N_full(x,A)；如果此时i＝j，则本次迭代中通道门A已经达到收敛；
[0019]步骤1.5：重复执行T次步骤1.4，完成对控制门A的训练；此时所有的λ
k
逐层组成起来得到图像级的通道控制门A；
[0020]步骤2：利用同一类别不同图像的图像级通道控制门A，建立类级控制门Y：
[0021]步骤2.1：对同一目标类别下所有的n张图像[x1,x2,x3…
x
n
]逐个执行步骤1，得到每张图像的图像级控制门[A
x1
,A
x2
,A
x3
…
A
xn
]；
[0022]步骤2.2：对n张图像各自对应的图像级通道控制门进行相加求和，得到目标类别的类级控制门
[0023]步骤3：定制子模型：
[0024]步骤3.1：根据定制要求，利用步骤2获取v个不同目标类别的类级控制门[Y1,Y2,Y3…
Y
v
]；
[0025]步骤3.2：为[Y1,Y2,Y3…
Y
v
]随机生成s组不同的参数[c1,c2,c3…
c
v
]；
[0026]步骤3.3：对于某一组[c1,c2,c3…
c
v
]，根据公式
[0027]S
fusion
＝c1*Y1+c2*Y2+c3*Y3+
…
+c
v
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边云协同场景下的基于结构化剪枝的卷积神经网络组件化方法，其特征在于：包括以下步骤：步骤1：获取图像级的通道控制门A；步骤1.1：利用训练集预训练得到过参数化的完整模型N_full，模型深度为K；步骤1.2：初始化控制门λ
k
；步骤1.3：获取一副图像x，利用模型N_full对该图像进行预测，得到推断结果f
θ
(x)；并利用增加控制门λ
k
后的模型对该图像进行预测，得到推断结果f
θ
(x,A)；所述增加控制门λ
k
后的模型指控制门λ
k
在完整模型中逐通道地乘以模型第k层的输出后得到的模型；控制门λ
k
的维度是模型第k层的卷积通道数目，A＝{λ1,λ2…
λ
K
}；步骤1.4：以计算损失函数，其中γ是超参数，crossEntropy()函数的含义是交叉熵损失函数，K是模型的深度；并以对A进行梯度更新，更新过程中确保λ
k
每个值非负；更新结束后计算加控制门后的模型预测类别标签为j＝argmax N_full(x,A)；如果此时i＝j，则本次迭代中通道门A已经达到收敛；步骤1.5：重复执行T次步骤1.4，完成对控制门A的训练；此时所有的λ
k
逐层组成起来得到图像级的通道控制门A；步骤2：利用同一类别不同图像的图像级通道控制门A，建立类级控制门Y：步骤2.1：对同一目标类别下所有的n张图像[x1,x2,x3…
x
n
]逐个执行步骤1，得到每张图像的图像级控制门[A
x1
,A
x2
,A
x3
…
A
xn
]；步骤2.2：对n张图像各自对应的图像级通道控制门进行相加求和，得到目标类别的类级控制门步骤3：定制子模型：步骤3.1：根据定制要求，利用步骤2获取v个不同目标类别的类级控制门[Y1,Y2,Y3…
Y
v
]；步骤3.2：为[Y1,Y2,Y3…
Y
v
]随机生成s组不同的参数[c1,c2,c3…
c
v
]；步骤3.3：对于某一组[c1,c2,c3…
c
v
...

【专利技术属性】
技术研发人员：汪彦婷，李峰，刘磊，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：