一种用于分类任务的视觉理解模型的通道剪枝方法及应用技术

本发明专利技术属于视觉理解技术领域，公开了一种用于分类任务的视觉理解模型的通道剪枝方法及应用，方法包括：采用基于散度的通道重要性函数计算已训练好的视觉理解模型中每个通道的重要性值；其中，所述基于散度的通道重要性函数为所述视觉理解模型中各通道输出特征图所对应的样本分布的标准差与变异系数的乘积，且所述变异系数等于所述样本分布的标准差与所述样本分布的数学期望的比值；所述样本分布的标准差用于反映样本之间的分散程度；将各通道的重要性值排序，从重要性值低的通道开始，对对应的通道进行剪枝，直至满足所述视觉理解模型所需的参数量和运算量为止，得到剪枝后的轻量化视觉理解模型。本发明专利技术能够在较高的剪枝率下提升模型的分类性能。

【技术实现步骤摘要】

本专利技术属于视觉理解，更具体地，涉及一种用于分类任务的视觉理解模型的通道剪枝方法及应用。

技术介绍

1、近年来，深度学习技术在视觉理解领域展现出了强大的能力。然而，随着模型参数量的逐渐增长、网络深度不断增加，深度学习网络的推理对计算资源的消耗也迅速增长，对硬件性能提出了更高的要求。特别的，由于更多模型向智能手机与嵌入式设备上的部署，如果将消耗大量计算与存储成本的深度神经网络部署在资源受限的设备上是当前深度学习技术迈向更大规模应用的难点。为此，模型剪枝方法被提出，对各种视觉理解模型进行轻量化处理。其中，通道剪枝(也称滤波器剪枝)直接去除整个冗余通道的所有参数，其稀疏模式具有结构化特性，不需要特定硬件与算法库的支持，应用最为广泛。

2、模型剪枝旨在通过移除模型中冗余部分，同时尽量不影响模型预测精度。因此，如何识别模型中哪些部分是冗余的，成为剪枝方法关注的重点。当前主流方法是基于各通道的贡献度判断通道是否重要。该类方法假设具有较大参数幅值、较大特征图的值、或特征图秩更大的通道对输出具有更大的影响，因而更重要，冗余度更低。另外，还有一些方法也基于通道本文档来自技高网...

【技术保护点】

1.一种用于分类任务的视觉理解模型的通道剪枝方法，其特征在于，包括：

2.根据权利要求1所述的通道剪枝方法，其特征在于，所述视觉理解模型包括卷积层，和/或线性层，以及与卷积层，和/或线性层之后相邻的激活函数层和归一化层；

3.根据权利要求2所述的通道剪枝方法，其特征在于，采用数学期望和方差的估计值对应代替数学期望和方差

4.根据权利要求3所述的通道剪枝方法，其特征在于，所述激活函数f(x)为ReLU激活函数、ReLU6激活函数或tanh激活函数。

5.根据权利要求1-4任意一项所述的通道剪枝方法，其特征在于，所述已训练好的视觉理解模型通过采...

【技术特征摘要】

1.一种用于分类任务的视觉理解模型的通道剪枝方法，其特征在于，包括：

2.根据权利要求1所述的通道剪枝方法，其特征在于，所述视觉理解模型包括卷积层，和/或线性层，以及与卷积层，和/或线性层之后相邻的激活函数层和归一化层；

3.根据权利要求2所述的通道剪枝方法，其特征在于，采用数学期望和方差的估计值对应代替数学期望和方差

4.根据权利要求3所述的通道剪枝方法，其特征在于，所述激活函数f(x)为relu激活函数、relu6激活函数或tanh激活函数。

5.根据权利要求1-4任意一项所述的通道剪枝方法，其特征在于，所述已训练好的视觉理解模型通过采用标准数据集对未训练的视觉理解模型进行训练得到；

6.一种用于分类任务的视觉理解模型压缩方法，其特征在于，包括：

7.一种...

【专利技术属性】
技术研发人员：高常鑫，吴东岳，桑农，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：