一种面向边缘环境的深度学习模型压缩方法技术

本发明专利技术公开了一种面向边缘环境的深度学习模型压缩方法，该方法是先收集边缘环境的图像数据，归集为数据集；对数据集进行图像增强处理，选择一个强大的教师模型对数据集进行预训练；再选择一个较小模型作为学生模型，利用经过预训练的教师模型进行知识蒸馏来训练学生模型，在学生模型训练过程中，添加跨层蒸馏损失函数，采用最邻近上采样方法，将教师模型的深层特征以及学生模型的深层特征进行向上的特征融合，以此增强浅层特征的注意力，使教师模型在浅层特征也能转移更多的知识，提升学生模型性能的效果；将经过知识蒸馏的学生模型部署到边缘环境进行图像识别工作。该方法仅对原始特征图进行处理，无需额外的辅助网络或对知识进行浓缩处理。

【技术实现步骤摘要】

本专利技术涉及计算机视觉研究领域，具体是一种面向边缘环境的深度学习模型压缩方法。

技术介绍

1、近年来，研究人员越来越关注提高深度神经网络的识别能力，然而，这些高精度深度学习模型通常很麻烦，并且难以在资源受限的边缘环境中部署。因此，如何压缩模型引起了很多关注，如模型剪枝、模型量化、知识蒸馏等。在这些方法中，知识蒸馏是一种相对简单的方法。

2、知识蒸馏通过对源网络(称为教师网络)的监督来提高目标网络(称为学生网络)的性能。教师网络通常针对特定任务进行预训练，而学生网络是针对同一任务的较小网络。目前，知识蒸馏是基于响应的，它将教师网络的软输出概率分布和真实类别标签传输到学生网络。然后，这种基线蒸馏的一个主要缺点是：学生网络只能从教师网络最后一层的输出中学习知识，这些方法虽然从深层网络实现了中间层的可行性，但无形中增加了学生网络学习知识的负担。因此，基于中间层特征的蒸馏方法比第一次蒸馏消耗更多的资源。此外，特征关系蒸馏通常比特征图蒸馏付出更高的代价，因为前者通常需要辅助网络来捕获更丰富的特征图知识，或者需要发现不同层中特征之间的关系或输入对。

本文档来自技高网...

【技术保护点】

1.面向边缘环境的深度学习模型压缩方法，其特征是：包括如下步骤：

2.根据权利要求1所述的深度学习模型压缩方法，其特征是：步骤(4)中，由于深层特征和浅层特征会存在空间和通道数的不匹配问题，在空间上采用最邻近上采样方法来对齐空间，在通道数量上采用1×1的卷积核来对齐通道数，具体的计算公式如下：

【技术特征摘要】

1.面向边缘环境的深度学习模型压缩方法，其特征是：包括如下步骤：

2.根据权利要求1所述的深度学习模型压缩方法，其特征是：步骤(4)中，由于深...

【专利技术属性】
技术研发人员：翟仲毅，梁杰，赵岭忠，蓝如师，钱俊彦，程渤，罗笑南，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：