一种基于向量标准化和知识蒸馏的图像分类方法技术

本发明专利技术公开了一种基于向量标准化和知识蒸馏的图像分类方法，包括以下步骤：(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；(2)构建一个比教师模型小的学生模型，所述学生模型也采用深度卷积神经网络；(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；(4)将待分类的图像输入训练好的学生模型，进行分类预测。利用本发明专利技术，能够在不引入额外参数及计算开销的情况下，提升学生网络的性能，提高图像分类精度。

【技术实现步骤摘要】
一种基于向量标准化和知识蒸馏的图像分类方法
本专利技术属于图像分类
，尤其是涉及一种基于向量标准化和知识蒸馏的图像分类方法。
技术介绍
随着人工智能时代的到来，深度学习技术已被广泛应用于多种图像分类领域：如人脸识别，自动驾驶，故障检测等。模型压缩是当前深度学习模型部署最为热门的问题之一。它要求模型在参数变少的情况下，仍保持一定的精度。目前，最热门的方法包括参数量化，模型剪枝，知识蒸馏等。其中，知识蒸馏的方法效果较好，得到了广泛的重视。在知识蒸馏中，一个较大的模型(教师)将知识传递到一个较小的模型(学生)上。在一些数据集上，知识蒸馏能够大大提升学生网络的性能。而无人驾驶汽车在部署视觉应用时，对模型响应延时，以及计算资源具有较高的要求。视觉模型主要由深度卷积网络组成。图像矩阵从网络的输入端输入后，在输出端输出目标分属各个类别的概率值。其中，最大的概率值所对应的类别，被视为模型的预测类别。而在那些错误的类别上，模型仍会赋予不同大小的概率。这些概率被认为编码了类别间相似度的信息。如，一只猫除了在猫的类别上赋予最大的概率值之本文档来自技高网...

【技术保护点】
1.一种基于向量标准化和知识蒸馏的图像分类方法，其特征在于，包括以下步骤：/n(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；/n(2)构建一个比教师模型小的学生模型，所述学生模型采用深度卷积神经网络；/n(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；/n(4)学生模型训练完毕，将待分类的图像输入训练好的学生模型，进行分类预测。/n

【技术特征摘要】
1.一种基于向量标准化和知识蒸馏的图像分类方法，其特征在于，包括以下步骤：
(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；
(2)构建一个比教师模型小的学生模型，所述学生模型采用深度卷积神经网络；
(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；
(4)学生模型训练完毕，将待分类的图像输入训练好的学生模型，进行分类预测。


2.根据权利要求1所述的基于向量标准化和知识蒸馏的图像分类方法，其特征在于，步骤(1)的具体过程为：
(1-1)选择训练数据，对训练数据标准化以及做数据增强，随后送到深度卷积神经网络的输入层；
(1-2)将输入层得到的图像信号，送入多层卷积网络中；
(1-3)在网络的最高层，得到对类别信息的概率编码值；
(1-4)使用交叉熵损失函数对深度卷积神经网络进行训练；
(1-5)重复上述步骤，直到深度卷积神经网络收敛，得到训练好的教师模型。


3.根据权利要求2所述的基于向量标准化和知识蒸馏的图像分类方法，其特征在于，步骤(1-4)中，所述的交叉熵损失函数为：

【专利技术属性】
技术研发人员：郭嘉，蔡登，何晓飞，陈铭浩，胡尧，朱琛，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33