模型蒸馏方法、设备、存储介质及装置制造方法及图纸

本发明专利技术涉及网络模型技术领域，公开了一种模型蒸馏方法、设备、存储介质及装置，该方法包括：对第一深度学习模型和第二深度学习模型进行训练，获得第一深度学习模型输出的第一分类结果和第二深度学习模型输出的第二分类结果，第一深度学习模型的精度高于第二深度学习模型，根据第一分类结果和第二分类结果确定第一深度学习模型与第二深度学习模型之间的交叉熵损失函数，根据交叉熵损失函数调整第二深度学习模型，以提高第二深度学习模型的精度；由于本发明专利技术通过第一深度学习模型与第二深度学习模型之间的交叉熵损失函数来调整第二深度学习模型，从而确保了模型蒸馏效果，进而提高了第二深度学习模型的精度。了第二深度学习模型的精度。了第二深度学习模型的精度。

【技术实现步骤摘要】
模型蒸馏方法、设备、存储介质及装置


[0001]本专利技术涉及网络模型
，尤其涉及一种模型蒸馏方法、设备、存储介质及装置。

技术介绍

[0002]目前，基于深度学习的人脸识别技术已经广泛的应用于我们的日常生活环境，极大的改变了我们的生活方式，但是，人脸识别模型因其需要的算力高，普通的硬件设备无法满足其运行环境的要求，因此，人脸识别主要以服务的方式运行于云端服务器上。近年来随着端上芯片的算力越来越高以及人脸对隐私保护意识的增强，端上的人脸识别需求越来越强。
[0003]现有技术中通常通过模型蒸馏的方式来简化人脸识别模型，从而实现了在移动终端上的部署人脸识别模型。但是，现有的模型蒸馏方式由于训练数据标注不准确，从而导致了模型蒸馏效果差，学生模型的精度低。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种模型蒸馏方法、设备、存储介质及装置，旨在解决现有技术中模型蒸馏方式由于训练数据标注不准确，从而导致了模型蒸馏效果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型蒸馏方法，其特征在于，所述模型蒸馏方法包括以下步骤：对第一深度学习模型和第二深度学习模型进行训练，获得所述第一深度学习模型输出的第一分类结果和所述第二深度学习模型输出的第二分类结果，所述第一深度学习模型的精度高于所述第二深度学习模型；根据所述第一分类结果和所述第二分类结果确定所述第一深度学习模型与所述第二深度学习模型之间的交叉熵损失函数；根据所述交叉熵损失函数调整所述第二深度学习模型，以提高所述第二深度学习模型的精度。2.如权利要求1所述的模型蒸馏方法，其特征在于，所述根据所述交叉熵损失函数调整所述第二深度学习模型，以提高所述第二深度学习模型的精度的步骤，包括：获取所述第一深度学习模型在训练过程中输出的第一特征向量，并获取所述第二深度学习模型在训练过程中输出的第二特征向量；根据所述第一特征向量和所述第二特征向量确定特征损失函数；根据所述特征损失函数和所述交叉熵损失函数确定总损失函数；根据所述总损失函数调整所述第二深度学习模型，以提高所述第二深度学习模型的精度。3.如权利要求2所述的模型蒸馏方法，其特征在于，所述根据所述特征损失函数和所述交叉熵损失函数确定总损失函数的步骤，包括：获取训练数据的标签，所述训练数据用于训练所述第二深度学习模型；根据所述标签和所述第二分类结果确定弧面损失函数；根据所述特征损失函数、所述交叉熵损失函数以及所述弧面损失函数确定总损失函数。4.如权利要求3所述的模型蒸馏方法，其特征在于，所述根据所述特征损失函数、所述交叉熵损失函数以及所述弧面损失函数确定总损失函数的步骤，包括：获取所述第一深度学习模型与所述第二深度学习模型之间的关联关系；根据所述关联关系、所述特征损失函数、所述交叉熵损失函数以及所述弧面损失函数确定总损失函数。5.如权利要求4所述的模型蒸馏方法，其特征在于，所述根据所述关联关系、所述特征损失函数、所述交叉熵损失函数以及所述弧面损失函数确定总损失函数的步骤，包括：根据所述关联关系确定所述特征损失函数对应的第一常数...

【专利技术属性】
技术研发人员：李艳杰，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：