模型蒸馏方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，揭示了一种模型蒸馏方法、装置、设备及存储介质，其中方法包括：获取预训练模型、学生模型、多个带标注的训练样本、多个未标注的训练样本，预训练模型是基于Bert网络训练得到的模型；采用未标注的训练样本和学生模型对预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型；采用未标注的训练样本和第一次蒸馏后的学生模型对预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型；采用带标注的训练样本对第二次蒸馏后的学生模型进行分层蒸馏学习，得到训练好的学生模型。从而通过三次蒸馏提升了蒸馏后得到的模型的准确率，减少了对训练样本标注的需求，降低了蒸馏的成本。

【技术实现步骤摘要】
模型蒸馏方法、装置、设备及存储介质
本申请涉及到人工智能
，特别是涉及到一种模型蒸馏方法、装置、设备及存储介质。
技术介绍
目前预训练模型具有较强的编码能力以及泛化能力，而且在使用预训练模型时，处理下游任务能极大的减少标注数据的使用量，因此在各个领域都发挥着巨大的作用。因为预训练模型通常参数量较大，导致无法在线使用。现有技术通过把一个参数量大的预训练模型蒸馏到一个参数量小的模型，以用于实现参数量的减少以及推理速度的提升。但是，目前的蒸馏方法蒸馏后的小模型和原始模型存在准确率上的差距，很多甚至达到10个点左右的差距。同时，目前很多蒸馏方案都需要大量的标注数据，这极大的提升了蒸馏的成本。
技术实现思路
本申请的主要目的为提供一种模型蒸馏方法、装置、设备及存储介质，旨在解决现有技术的蒸馏方法蒸馏后的小模型和原始模型存在准确率上的差距，很多蒸馏方案都需要大量的标注数据，这极大的提升了蒸馏的成本的技术问题。为了实现上述专利技术目的，本申请提出一种模型蒸馏方法，所述方法包括：获取预训练模型、学生模型、多个带本文档来自技高网...

【技术保护点】
1.一种模型蒸馏方法，其特征在于，所述方法包括：/n获取预训练模型、学生模型、多个带标注的训练样本、多个未标注的训练样本，所述预训练模型是基于Bert网络训练得到的模型；/n采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型；/n采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型；/n采用所述带标注的训练样本对所述第二次蒸馏后的学生模型进行分层蒸馏学习，得到训练好的学生模型。/n

【技术特征摘要】
1.一种模型蒸馏方法，其特征在于，所述方法包括：
获取预训练模型、学生模型、多个带标注的训练样本、多个未标注的训练样本，所述预训练模型是基于Bert网络训练得到的模型；
采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型；
采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型；
采用所述带标注的训练样本对所述第二次蒸馏后的学生模型进行分层蒸馏学习，得到训练好的学生模型。


2.根据权利要求1所述的模型蒸馏方法，其特征在于，所述采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型的步骤，包括：
将所述未标注的训练样本输入所述预训练模型进行评分预测，获取所述预训练模型的评分预测层输出的第一预测评分；
将所述未标注的训练样本输入所述学生模型的进行评分预测，得到第二预测评分；
将所述第一预测评分、所述第二预测评分输入第一损失函数进行计算，得到第一损失值，根据所述第一损失值更新所述学生模型的所有参数，将更新参数后的所述学生模型用于下一次计算所述第二预测评分；
重复执行上述方法步骤直至所述第一损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述第一损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述学生模型，确定为所述第一次蒸馏后的学生模型。


3.根据权利要求2所述的模型蒸馏方法，其特征在于，所述将所述第一预测评分、所述第二预测评分输入第一损失函数进行计算，得到第一损失值的步骤，包括：
将所述第一预测评分、所述第二预测评分输入KL散度损失函数进行计算，得到所述第一损失值。


4.根据权利要求1所述的模型蒸馏方法，其特征在于，所述采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型的步骤，包括：
将所述未标注的训练样本输入所述预训练模型进行概率预测，获取所述预训练模型的概率预测层输出的第一预测概率；
将所述未标注的训练样本输入所述第一次蒸馏后的学生模型进行概率预测，得到第二预测概率；
将所述第一预测概率、所述第二预测概率输入第二损失函数进行计算，得到第二损失值，根据所述第二损失值按第一预设参数分层更新规则更新所述第一次蒸馏后的学生模型的参数，将更新参数后的所述第一次蒸馏后的学生模型用于下一次计算所述第二预测概率；
重复执行上述方法步骤直至所述第二损失值达到第三收敛条件或迭代次数达到第四收敛条件，将所述第二损失值达到第三收敛条件或迭代次数达到第四收敛条件的所述第一次蒸馏后的学生模型，确定为所述第二次蒸馏后的学生模型。


5.根据权利要求4所述的模型蒸馏方法，其特征在于，所述将所述第一预测概率、所述第二预测概率输入第二损失函数进行计算，得到第二损失值，根据所述第二损失值按第一预设参数分层更新规则更新所述第一次蒸馏后的学生模型的参数的步骤，包括：
将所述第一预测概率、所述第二预测概率输入MSE损失函数进行计算，得到所述第二损失值；
当所述第二损失值中的Dense层参数未达到第一Dense层收敛条件时，根据所述第二损失值中的Dense层参...

【专利技术属性】
技术研发人员：王健宗，宋青原，吴天博，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44