温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本说明书实施例公开了一种用于文本类模型的精调阶段蒸馏方法,包括:获取训练集样本以及经过预训练的教师模型,所述教师模型包括多个隐藏层;在所述教师模型的多个隐藏层中选择至少两个指定层进行聚合,得到聚合后隐藏层;根据所述聚合后隐藏层和教师模型中的...该专利属于支付宝(杭州)信息技术有限公司所有,仅供学习研究参考,未经过支付宝(杭州)信息技术有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本说明书实施例公开了一种用于文本类模型的精调阶段蒸馏方法,包括:获取训练集样本以及经过预训练的教师模型,所述教师模型包括多个隐藏层;在所述教师模型的多个隐藏层中选择至少两个指定层进行聚合,得到聚合后隐藏层;根据所述聚合后隐藏层和教师模型中的...