【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及深度学习、自然语言处理和计算机视觉处理等。
技术介绍
1、由于大语言模型(large language model，llm)具有庞大的参数量和计算成本，因而阻碍了大语言模型向众多用户提供服务，为了促使大语言模型达到更小的模型体积、更快的推理速度、更高的精度，业界提出了量化、剪枝、蒸馏等压缩策略。量化训练是一种将大语言模型量化为低比特数值的训练方法，能够减小模型体积和计算复杂度，达到良好的加速效果。但在实际运用中，受限于大模型巨大的训练门槛和全参数量化训练的不稳定性，量化训练使用起来并不便利。
技术实现思路
1、本公开提供了一种模型训练方法、装置、设备及存储介质。
2、根据本公开的第一方面，提供了一种模型训练方法，包括：
3、通过切换低秩适应(low rank adaptation，lora)模型的前向支路，构建蒸馏损失函数，lora模型是基于大语言模型构建得到的模型；
4、基于蒸馏损失函数对lora模型进行量化训练。
<...【技术保护点】
1.一种模型训练方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1或2所述的方法，其中，所述通过切换低秩适应LoRA模型的前向支路，构建蒸馏损失函数，包括：
4.根据权利要求3所述的方法，其中，所述通过切换所述LoRA模型的前向支路，获取教师模型和学生模型的输出，包括：
5.根据权利要求3所述的方法，其中，所述通过切换所述LoRA模型的前向支路，获取教师模型和学生模型的输出，包括：
6.根据权利要求5所述的方法，其中，所述将预训练权重与LoRA参数融合后再量化，并与量化后的输入数据进行前
【技术特征摘要】
1.一种模型训练方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1或2所述的方法，其中，所述通过切换低秩适应lora模型的前向支路，构建蒸馏损失函数，包括：
4.根据权利要求3所述的方法，其中，所述通过切换所述lora模型的前向支路，获取教师模型和学生模型的输出，包括：
5.根据权利要求3所述的方法，其中，所述通过切换所述lora模型的前向支路，获取教师模型和学生模型的输出，包括：
6.根据权利要求5所述的方法，其中，所述将预训练权重与lora参数融合后再量化，并与量化后的输入数据进行前向计算，包括：
7.根据权利要求3所述的方法，其中，基于所述教师模型的输出和所述学生模型的输出，构建所述蒸馏损失函数，包括：
8.根据权利要求1所述的方法，其中，所述基于所述蒸馏损失函数对所述lora模型进行量化训练，包括：
9.一种自然语言处理方法，包括：
10.一种计算机视觉处理方法，包括：
11.一种模型训练...
【专利技术属性】
技术研发人员：周兆京，郑露静，王豪爽，党青青，沙燕霖，于佃海，马艳军，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。