一种模型训练方法、装置、设备以及可读存储介质制造方法及图纸

本申请提供了一种模型训练方法、装置、设备以及可读存储介质，包括：将LoRA模型和第一目标基模型进行第二处理得到第二目标基模型；将数据训练集中的语音数据输入到第二目标基模型中进行处理，得到N个第一概率集合和N个第二概率集合；基于N个第二概率集合与语音数据的标签，计算N个第一损失值，N个第一损失值分别用于表征LoRA模型输出的N个第二概率集合中；计算N个第一概率集合和N个第二概率集合中，每个第一概率值与每个第二概率值的KL散度值，得到N*M个散度值，M为单个第一概率集合中文字的类别数目；基于N个第一损失值和M*N个散度值，计算M*N个调整参数；根据M*N个调整参数调整LoRA模型的网络参数和/或网络结构。

【技术实现步骤摘要】

本申请涉及模型训练的，尤其涉及一种模型训练方法、装置、设备以及计算机可读存储介质。

技术介绍

1、一般在模型训练的过程中，会将样本数据作为模型的输出，模型经过处理后输出样本数据对应的概率值，将模型输出的概率值与训练标签进行对比计算，得到训练标签与概率值的损失函数，从而根据该损失函数不断调整模型的网络参数和/或网络结构，从而达到训练网络模型的目的。

技术实现思路

1、本申请实施例提供一种模型训练方法、装置、设备以及可读存储介质，解决了模型训练过程中灾难性遗忘的问题。

2、第一方面，本申请实施例提供一种模型训练方法，包括：将lora模型和第一目标基模型进行第二处理得到第二目标基模型，在第二目标基模型中包括第一目标基模型和lora模型；将数据训练集中的语音数据输入到第二目标基模型中进行处理，得到n个第一概率集合和n个第二概率集合，第一概率集合为第一目标基模型输出的概率集合，第二概率集合为lora模型输出的概率集合；基于n个第二概率集合与语音数据的标签，计算n个第一损失值，n个第一损失值分别用于表征lor本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述将LoRA模型和基模型进行第二处理得到第二目标基模型之前，还包括：

3.如权利要求1所述的方法，其特征在于，包括：

4.如权利要求3所述的方法，其特征在于，所述计算所述N个第一概率集合和所述N个第二概率集合中，每个第一概率值与每个第二概率值的KL散度值，得到N*M个散度值，具体包括：

5.如权利要求3所述的方法，其特征在于，所述计算所述N个第一概率集合和所述N个第二概率集合中，每个第一概率值与每个第二概率值的KL散度值，得到N*M个散度值，具体包括：...

【技术特征摘要】

1.一种模型训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述将lora模型和基模型进行第二处理得到第二目标基模型之前，还包括：

3.如权利要求1所述的方法，其特征在于，包括：

4.如权利要求3所述的方法，其特征在于，所述计算所述n个第一概率集合和所述n个第二概率集合中，每个第一概率值与每个第二概率值的kl散度值，得到n*m个散度值，具体包括：

5.如权利要求3所述的方法，其特征在于，所述计算所述n个第一概率集合和所述n个第二概率集合中，每个第一概率值与每个第二概率值的kl散度值，得到n*m个散...

【专利技术属性】
技术研发人员：谢飞，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：