【技术实现步骤摘要】
本说明书一个或多个实施例涉及人工智能，尤其涉及一种模型微调方法及装置、电子设备及存储介质。
技术介绍
1、近年来，人工智能技术得到了飞速发展，多个领域因此掀起了技术革新，这给人们的工作和生活带来了极大的方便。举例来说，大语言模型因其上下文感知能力、任务通用性、语言生成能力等优点，而能够完成各种自然语言处理任务，例如文本生成、机器翻译、问答系统等。大语言模型的智能化程度取决于其参数规模和训练程度，即参数规模越大，训练程度越高，大语言模型的智能化程度越高，反之则智能化程度越低。
2、相关技术中，往往选择已经完成预训练的模型进行微调，以使其能够适应于目标任务。但是相关技术中，对模型的微调效果较为一般，尤其是微调后的模型泛化能力较差。
技术实现思路
1、有鉴于此，本说明书一个或多个实施例提供一种特征提取方法及装置、电子设备及存储介质。
2、为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
3、根据本说明书一个或多个实施例的第一方面，提出了一种模型微调方法，所述方法包括：
4、将多个训练样本输入至待微调模型，得到所述待微调模型输出的每个训练样本的预测结果，其中，所述多个训练样本属于一个以上任务；
5、根据每个训练样本的预测结果和对应的训练样本的标签，确定每个训练样本的损失值；
6、对于每个任务，根据所述任务的每个训练样本的损失值和所述多个训练样本中属于所述任务的所有训练样本的数据量，确定所述任务的损失值；>
7、根据每个任务的损失值确定总损失值，并根据所述总损失值对待微调模型的参数进行微调。
8、本说明书的一个实施例中，所述训练样本的数据量包括所述训练样本的元素数量；和/或，
9、所述任务的损失值与所述任务的每个训练样本的损失值的和呈正比，且与所述多个训练样本中属于所述任务的所有训练样本的数据量成反比。
10、本说明书的一个实施例中，所述待微调模型输出的每个训练样本的预测结果包括：每个训练样本的每个元素的预测结果；
11、所述根据每个训练样本的预测结果和对应的训练样本的标签，确定每个训练样本的损失值，包括：
12、对于每个训练样本，根据所述训练样本的每个元素的预测结果和对应的元素的标签，确定所述训练样本的每个元素的损失值，并根据所述训练样本的每个元素的损失值和每个元素的元素权重，确定所述训练样本的损失值，其中，所述元素的元素权重与所述元素的损失值相关。
13、本说明书的一个实施例中，所述元素的元素权重与所述元素的损失差值呈反比，其中，所述损失差值为所述元素的损失值，与所述训练样本的所有元素的损失值的标志值之间的差值，所述标志值为所有元素的损失值的均值或中值。
14、本说明书的一个实施例中，所述根据每个任务的损失值确定总损失值，包括：
15、根据每个任务的损失值和每个任务的任务权重，确定总损失，其中，所述任务的任务权重与所述任务在上一次微调后的验证损失相关。
16、本说明书的一个实施例中，所述方法还包括：
17、将每个任务的验证数据输入至待微调模型，得到所述待微调模型输出的每个任务的验证数据的预测结果；
18、根据每个任务的验证数据的预测结果，以及对应的验证数据的标签，确定每个任务的验证损失。
19、本说明书的一个实施例中，所述方法还包括：
20、根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致。
21、本说明书的一个实施例中，所述根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致，包括：
22、对于任两个任务，将所述验证损失的梯度较小的任务的损失权重调大，将所述验证损失的梯度较大的损失权重调小。
23、根据本说明书一个或多个实施例的第二方面，提出了一种模型微调方法，所述方法包括：
24、将多个训练样本输入至待微调模型，得到所述待微调模型输出的每个训练样本的每个元素的预测结果，其中，所述多个训练样本属于一个以上任务；
25、对于每个训练样本，根据所述训练样本的每个元素的预测结果和对应的元素的标签，确定所述训练样本的每个元素的损失值，并根据所述训练样本的每个元素的损失值和每个元素的元素权重，确定所述训练样本的损失值，其中，所述元素的元素权重与所述元素的损失值相关；
26、对于每个任务，根据所述任务的每个训练样本的损失值确定所述任务的损失值；
27、根据每个任务的损失值确定总损失值，并根据所述总损失值对待微调模型的参数进行微调。
28、本说明书的一个实施例中，所述元素的元素权重与所述元素的损失差值呈反比，其中，所述损失差值为所述元素的损失值，与所述训练样本的所有元素的损失值的标志值之间的差值，所述标志值为所有元素的损失值的均值或中值。
29、本说明书的一个实施例中，所述根据每个任务的损失值确定总损失值，包括：
30、根据每个任务的损失值和每个任务的任务权重，确定总损失，其中，所述任务的任务权重与所述任务在上一次微调后的验证损失相关。
31、本说明书的一个实施例中，所述方法还包括：
32、将每个任务的验证数据输入至待微调模型，得到所述待微调模型输出的每个任务的验证数据的预测结果；
33、根据每个任务的验证数据的预测结果，以及对应的验证数据的标签，确定每个任务的验证损失。
34、本说明书的一个实施例中，所述方法还包括：
35、根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致。
36、本说明书的一个实施例中，所述根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致，包括：
37、对于任两个任务，将所述验证损失的梯度较小的任务的损失权重调大，将所述验证损失的梯度较大的损失权重调小。
38、根据本说明书一个或多个实施例的第三方面，提出了一种模型微调方法，所述方法包括：
39、将多个训练样本输入至待微调模型，得到所述待微调模型输出的每个训练样本的预测结果，其中，所述多个训练样本属于一个以上任务；
40、根据每个训练样本的预测结果和对应的训练样本的标签，确定每个训练样本的损失值；
41、对于每个任务，根据所述任务的每个训练样本的损失值确定所述任务的损失值；
42、根据每个任务的损失值和每个任务的任务权重，确定总损失，并根据所述总损失值对待微调模型的参数进行微调。
43、本说明书的一个实施例中，所述方法还包括：
44、将每个任务的验证数据输入至待微调模型，得到所述待微调模型输出的每个任务的验证数据的预本文档来自技高网...
【技术保护点】
1.一种模型微调方法，所述方法包括：
2.根据权利要求1所述的模型微调方法，所述训练样本的数据量包括所述训练样本的元素数量；和/或，
3.根据权利要求1所述的模型微调方法，所述待微调模型输出的每个训练样本的预测结果包括：每个训练样本的每个元素的预测结果；
4.根据权利要求3所述的模型微调方法，所述元素的元素权重与所述元素的损失差值呈反比，其中，所述损失差值为所述元素的损失值，与所述训练样本的所有元素的损失值的标志值之间的差值，所述标志值为所有元素的损失值的均值或中值。
5.根据权利要求1至4中任一项所述的模型微调方法，所述根据每个任务的损失值确定总损失值，包括：
6.根据权利要求5所述的模型微调方法，所述方法还包括：
7.根据权利要求6所述的模型微调方法，所述方法还包括：
8.根据权利要求7所述的模型微调方法，所述根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致，包括：
9.一种模型微调方法，所述方法包括：
10.根据
11.根据权利要求9或10所述的模型微调方法，所述根据每个任务的损失值确定总损失值，包括：
12.根据权利要求11所述的模型微调方法，所述方法还包括：
13.根据权利要求12所述的模型微调方法，所述方法还包括：
14.根据权利要求13所述的模型微调方法，所述根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致，包括：
15.一种模型微调方法，所述方法包括：
16.根据权利要求15所述的模型微调方法，所述方法还包括：
17.根据权利要求16所述的模型微调方法，所述方法还包括：
18.根据权利要求17所述的模型微调方法，所述根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致，包括：
19.一种模型微调装置，所述装置包括：
20.一种模型微调装置，所述装置包括：
21.一种模型微调装置，所述装置包括：
22.一种电子设备，包括：
23.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-18中任一项所述方法的步骤。
...【技术特征摘要】
1.一种模型微调方法，所述方法包括：
2.根据权利要求1所述的模型微调方法，所述训练样本的数据量包括所述训练样本的元素数量；和/或，
3.根据权利要求1所述的模型微调方法，所述待微调模型输出的每个训练样本的预测结果包括：每个训练样本的每个元素的预测结果；
4.根据权利要求3所述的模型微调方法，所述元素的元素权重与所述元素的损失差值呈反比，其中，所述损失差值为所述元素的损失值，与所述训练样本的所有元素的损失值的标志值之间的差值，所述标志值为所有元素的损失值的均值或中值。
5.根据权利要求1至4中任一项所述的模型微调方法，所述根据每个任务的损失值确定总损失值，包括：
6.根据权利要求5所述的模型微调方法，所述方法还包括：
7.根据权利要求6所述的模型微调方法，所述方法还包括：
8.根据权利要求7所述的模型微调方法，所述根据每个任务的验证损失的梯度，对应调整每个任务的损失权重，以控制所述待微调模型在每个任务上的收敛速度一致，包括：
9.一种模型微调方法，所述方法包括：
10.根据权利要求9所述的模型微调方法，所述元素的元素权重与所述元素的损失差值呈反比，其中，所述损失差值为所述元素的损失值，与所述训练样本的所有元素的损失值的标志值之间的差值，...
【专利技术属性】
技术研发人员：龚梓，余航，李建国，廖聪，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。