【技术实现步骤摘要】
本专利技术涉及大语言模型，特别是涉及一种模型的微调方法、一种模型的微调装置、一种电子设备和一种计算机可读存储介质。
技术介绍
1、目前，在对针对特定任务的大语言模型进行微调时，在提升特定任务效果的同时，容易导致大语言模型通用能力下降，或在非微调任务上的能力下降，或导致模型遗忘知识而在特定任务上效果不佳。
技术实现思路
1、鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种模型的微调方法、一种模型的微调装置、一种电子设备和一种计算机可读存储介质。
2、本专利技术实施例公开了一种模型的微调方法，所述方法包括：
3、基于预设的通用指令微调数据集和任务数据集对预设的原始模型进行训练，得到第一微调模型；
4、基于所述原始模型和所述第一微调模型对所述通用指令微调数据集进行过滤，得到过滤后的通用指令微调数据集；
5、基于所述过滤后的通用指令微调数据集和所述任务数据集对所述原始模型进行训练，得到第二微调模型。
6、在一个或多个实施例中，所述基于所述原始模型和所述第一微调模型对所述通用指令微调数据集进行过滤，得到过滤后的通用指令微调数据集，包括：
7、针对所述通用指令微调数据集中的任一目标通用指令微调数据，确定所述目标通用指令微调数据在所述原始模型上与在所述第一微调模型上的梯度向量的差值；
8、确定所述原始模型对应的第一输入输出集合，以及，所述第一微调模型对应的第二输入输出集
9、将所述第一输入输出集合划分为预设数量的第一子集合，以及，将所述第二输入输出集合划分为所述预测数量的第二子集合；
10、确定所述目标通用指令微调数据相对于第一目标子集合的第一梯度向量相似度，以及，所述目标通用指令微调数据相对于第二目标子集合的第二梯度向量相似度；
11、基于所述梯度向量的差值、所述第一梯度向量相似度和所述第二梯度向量相似度确定是否保留所述目标通用指令微调数据；
12、若是，则将所述目标通用指令微调数据保留，否则，将所述目标通用指令微调数据删除。
13、在一个或多个实施例中，所述确定所述目标通用指令微调数据在所述原始模型上与在所述第一微调模型上的梯度向量的差值，包括：
14、计算所述目标通用指令微调数据在所述原始模型上的第一梯度向量，以及，在所述第一微调模型上的第二梯度向量；
15、计算所述第一梯度向量的l2模与所述第二梯度向量的l2模的差值。
16、在一个或多个实施例中，所述基于所述梯度向量的差值、所述第一梯度向量相似度和所述第二梯度向量相似度确定是否保留所述目标通用指令微调数据，包括：
17、计算所述第一梯度向量相似度和所述第二梯度向量相似度的梯度向量相似度差值；
18、检测所述梯度向量的差值与所述梯度向量相似度差值的和是否大于预设阈值；
19、若是，则保留所述目标通用指令微调数据。
20、在一个或多个实施例中，所述确定所述原始模型对应的第一输入输出集合，以及，所述第一微调模型对应的第二输入输出集合，包括：
21、采用所述原始模型对预设的样本输入序列进行预测，得到第一输出序列，并将所述样本输入序列和所述第一输出序列整合为第一输入输出集合；
22、采用所述第一微调模型对所述样本输入序列进行预测，得到第二输出序列，并将所述样本输入序列和所述第二输出序列整合为第二输入输出集合。
23、相应的，本专利技术实施例公开了一种模型的微调装置，所述装置包括：
24、训练模块，用于基于预设的通用指令微调数据集和任务数据集对预设的原始模型进行训练，得到第一微调模型；
25、过滤模块，用于基于所述原始模型和所述第一微调模型对所述通用指令微调数据集进行过滤，得到过滤后的通用指令微调数据集；
26、所述训练模块，还用于基于所述过滤后的通用指令微调数据集和所述任务数据集对所述原始模型进行训练，得到第二微调模型。
27、在一个或多个实施例中，所述过滤模块，包括：
28、第一处理子模块，用于针对所述通用指令微调数据集中的任一目标通用指令微调数据，确定所述目标通用指令微调数据在所述原始模型上与在所述第一微调模型上的梯度向量的差值；
29、第二处理子模块，用于确定所述原始模型对应的第一输入输出集合，以及，所述第一微调模型对应的第二输入输出集合；
30、划分子模块，用于将所述第一输入输出集合划分为预设数量的第一子集合，以及，将所述第二输入输出集合划分为所述预测数量的第二子集合；
31、第三处理子模块，用于确定所述目标通用指令微调数据相对于第一目标子集合的第一梯度向量相似度，以及，所述目标通用指令微调数据相对于第二目标子集合的第二梯度向量相似度；
32、检测子模块，用于基于所述梯度向量的差值、所述第一梯度向量相似度和所述第二梯度向量相似度确定是否保留所述目标通用指令微调数据；
33、第四处理子模块，用于将所述目标通用指令微调数据保留，或，将所述目标通用指令微调数据删除。
34、在一个或多个实施例中，所述第一处理子模块，具体用于：
35、计算所述目标通用指令微调数据在所述原始模型上的第一梯度向量，以及，在所述第一微调模型上的第二梯度向量；
36、计算所述第一梯度向量的l2模与所述第二梯度向量的l2模的差值。
37、在一个或多个实施例中，所述检测子模块，具体用于：
38、计算所述第一梯度向量相似度和所述第二梯度向量相似度的梯度向量相似度差值；
39、检测所述梯度向量的差值与所述梯度向量相似度差值的和是否大于预设阈值；
40、若是，则保留所述目标通用指令微调数据。
41、在一个或多个实施例中，所述第二处理子模块，具体用于：
42、采用所述原始模型对预设的样本输入序列进行预测，得到第一输出序列，并将所述样本输入序列和所述第一输出序列整合为第一输入输出集合；
43、采用所述第一微调模型对所述样本输入序列进行预测，得到第二输出序列，并将所述样本输入序列和所述第二输出序列整合为第二输入输出集合。
44、相应的，本专利技术实施例公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述模型的微调方法实施例的各个步骤。
45、相应的，本专利技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述模型的微调方法实施例的各个步骤。
46、本专利技术实施例包括以下优点：
47、基于预设的通用指令微调数据集和任务数据集对预设的原始模型进行训练，得到第一微调模型，然后，基于所述原始模型和所述第一微调模型对本文档来自技高网...
【技术保护点】
1.一种模型的微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的模型的微调方法，其特征在于，所述基于所述原始模型和所述第一微调模型对所述通用指令微调数据集进行过滤，得到过滤后的通用指令微调数据集，包括：
3.根据权利要求2所述的模型的微调方法，其特征在于，所述确定所述目标通用指令微调数据在所述原始模型上与在所述第一微调模型上的梯度向量的差值，包括：
4.根据权利要求2所述的模型的微调方法，其特征在于，所述基于所述梯度向量的差值、所述第一梯度向量相似度和所述第二梯度向量相似度确定是否保留所述目标通用指令微调数据，包括：
5.根据权利要求2所述的模型的微调方法，其特征在于，所述确定所述原始模型对应的第一输入输出集合，以及，所述第一微调模型对应的第二输入输出集合，包括：
6.一种模型的微调装置，其特征在于，所述装置包括：
7.根据权利要求6所述的模型的微调装置，其特征在于，所述过滤模块，包括：
8.根据权利要求7所述的模型的微调装置，其特征在于，所述第一处理子模块，具体用于：
9
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1～5中任一项所述模型的微调方法的步骤。
...【技术特征摘要】
1.一种模型的微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的模型的微调方法，其特征在于，所述基于所述原始模型和所述第一微调模型对所述通用指令微调数据集进行过滤，得到过滤后的通用指令微调数据集，包括：
3.根据权利要求2所述的模型的微调方法，其特征在于，所述确定所述目标通用指令微调数据在所述原始模型上与在所述第一微调模型上的梯度向量的差值，包括：
4.根据权利要求2所述的模型的微调方法，其特征在于，所述基于所述梯度向量的差值、所述第一梯度向量相似度和所述第二梯度向量相似度确定是否保留所述目标通用指令微调数据，包括：
5.根据权利要求2所述的模型的微调方法，其特征在于，所述确定所述原始模型对应的第一输入输出集合，以...
【专利技术属性】
技术研发人员：关玉洋，邢启洲，李健，陈明，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。