【技术实现步骤摘要】
本申请实施例涉及人工智能领域，特别涉及一种预训练模型的微调方法、装置、设备及存储介质。
技术介绍
1、预训练大模型通常具有强大的表征能力，可以应用与各种自然语言处理任务，如文本标注、序列标注、机器翻译等等。通常情况下，预训练大模型投入到具体的应用场景之前需要进行对模型进行微调。
2、相关技术中，采用prompt(提示)的方式对预训练大模型进行微调，在不同的应用场景中通过prompt优化的方式生成更加优质的prompt，通过人工设计和调整实现prompt的优化，以引导预训练模型生成更准确、更符合用户期望的回答，从而实现对预训练大模型进行定制化，使其适应特定的任务或领域。
3、然而，在依赖于人工设计和调整进行prompt优化时，往往需要大量的专业知识和实验迭代，并且存在主观性和限制性，不同的设计者会有不同的决策和倾向，智能化程度较低。
技术实现思路
1、本申请实施例提供了一种预训练模型的微调方法、装置、设备及存储介质。所述技术方案如下：
2、一方面，本申请实施例提供了一种预训练模型的微调方法，所述方法包括：
3、将样本信息输入生成式模型，得到所述生成式模型输出的第一回复文本，所述样本信息包括目标任务、样本任务数据以及提示文本；
4、通过所述生成式模型对所述第一回复文本进行评价，得到第一回复评分；
5、基于所述第一回复评分以及所述样本信息，通过所述生成式模型对所述提示文本进行优化，得到优化提示文本，其中，所述生成式模
6、基于所述优化提示文本对预训练模型进行微调，微调后的所述预训练模型用于执行所述目标任务。
7、另一方面，本申请实施例提供了一种预训练模型的微调装置，所述装置包括：
8、回复获取模块，用于将样本信息输入生成式模型，得到所述生成式模型输出的第一回复文本，所述样本信息包括目标任务、样本任务数据以及提示文本；
9、评分获取模块，用于通过所述生成式模型对所述第一回复文本进行评价，得到第一回复评分；
10、优化模块，用于基于所述第一回复评分以及所述样本信息，通过所述生成式模型对所述提示文本进行优化，得到优化提示文本，其中，所述生成式模型对所述优化提示文本的第二回复文本对应的第二回复评分高于所述第一回复评分；
11、微调模块，用于基于所述优化提示文本对预训练模型进行微调，微调后的所述预训练模型用于执行所述目标任务。
12、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的预训练模型的微调方法。
13、另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的预训练模型的微调方法。
14、另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的预训练模型的微调方法。
15、本申请实施例提供的技术方案带来的有益效果至少包括：
16、本申请实施例中，根据目标任务、样本任务数据以及提示文本，通过生成式模型输出该提示文本对应的第一回复文本，并通过生成式模型对第一回复文本进行评分以及对样本信息中的提示文本进行优化，得到优化提示文本。随后通过优化提示文本对预训练模型进行微调，由于优化提示文本比样本信息中的提示文本的质量更高，则通过优化提示文本对预训练模型进行微调后，能够使预训练模型更好的学习从输入文本获取有用信息的能力。通过生成式模型对提示文本进行改进，能够实现自动化的对提示文本进行优化，从而避免人为设计并改进提示文本，智能化程度较高，并且基于优化提示文本对预训练模型进行微调，有利于提升预训练模型的输出效果，输出内容更加准确，更加符合用户期望。
本文档来自技高网...【技术保护点】
1.一种预训练模型的微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一回复评分以及所述样本信息，通过所述生成式模型对所述提示文本进行优化，得到优化提示文本，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在存在至少两个所述提示优化维度的情况下，所述通过所述生成式模型，从所述提示优化维度对所述第一回复文本进行评价，得到所述第一回复文本在所述提示优化维度的所述第一回复评分，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述样本信息中还包括所述样本任务数据对应的第三回复文本，所述第三回复文本是所述样本任务数据对应的预期回复文本；
7.根据权利要求1所述的方法，其特征在于，所述基于所述优化提示文本对预训练模型进行微调，包括：
8.根据权利要求1所述的方法，其特征在于，所述得到优化提示文本之后，所述方法还包括：
9.根据权利要
10.根据权利要求8所述的方法，其特征在于，所述从至少两个所述提示模板中确定与所述待转换提示文本相匹配的目标提示模板，包括：
11.根据权利要求10所述的方法，其特征在于，所述将所述待转换提示文本输入训练完成的提示规则判别器，通过所述提示规则判别器，确定所述待转换提示文本对应的所述目标提示模板，包括：
12.一种预训练模型的微调装置，其特征在于，所述装置包括：
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至11任一所述的预训练模型的微调方法。
14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至11任一所述的预训练模型的微调方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令以实现如权利要求1至11任一所述的预训练模型的微调方法。
...【技术特征摘要】
1.一种预训练模型的微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一回复评分以及所述样本信息，通过所述生成式模型对所述提示文本进行优化，得到优化提示文本，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在存在至少两个所述提示优化维度的情况下，所述通过所述生成式模型，从所述提示优化维度对所述第一回复文本进行评价，得到所述第一回复文本在所述提示优化维度的所述第一回复评分，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述样本信息中还包括所述样本任务数据对应的第三回复文本，所述第三回复文本是所述样本任务数据对应的预期回复文本；
7.根据权利要求1所述的方法，其特征在于，所述基于所述优化提示文本对预训练模型进行微调，包括：
8.根据权利要求1所述的方法，其特征在于，所述得到优化提示文本之后，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述基于所述优化提示文本生成提示模板，包括：...
【专利技术属性】
技术研发人员：代勇，杜楠，周聪，程鹏宇，曾趸，陈万顺，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。