【技术实现步骤摘要】
本申请涉及人工智能，尤其是涉及到一种指令微调数据的生成方法、装置及设备。
技术介绍
1、大规模语言模型是深度学习的应用之一，其目标是通过大规模的训练数据和强大的计算能力，生成高质量、富有逻辑型的自然语言。为了实现这个目标，在预训练阶段，模型在大规模的通用文本数据上进行训练，学习语言的基本结构和模式。在微调阶段，模型在更小且特定的数据集上进行进一步的训练。而微调阶段的数据集通常是针对某个特定任务或领域的，例如，医学文本、法律文本以及特定的对话数据等，经过微调阶段的模型可以更好地理解和生成特定领域的语言，从而可以理解和执行特定的语言任务，如问答、文本分类、总结、协作、关键词提取等。
2、相关技术中，微调阶段会利用大规模的指令微调数据在对预训练后的语言模型进行微调，该过程与有监督微调和多任务提示训练密切相关。具体可通过指令生成机制来随机组合构建问答形式的指令微调数据，尽管大量的训练实例已经通过添加指令进行格式化，但它们主要来自公共的自然语言处理数据集，这样的指令微调数据缺乏任务描述的多样性，很难准确对接至不同领域的任务需求，对提升模型效果比较有限。
技术实现思路
1、有鉴于此，本申请提供了一种指令微调数据的生成方法、装置及设备，主要目的在于解决现有技术生成的指令微调数据缺乏任务描述的多样性，很难准确对接至不同领域的任务需求，对提升模型效果比较有限的问题。
2、根据本申请的第一个方面，提供了一种指令微调数据的生成方法，包括：
3、获取结构化文本形式的问答
4、根据所述问答任务样本，构建不同任务类型的初始任务指令；
5、根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例；
6、将所述问答任务样本分别与所述不同任务类型的指令实例进行组合，得到指令微调数据。
7、进一步地，所述获取结构化文本形式的问答任务样本，包括：
8、获取不同领域类型的结构化文本数据；
9、根据所述结构化文本数据在领域类型上包含的字段内容对所述结构化文本数据进行内容提取，得到结构化文本形式的问答任务样本。
10、进一步地，所述根据所述问答任务样本，构建不同任务类型的初始任务指令，包括：
11、根据所述问答任务样本包含的字段内容，在所述问答任务样本中选取任务描述的关键字段；
12、根据所述任务描述的关键字段，构建不同任务类型的初始任务指令。
13、进一步地，所述根据所述任务描述的关键字段，构建不同任务类型的初始任务指令，包括：
14、根据所述任务描述的关键字段设置不同任务类型的问答任务；
15、确定关键字段在不同任务类型上的多种描述方式；
16、根据所述关键字段在不同任务类型上的多种描述方式，构建不同任务类型的初始任务指令。
17、进一步地，在所述根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例之前，所述方法还包括：
18、预先获取不同任务类型中问答任务样本涉及的文本限制特征；
19、根据所述文本限制特征，确定不同任务类型的问答任务样本在各个文本限制特征上的限制信息。
20、进一步地，所述根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例，包括：
21、根据任务类型确定待添加至所述初始任务指令中的目标文本限制特征；
22、获取所述问答任务样本在目标文本限制特征上的限制信息；
23、将所述目标文本限制特征上的限制信息通过指令描述的方式添加至所述初始任务指令中，构建不同任务类型的指令实例。
24、进一步地，在所述将所述问答任务样本分别与所述不同任务类型的指令实例进行组合，得到指令微调数据之后，所述方法还包括：
25、将所述指令微调数据输入至预训练阶段输出的网络模型，利用预先配置的序列损失函数对所述网络模型进行微调，得到微调后的网络模型。
26、根据本申请的第二个方面，提供了一种指令微调数据的生成装置，包括：
27、第一获取单元，用于获取结构化文本形式的问答任务样本；
28、构建单元，用于根据所述问答任务样本，构建不同任务类型的初始任务指令；
29、添加单元，用于根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例；
30、组合单元，用于将所述问答任务样本分别与所述不同任务类型的指令实例进行组合，得到指令微调数据。
31、进一步地，所述第一获取单元，具体用于获取不同领域类型的结构化文本数据；根据所述结构化文本数据在领域类型上包含的字段内容对所述结构化文本数据进行内容提取，得到结构化文本形式的问答任务样本。
32、进一步地，所述构建单元，具体用于根据所述问答任务样本包含的字段内容，在所述问答任务样本中选取任务描述的关键字段；根据所述任务描述的关键字段，构建不同任务类型的初始任务指令。
33、进一步地，所述构建单元，具体还用于根据所述任务描述的关键字段设置不同任务类型的问答任务；确定关键字段在不同任务类型上的多种描述方式；根据所述关键字段在不同任务类型上的多种描述方式，构建不同任务类型的初始任务指令。
34、进一步地，所述装置还包括：
35、第二获取单元，用于在所述根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例之前，预先获取不同任务类型中问答任务样本涉及的文本限制特征；
36、确定单元，用于根据所述文本限制特征，确定不同任务类型的问答任务样本在各个文本限制特征上的限制信息。
37、进一步地，所述添加单元，具体用于根据任务类型确定待添加至所述初始任务指令中的目标文本限制特征；获取所述问答任务样本在目标文本限制特征上的限制信息；将所述目标文本限制特征上的限制信息通过指令描述的方式添加至所述初始任务指令中，构建不同任务类型的指令实例。
38、进一步地，所述装置还包括：
39、微调单元，用于在所述将所述问答任务样本分别与所述不同任务类型的指令实例进行组合，得到指令微调数据之后，将所述指令微调数据输入至预训练阶段输出的网络模型，利用预先配置的序列损失函数对所述网络模型进行微调，得到微调后的网络模型。
40、根据本申请的第三个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
41、根据本申请的第四个方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
42、借由上述技术方案，本申请提本文档来自技高网...
【技术保护点】
1.一种指令微调数据的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取结构化文本形式的问答任务样本，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述问答任务样本，构建不同任务类型的初始任务指令，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述任务描述的关键字段，构建不同任务类型的初始任务指令，包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例，包括：
7.根据权利要求1-4中任一项所述的方法，其特征在于，在所述将所述问答任务样本分别与所述不同任务类型的指令实例进行组合，得到指令微调数据之后，所述方法还包括：
8.一种指令微调数据的生成装置，其特征在于，包括：<...
【技术特征摘要】
1.一种指令微调数据的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取结构化文本形式的问答任务样本，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述问答任务样本，构建不同任务类型的初始任务指令，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述任务描述的关键字段，构建不同任务类型的初始任务指令，包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述根据任务类型在所述初始任务指令中添加与所述任务类型相匹配的指令描述限制，构建不同任务类型的指令实例之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述根据任务类型在所述初始...
【专利技术属性】
技术研发人员：芦筱菲，陈婧，毕琰虹，师庆辉，黄梓轩，王海山，王旭，
申请(专利权)人：同方知网数字出版技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。