【技术实现步骤摘要】
本说明书实施例涉及计算机，特别涉及一种任务处理模型的预训练方法及装置。
技术介绍
1、模型因其强大的学习和推理能力，逐渐被应用于完成自然语言处理领域的各类任务，如文档问答、知识问答。为了使用模型完成文档问答这个下游任务，一般会通过构造文档问答的sft数据来对模型进行微调。但高质量sft数据的构造非常困难，当sft数据达到一定量之后，问答效果会遇到瓶颈，难以再有提升；相应的，问答能力也会停滞难以提升。因此，亟需一种较为有效的任务处理模型的预训练方法以解决上述问题。
技术实现思路
1、有鉴于此，本说明书实施例提供了任务处理模型的预训练方法。本说明书一个或者多个实施例同时涉及任务处理模型的预训练装置，一种问答模型的预训练方法，一种问答模型的预训练装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面，提供了一种任务处理模型的预训练方法，包括：
3、确定至少两个数据类别，以及各数据类别对应的文本集；
4、将各文本集分别划分为训练文本集和评测文本集；
5、基于预设训练策略和各训练文本集确定目标训练文本集，并用所述目标训练文本集对任务处理模型进行预训练；
6、基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，并基于所述评测结果继续对所述任务处理模型进行预训练，直至所述任务处理模型的评测结果满足训练停止条件。
7、根据本说明
8、确定模块，被配置为确定至少两个数据类别，以及各数据类别对应的文本集；
9、划分模块，被配置为将各文本集分别划分为训练文本集和评测文本集；
10、预训练模块，被配置为基于预设训练策略和各训练文本集确定目标训练文本集，并用所述目标训练文本集对任务处理模型进行预训练；
11、评测模块，被配置为基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，并基于所述评测结果继续对所述任务处理模型进行预训练，直至所述任务处理模型的评测结果满足训练停止条件。
12、根据本说明书实施例的第三方面，提供了另一种任务处理模型的预训练方法，包括：
13、响应于客户端提交的训练请求确定至少两个数据类别，以及各数据类别对应的文本集；
14、将各文本集分别划分为训练文本集和评测文本集；
15、基于预设训练策略在各训练文本集中确定目标训练文本集，并用所述目标训练文本集对任务处理模型进行预训练；
16、基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，基于评测结果继续对所述任务处理模型进行预训练，直至所述任务处理模型的评测结果满足训练停止条件；
17、确定满足训练停止条件的任务处理模型的模型参数，并将所述模型参数作为所述训练请求的反馈发送至所述客户端。
18、根据本说明书实施例的第四方面，提供了另一种任务处理模型的预训练装置，包括：
19、确定模块，被配置为响应于客户端提交的训练请求确定至少两个数据类别，以及各数据类别对应的文本集；
20、划分模块，被配置为将各文本集分别划分为训练文本集和评测文本集；
21、预训练模块，被配置为基于预设训练策略在各训练文本集中确定目标训练文本集，并用所述目标训练文本集对任务处理模型进行预训练；
22、评测模块，被配置为基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，基于评测结果继续对所述任务处理模型进行预训练，直至所述任务处理模型的评测结果满足训练停止条件；
23、反馈模块，被配置为确定满足训练停止条件的任务处理模型的模型参数，并将所述模型参数作为所述训练请求的反馈发送至所述客户端。
24、根据本说明书实施例的第五方面，提供了一种问答模型的预训练方法，包括：
25、确定至少两个数据类别，以及各数据类别对应的问答文本集；
26、将各问答文本集分别划分为训练文本集和评测文本集；
27、基于预设训练策略和各训练文本集确定目标训练文本集，并用所述目标训练文本集对问答模型进行预训练；
28、基于各问答文本集分别对应的评测文本集对训练后的问答模型进行评测，获得评测结果，并基于所述评测结果继续对所述问答模型进行预训练，直至所述问答模型的评测结果满足训练停止条件。
29、根据本说明书实施例的第六方面，提供了一种问答模型的预训练装置，包括：
30、确定模块，被配置为确定至少两个数据类别，以及各数据类别对应的问答文本集；
31、划分模块，被配置为将各问答文本集分别划分为训练文本集和评测文本集；
32、预训练模块，被配置为基于预设训练策略和各训练文本集确定目标训练文本集，并用所述目标训练文本集对问答模型进行预训练；
33、评测模块，被配置为基于各问答文本集分别对应的评测文本集对训练后的问答模型进行评测，获得评测结果，并基于所述评测结果继续对所述问答模型进行预训练，直至所述问答模型的评测结果满足训练停止条件。
34、根据本说明书实施例的第七方面，提供了一种计算设备，包括：
35、存储器和处理器；
36、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任务处理模型的预训练方法的步骤。
37、根据本说明书实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述任务处理模型的预训练方法的步骤。
38、根据本说明书实施例的第九方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述任务处理模型的预训练方法的步骤。
39、本说明书一个实施例通过确定至少两个数据类别，以及各数据类别对应的文本集；将各文本集分别划分为训练文本集和评测文本集；基于预设训练策略和各训练文本集确定目标训练文本集，并用目标训练文本集对任务处理模型进行预训练；基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，并基于评测结果继续对任务处理模型进行预训练，直至任务处理模型的评测结果满足训练停止条件。基于预设训练策略，结合训练文本集和评测文本集对任务处理模型进行预训练，增强模型训练的效果，提高任务处理模型的问答能力。
本文档来自技高网...【技术保护点】
1.一种任务处理模型的预训练方法，包括：
2.如权利要求1所述的任务处理模型的预训练方法，所述预设训练策略通过下述步骤确定：
3.如权利要求2所述的任务处理模型的预训练方法，所述各数据类别中，目标数据类别的优先级的确定，包括：
4.如权利要求2所述的任务处理模型的预训练方法，所述根据各数据类别的优先级，各训练文本集包含的数据量，以及各训练文本集对应的数据类别确定预设训练策略，包括：
5.如权利要求1所述的任务处理模型的预训练方法，所述确定至少两个数据类别，以及各数据类别对应的文本集，包括：
6.如权利要求1所述的任务处理模型的预训练方法，所述基于预设训练策略和各训练文本集确定目标训练文本集，包括：
7.如权利要求1所述的任务处理模型的预训练方法，所述基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，包括：
8.如权利要求1所述的任务处理模型的预训练方法，所述基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果之后，还包括：
9.如权利
10.如权利要求1所述的任务处理模型的预训练方法，所述训练停止条件包括至少一个预设预测条件；
11.如权利要求1-5任一项所述的任务处理模型的预训练方法，所述数据类别包括下述至少一项：
12.如权利要求1所述的任务处理模型的预训练方法，所述基于评测结果继续对所述任务处理模型进行预训练，直至所述任务处理模型的评测结果满足训练停止条件之后，还包括：
13.一种任务处理模型的预训练方法，包括：
14.如权利要求13所述的任务处理模型的预训练方法，所述确定满足训练停止条件的任务处理模型的模型参数，并将所述模型参数作为所述训练请求的反馈发送至所述客户端之后，还包括：
15.一种问答模型的预训练方法，包括：
16.一种计算设备，包括：
17.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至15任意一项所述方法的步骤。
...【技术特征摘要】
1.一种任务处理模型的预训练方法，包括：
2.如权利要求1所述的任务处理模型的预训练方法，所述预设训练策略通过下述步骤确定：
3.如权利要求2所述的任务处理模型的预训练方法，所述各数据类别中，目标数据类别的优先级的确定，包括：
4.如权利要求2所述的任务处理模型的预训练方法，所述根据各数据类别的优先级，各训练文本集包含的数据量，以及各训练文本集对应的数据类别确定预设训练策略，包括：
5.如权利要求1所述的任务处理模型的预训练方法，所述确定至少两个数据类别，以及各数据类别对应的文本集，包括：
6.如权利要求1所述的任务处理模型的预训练方法，所述基于预设训练策略和各训练文本集确定目标训练文本集，包括：
7.如权利要求1所述的任务处理模型的预训练方法，所述基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果，包括：
8.如权利要求1所述的任务处理模型的预训练方法，所述基于各文本集分别对应的评测文本集对训练后的任务处理模型进行评测，获得评测结果之后，还包括：
...【专利技术属性】
技术研发人员：吴兵丽，余海洋，李永彬，黄非，
申请(专利权)人：浙江阿里巴巴机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。