多任务模型的训练方法及装置制造方法及图纸

本说明书实施例提供一种多任务模型的训练方法及装置，在训练方法中，获取训练样本集，该训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签。对于任意的第一训练样本，将其中的输入文本输入文本编码层，得到输入文本的文本向量。从文本向量中确定出多个答案中各答案的语义向量。将各答案的语义向量输入问答相关性分类层，通过输出得到第一预测结果。基于第一预测结果和第一标签，确定第一预测损失。将文本向量输入答案选择层，通过输出得到第二预测结果。基于第二预测结果和第二标签，确定第二预测损失。基于训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整多任务模型的参数。

Training method and device of multitask model

【技术实现步骤摘要】
多任务模型的训练方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及一种多任务模型的训练方法及装置。
技术介绍
在智能客服场景中，为实现用户问题的解答，通常会训练多种任务。这里的多种任务例如可以为问答相关性任务或者答案选择任务等。其中，问答相关性任务是指从用户与客服的多个历史会话对(一个历史会话对包括一个用户问句和一个答案)中，选择出与当前问题相关性最高的答案。答案选择任务是指从输入文本(当前问题+多个历史会话对)中，确定出可回答当前问题的内容所在的位置。这里的可回答当前问题的内容可以为某个历史会话对的答案的部分或者全部内容。对于如上所述的多种任务，传统技术中通常会一一进行单独训练。如，针对每个任务，会基于对应于该任务的训练样本，训练相应的机器学习模型。因此，需要提供一种方案，以提升多任务的训练效率。
技术实现思路
本说明书一个或多个实施例描述了一种多任务模型的训练方法及装置，可以降低模型训练的成本和开销。第一方面，提供了一种多任务模型的训练方法，包括：获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；对于所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果；基于所述第一预测结果和所述第一标签，确定第一预测损失；将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果；基于所述第二预测结果和所述第二标签，确定第二预测损失；基于所述训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整所述多任务模型的参数。第二方面，提供了一种多任务模型的训练装置，包括：获取单元，用于获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；输入单元，用于对于所述获取单元获取的所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；确定单元，用于从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；所述确定单元，还用于将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果；基于所述第一预测结果和所述第一标签，确定第一预测损失；所述确定单元，还用于将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果；基于所述第二预测结果和所述第二标签，确定第二预测损失；调整单元，用于基于所述确定单元确定的所述训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整所述多任务模型的参数。第三方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。本说明书一个或多个实施例提供的多任务模型的训练方法及装置，首先，可以实现问答相关性任务和答案选择任务的联合训练。其次，在多任务联合训练过程中，可以共用训练样本，且可以共享底层网络参数，这既可以节约训练资源，又可以提升训练效率。附图说明为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1本说明书提供的多任务模型的架构示意图之一；图2为本说明书一个实施例提供的多任务模型的训练方法流程图；图3为本说明书提供的多任务模型的架构示意图之二；图4为本说明书一个实施例提供的多任务模型的训练装置示意图。具体实施方式下面结合附图，对本说明书提供的方案进行描述。在描述本说明书提供的方案之前，先对本方案的专利技术构思作以下说明。如前所述，传统技术中，往往进行的是单任务模型的训练，这会极大地浪费训练资源。本申请的申请人考虑到任务与任务之间往往具有相似性，尤其是在同一领域(如，智能客服领域)，任务之间的相似性较高。比如，上述问答相关性任务和答案选择任务，该两者的底层处理均为对原始输入文本进行编码，区别仅在于上层部分的处理不同。比如，问答相关性任务的上层处理包括：先确定问题与多个历史对话对中各答案的相关性得分，之后基于相关性得分从各答案中选择目标答案。而答案选择任务是先确定可回答问题的内容所在的位置，之后基于确定的位置来选择对应的目标内容。鉴于此，本申请的申请人考虑建立多任务模型，该多任务模型用于预测上述两个不同的任务。该两个任务共享底层网络部分，且各自对应不同的上层网络部分。此外，该多任务模型基于同一组训练样本集进行训练。需要说明的是，由于该两个任务可以共用训练样本，且可以共享底层网络参数，从而既可以节约训练资源，又可以提升训练效率。以上就是本说明书提供的专利技术构思，基于给专利技术构思就可以得到本方案，以下对本方案进行详细阐述。图1为本说明书提供的多任务模型的架构图。如图1所示，该多任务模型包括文本编码层、问答相关分类层和答案选择层。这里的文本编码层即为多任务共享的底层网络部分，问答相关分类层为问答相关任务对应的上层网络部分，答案选择层为答案选择任务对应的上层网络部分。具体地，在文本编码层，可以接收输入文本，并输出输入文本的文本向量。这里的输入文本可以由一个问题和多个历史会话对组成。在问答相关分类层，可以接收文本向量所包含的各答案的语义向量，输出问题与各答案的相关性得分。可以理解的是，基于该相关性得分，就可以得到与问题相关性最高的答案。至此，问答相关性任务完成。在答案选择层，可以接收输入文本的文本向量，输出可回答问题的答案在输入文本中的位置。可以理解的是，基于该位置，就可以从输入文本中确定出可回答问题的内容。至此，答案选择任务也完成。下面结合具体的实施例，描述本说明书提供的多任务模型的训练方本文档来自技高网...

【技术保护点】
1.一种多任务模型的训练方法，所述多任务模型包括文本编码层、问答相关性分类层和答案选择层；所述方法包括：/n获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；/n对于所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；/n从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；/n将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果；基于所述第一预测结果和所述第一标签，确定第一预测损失；/n将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果；基于所述第二预测结果和所述第二标签，确定第二预测损失；/n基于所述训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整所述多任务模型的参数。/n...

【技术特征摘要】
1.一种多任务模型的训练方法，所述多任务模型包括文本编码层、问答相关性分类层和答案选择层；所述方法包括：
获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；
对于所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；
从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；
将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果；基于所述第一预测结果和所述第一标签，确定第一预测损失；
将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果；基于所述第二预测结果和所述第二标签，确定第二预测损失；
基于所述训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整所述多任务模型的参数。


2.根据权利要求1所述的方法，所述第一预测结果包括所述问题与所述多个答案中各答案的预测相关性得分；
所述基于所述第一预测结果和所述第一标签，确定第一预测损失，包括：
基于所述第一标签，确定所述问题与所述多个答案中各答案的真实相关性得分；
计算所述真实相关性得分与所述预测相关性得分之间的交叉熵；
将计算得到的交叉熵作为所述第一预测损失。


3.根据权利要求1所述的方法，所述第二标签的个数为两个，其中，一个第二标签指示可回答所述问题的内容在所述输入文本中的真实开始位置，另一个第二标签指示可回答所述问题的内容在所述输入文本中的真实结束位置；所述第二预测结果包括预测开始位置和预测结束位置；
所述基于所述第二预测结果和所述第二标签，确定第二预测损失，包括：
计算所述一个第二标签与所述预测开始位置之间的第一交叉熵，并计算所述另一个第二标签与所述预测结束位置之间的第二交叉熵；
对所述第一交叉熵和所述第二交叉熵求平均，将求平均结果作为所述第二预测损失。


4.根据权利要求1所述的方法，所述将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量，包括：
向所述输入文本中添加用于标识所述多个历史会话对中各答案的多个特殊符号；
将添加所述特殊符号后的所述输入文本输入所述文本编码层，得到所述输入文本的文本向量，所述文本向量至少包含所述多个特殊符号各自的编码向量；
所述从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量，包括：
对于所述多个答案中任意的第一答案，将所述多个特殊符号中用于标识所述第一答案的第一特殊符号的编码向量作为所述第一答案的语义向量。


5.根据权利要求1所述的方法，所述第一预测结果包括所述问题与所述多个答案中各答案的预测相关性得分；所述问答相关性分类层包括多个二分类分类器；
所述将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果，包括：
将所述多个答案中各答案的语义向量输入相应的所述多个二分类分类器，通过所述多个二分类分类器的输出，得到所述问题与所述多个答案中各答案的预测相关性得分。


6.根据权利要求5所述的方法，其中，每个二分类分类器包括一个全连接层和一个softmax层。


7.根据权利要求1所述的方法，所述第二预测结果包括预测开始位置和预测结束位置；所述答案选择层包括两个多分类分类器，所述两个多分类分类器包括第一分类器和第二分类器；
所述将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果，包括：
将所述输入文本的文本向量分别输入所述第一分类器和所述第二分类器，通过所述第一分类器的输出得到所述预测开始位置，通过所述第二分类分类器的输出得到所述预测结束位置。


8.根据权利要求7所述的方法，所述多分类分类器的输出维度基于所述输入文本的长度确定。


9.一种多任务模型的训练装置，所述多任务模型...

【专利技术属性】
技术研发人员：彭爽，陈晓军，崔恒斌，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33