【技术实现步骤摘要】
本申请涉及人工智能，特别是涉及一种语言模型的训练方法、任务处理方法、装置及系统。
技术介绍
1、随着技术的发展，语言模型的应用场景得到广泛和快速的扩展。为了满足用户在通用领域或者特定专业领域对语言模型的要求，往往需要对语言模型进行知识增强，但传统知识增强的语言模型训练方式得到的语言模型效果仍有待提高。
技术实现思路
1、有鉴于此，本申请提供了一种语言模型的训练方法、任务处理方法、装置及系统，以便于提高语言模型训练的效率，提高用户获取文本任务对应输出结果的效率。
2、本申请提供了如下方案：
3、第一方面，提供了一种语言模型的训练方法，所述语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，所述方法包括：
4、获取包括多个文本样本的训练数据集；
5、利用所述训练数据集训练所述语言模型，其中，将部分文本单元被掩码的文本样本作为输入样本输入嵌入网络，所述嵌入网络获取所述输入样本中各文本单元的第一特征表示；实体选择网络利用所述各文本单元的第一特征表示，从所述输入样本包含的实体中选择至少一个目标实体；知识选择网络获取所述目标实体对应的多个候选知识，从所述候选知识中选择知识作为所述目标实体对应的目标知识；将所述目标实体对应的目标知识的第一特征表示与所述输入样本中各文本单元的第一特征表示进行融合，将得到的融合结果输入特征提取网络；特征提取网络基于所述融合结果得到所述输入样本中各文本单元的第二特征表示；
6、所述训练的目标包括：
7、根据本申请实施例中一可实现的方式，所述实体选择网络利用所述各文本单元的第一特征表示，从所述输入样本包含的实体中选择至少一个目标实体包括：
8、所述实体选择网络确定所述输入样本中的实体，利用各实体的第一特征表示，得到所述输入样本中各实体是否属于目标实体的表示，所述各实体的第一特征表示由实体所包含文本单元的第一特征表示得到；
9、依据各实体是否属于目标实体的表示，确定所述至少一个目标实体。
10、根据本申请实施例中一可实现的方式，所述知识选择网络获取所述目标实体对应的多个候选知识包括：
11、所述知识选择网络将所述目标实体在知识库中进行匹配，得到所述目标实体对应的多个候选知识，所述知识包括三元组。
12、根据本申请实施例中一可实现的方式，从所述候选知识中选择知识作为所述目标实体对应的目标知识包括：
13、所述知识选择网络获取目标实体对应的多个候选知识的第一特征表示；
14、利用所述多个候选知识的第一特征表示，得到各候选知识是否属于目标知识的表示；
15、依据各候选知识是否属于目标知识的表示，确定所述目标实体对应的目标知识。
16、根据本申请实施例中一可实现的方式，将所述目标实体对应的目标知识的第一特征表示与所述输入样本中各文本单元的第一特征表示进行融合包括：
17、利用所述目标实体对应的目标知识的第一特征表示，更新输入样本中所述目标实体的第一特征表示。
18、根据本申请实施例中一可实现的方式，所述方法还包括：
19、将所述各实体的第一特征表示作为状态state，将选择目标实体作为动作action，将针对被掩码的实体的预测准确度作为奖励reward，对所述实体选择网络进行强化学习。
20、根据本申请实施例中一可实现的方式，所述方法还包括：
21、将所述候选知识的第一特征表示作为状态state，将选择目标知识作为动作action，将被掩码文本单元被正确预测的数量作为奖励reward，对所述实体选择网络进行强化学习。
22、根据本申请实施例中一可实现的方式，所述方法还包括：
23、在每一轮迭代中，利用总损失函数的取值更新所述实体选择网络、知识选择网络和特征提取网络的参数；
24、其中所述总损失函数是依据所述训练的目标和所述奖励reward确定的。
25、第二方面，提供了一种任务处理方法，所述方法包括：
26、获取输入文本，将所述输入文本输入语言模型；
27、利用所述语言模型获取所述输入文本中各文本单元的第二特征表示；
28、利用第二预测网络基于所述各文本单元的第二特征表示，预测得到针对所述输入文本的输出结果；
29、其中，语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，将输入文本输入嵌入网络，所述嵌入网络获取输入文本中各文本单元的第一特征表示；实体选择网络利用所述各文本单元的第一特征表示，从输入文本包含的实体中选择至少一个目标实体；知识选择网络获取所述目标实体对应的多个候选知识，从所述候选知识中选择知识作为所述目标实体对应的目标知识；将所述目标实体对应的目标知识的第一特征表示与输入样本中各文本单元的第一特征表示进行融合，将得到的融合结果输入特征提取网络；特征提取网络基于所述融合结果得到输入样本中各文本单元的第二特征表示。
30、第三方面，提供了一种任务处理方法，应用于云端服务器，所述方法包括：
31、接收来自用户设备的任务指令，从所述任务指令获取输入文本；
32、将所述输入文本输入语言模型；
33、利用所述语言模型获取所述输入文本中各文本单元的第二特征表示；
34、利用第二预测网络基于所述各文本单元的第二特征表示，预测得到针对所述输入文本的输出结果；
35、利用所述输出结果得到针对所述任务指令的响应，将所述响应返回给所述用户设备；
36、其中，语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，将所述输入文本输入嵌入网络，所述嵌入网络获取输入文本中各文本单元的第一特征表示；实体选择网络利用所述各文本单元的第一特征表示，从输入文本包含的实体中选择至少一个目标实体；知识选择网络获取所述目标实体对应的多个候选知识，从所述候选知识中选择知识作为所述目标实体对应的目标知识；将所述目标实体对应的目标知识的第一特征表示与输入样本中各文本单元的第一特征表示进行融合，将得到的融合结果输入特征提取网络；特征提取网络基于所述融合结果得到输入样本中各文本单元的第二特征表示。
37、第四方面，提供了一种语言模型的训练装置，所述语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，所述装置包括：
38、样本获取单元，被配置为获取包括多个文本样本的训练数据集；
39、模型训练单元，被配置为利用所述训练数据集训练所述语言模型，其中，将部分文本单元被掩码的文本样本作为输入样本输入嵌入网络，所述嵌入网络获取所述输入样本中各文本单元的第一特征表示；实体选择网络利用所述各文本单元的第一特征表示，从所述输入样本包含的实体中选本文档来自技高网...
【技术保护点】
1.一种语言模型的训练方法，其特征在于，所述语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述实体选择网络利用所述各文本单元的第一特征表示，从所述输入样本包含的实体中选择至少一个目标实体包括：
3.根据权利要求1所述的方法，其特征在于，所述知识选择网络获取所述目标实体对应的多个候选知识包括：
4.根据权利要求1所述的方法，其特征在于，从所述候选知识中选择知识作为所述目标实体对应的目标知识包括：
5.根据权利要求1所述的方法，其特征在于，将所述目标实体对应的目标知识的第一特征表示与所述输入样本中各文本单元的第一特征表示进行融合包括：
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
8.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
9.一种任务处理方法，其特征在于，所述方法包括：
10.一种任务处理方法，应用于云端
11.一种语言模型的训练装置，其特征在于，所述语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，所述装置包括：
12.一种任务处理装置，其特征在于，所述装置包括；
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
14.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种语言模型的训练方法，其特征在于，所述语言模型包括嵌入网络、实体选择网络、知识选择网络和特征提取网络，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述实体选择网络利用所述各文本单元的第一特征表示，从所述输入样本包含的实体中选择至少一个目标实体包括：
3.根据权利要求1所述的方法，其特征在于，所述知识选择网络获取所述目标实体对应的多个候选知识包括：
4.根据权利要求1所述的方法，其特征在于，从所述候选知识中选择知识作为所述目标实体对应的目标知识包括：
5.根据权利要求1所述的方法，其特征在于，将所述目标实体对应的目标知识的第一特征表示与所述输入样本中各文本单元的第一特征表示进行融合包括：
6.根据权利要求2所述的方法，其特征在于...
【专利技术属性】
技术研发人员：张涛林，李东阳，汪诚愚，黄龙涛，薛晖，黄俊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。