语言模型的训练方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种语言模型的训练方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理技术领域。具体实现方案为：获取第一模板文本，第一模板文本为自然语言构成的文本；获取第一训练样本组，并基于第一训练样本组生成第二模板文本，第二模板文本为非自然语言构成的文本；基于第一模板文本、第二模板文本和第一训练样本组，生成第二训练样本组；基于第二训练样本组对预训练语言模型进行训练，得到训练后的目标语言模型。由此，可综合考虑第一模板文本、第二模板文本和第一训练样本组生成预训练语言模型的第二训练样本组，适用于第一训练样本组不足的应用场景，有助于提升预训练语言模型的训练性能。能。能。

【技术实现步骤摘要】
语言模型的训练方法、装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种语言模型的训练方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]目前，随着人工智能技术的不断发展，语言模型在文本分类等领域得到了广泛应用，具有自动化程度高、人工成本低等优点。比如，可将文本输入语言模型中，由语言模型输出文本的类别。然而，语言模型的训练存在训练性能差的问题。

技术实现思路

[0003]本公开提供了一种语言模型的训练方法、装置、电子设备、存储介质和计算机程序产品。
[0004]根据本公开的一方面，提供了一种语言模型的训练方法，包括：获取第一模板文本，其中，所述第一模板文本为自然语言构成的文本；获取第一训练样本组，并基于所述第一训练样本组生成第二模板文本，其中，所述第二模板文本为非自然语言构成的文本；基于所述第一模板文本、所述第二模板文本和所述第一训练样本组，生成第二训练样本组；基于所述第二训练样本组对预训练语言模型进行训练，得到训练后的目标语言模型。
[0005]根据本公开的另一方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语言模型的训练方法，包括：获取第一模板文本，其中，所述第一模板文本为自然语言构成的文本；获取第一训练样本组，并基于所述第一训练样本组生成第二模板文本，其中，所述第二模板文本为非自然语言构成的文本；基于所述第一模板文本、所述第二模板文本和所述第一训练样本组，生成第二训练样本组；基于所述第二训练样本组对预训练语言模型进行训练，得到训练后的目标语言模型。2.根据权利要求1所述的方法，其中，所述第一模板文本和/或所述第二模板文本包括掩码标签，所述第一训练样本组中的第一训练样本包括第一样本文本和所述第一样本文本的标注信息；所述基于所述第一模板文本、所述第二模板文本和所述第一训练样本组，生成第二训练样本组，包括：将所述第一模板文本、所述第二模板文本和所述第一样本文本进行拼接，生成第二样本文本；基于所述标注信息生成所述掩码标签的第一参考文本；针对任一第二样本文本，将所述任一第二样本文本中的每个掩码标签与各自对应的第一参考文本进行关联，生成所述第二训练样本组中的任一第二训练样本。3.根据权利要求2所述的方法，其中，所述基于所述第二训练样本组对预训练语言模型进行训练，得到训练后的目标语言模型，包括：将所述第二训练样本组中的每个第二样本文本输入所述预训练语言模型中，由所述预训练语言模型输出每个所述第二样本文本中的每个掩码标签的第一预测文本；基于每个所述掩码标签的第一参考文本和第一预测文本，对所述预训练语言模型进行训练，得到所述目标语言模型。4.根据权利要求1或2所述的方法，其中，所述基于所述第二训练样本组对预训练语言模型进行训练，得到训练后的目标语言模型，包括：基于模板文本对所述第二训练样本组进行划分，得到多个子第二训练样本组，任意两个所述子第二训练样本组对应的所述模板文本不同，其中，所述模板文本包括所述第一模板文本和/或所述第二模板文本；基于每个子第二训练样本组对所述预训练语言模型进行训练，得到多个第一候选语言模型；从多个所述第一候选语言模型中筛选出所述目标语言模型。5.根据权利要求4所述的方法，其中，所述从多个所述第一候选语言模型中筛选出所述目标语言模型，包括：基于验证样本组获取每个所述第一候选语言模型对应的用于表征模型预测效果的预测参数；基于所述预测参数，从多个所述第一候选语言模型中筛选出所述目标语言模型。6.根据权利要求5所述的方法，其中，所述基于所述预测参数，从多个所述第一候选语言模型中筛选出所述目标语言模型，包括：基于所述预测参数，从多个所述第一候选语言模型中筛选出第二候选语言模型；
获取未标注的第三样本文本组，将所述第三样本文本组中的每个第三样本文本输入所述第二候选语言模型中，以生成候选训练样本组；基于所述候选训练样本组对所述第一训练样本组进行样本增强，并返回执行所述获取第一模板文本及其后续步骤，直至满足模型训练结束条件，将最后一次训练得到的第二候选语言模型作为所述目标语言模型。7.根据权利要求6所述的方法，其中，所述将所述第三样本文本组中的每个第三样本文本输入所述第二候选语言模型中，以生成候选训练样本组，包括：由所述第二候选语言模型输出每个所述第三样本文本的第二预测信息；将任一第三样本文本和所述任一第三样本文本的第二预测信息进行关联，生成所述候选训练样本组中的任一候选训练样本。8.根据权利要求6所述的方法，其中，所述基于所述候选训练样本组对所述第一训练样本组进行样本增强，包括：从所述候选训练样本组中筛选出目标训练样本，将所述目标训练样本添加到所述第一训练样本组中进行样本增强。9.根据权利要求8所述的方法，其中，所述从所述候选训练样本组中筛选出目标训练样本，包括：获取所述候选训练样本的预测信息的置信度，并将所述置信度大于第一设定阈值的候选训练样本作为所述目标训练样本；和/或，在本次训练非第一次训练的情况下，获取上一次训练筛选出的目标训练样本的历史预测信息，获取本次训练得到的候选训练样本的预测信息和所述历史预测信息之间的相似度，并将所述相似度大于第二设定阈值的候选训练样本作为本次训练得到的目标训练样本。10.根据权利要求1
‑
3中任一项所述的方法，其中，所述获取第一模板文本，包括：获取所述预训练语言模型的预测需求信息；根据所述预测需求信息，从第一模板文本库中获取所述第一模板文本。11.根据权利要求1
‑
3中任一项所述的方法，其中，所述第一训练样本组中的第一训练样本包括第一样本文本，所述基于所述第一训练样本组生成第二模板文本，包括：获取候选第二模板文本，其中，所述候选第二模板文本包括掩码标签，以及获取所述掩码标签的第二参考文本；将所述候选第二模板文本和所述第一样本文本进行拼接，生成第四样本文本；基于所述预训练语言模型获取所述第四样本文本中掩码标签的第二预测文本；基于所述掩码标签的第二参考文本和第二预测文本，对所述候选第二模板文本进行更新，重复上述过程直至满足设定结束条件，并将最后一次更新得到的候选第二模板文本作为所述第二模板文本。12.根据权利要求11所述的方法，其中，所述方法还包括：在将所述候选第二模板文本和所述第一样本文本进行拼接时，同时拼接所述第一模板文本得到所述第四样本文本。13.根据权利要求11所述的方法，其中，所述基于所述掩码标签的第二参考文本和第二预测文本，对所述候选第二模板文本进行更新，包括：
基于所述第二参考文本和所述第二预测文本之间的偏差，获取所述候选第二模板文本的更新参数；基于所述更新参数，对所述候选第二模板文本进行更新。14.一种语言模型的训练装置，包括：获取模块，用于获取第一模板文本，其中，所述第一模板文本为自然语言构成的文本；第一生成模块，用于...

【专利技术属性】
技术研发人员：王雅晴，窦德景，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：