语言模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种语言模型的训练方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取对话数据；使用预设掩码方式对所述对话数据进行第一掩码处理，使用第一掩码处理后的对话数据对语言模型进行阶段训练，获得阶段训练完成的语言模型；将所述对话数据输入至阶段训练完成的语言模型中，获得所述对话数据中各个词元对应的自注意力权重矩阵；根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象；基于所述目标掩码对象对所述对话数据进行第二掩码处理，使用第二掩码处理后的对话数据对所述阶段训练完成的语言模型进行阶段训练，以获得训练完成的语言模型。以获得训练完成的语言模型。

【技术实现步骤摘要】
语言模型的训练方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种语言模型的训练方法、语言模型的训练装置、电子设备及存储介质。

技术介绍

[0002]在对基于BERT模型的语言模型进行预训练时，通常通过对输入数据进行token(词元)、短语、片段或者句子级别的掩码处理，然后在输出端进行破坏掩码的重建，使得语言模型可以预测出掩码部分。
[0003]相关技术中，使用随机掩码方式、基于特定先验分布的掩码方式或基于点互信息的掩码方式对语言模型的输入数据进行掩码，这些掩码方式比较简单，或者依赖数据统计的先验信息，导致训练得到的语言模型的准确性较差。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开实施例提供一种语言模型的训练装置、语言模型的训练装置、电子设备及存储介质，该方法可以有针对性地对语言模型进行训练，使得语言模型可以更加准确地预测对话数据中的重要信息，从而提高训练获得的语言模型的准确性。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]本公开实施例提供一种语言模型的训练方法，包括：获取对话数据；使用预设掩码方式对所述对话数据进行第一掩码处理，使用第一掩码处理后的对话数据对语言模型进行阶段训练，获得阶段训练完成的语言模型；将所述对话数据输入至阶段训练完成的语言模型中，获得所述对话数据中各个词元对应的自注意力权重矩阵；根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象；基于所述目标掩码对象对所述对话数据进行第二掩码处理，使用第二掩码处理后的对话数据对所述阶段训练完成的语言模型进行阶段训练，以获得训练完成的语言模型。
[0008]在本公开一些示例性实施例中，根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象，包括：根据所述自注意力权重矩阵确定概率转移矩阵；根据所述概率转移矩阵和第一随机向量确定各个词元对应的重要性；将重要性较高的预设数量个词元作为所述对话数据中的目标掩码对象。
[0009]在本公开一些示例性实施例中，所述对话数据包括多个语句，每个语句包括多个词元；其中，根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象，包括：根据所述自注意力权重矩阵确定概率转移矩阵；根据所述概率转移矩阵和第一随机向量确定各个词元对应的重要性；将每个语句中的各个词元对应的重要性进行聚合处理，获得每个语句对应的重要性；将重要性较高的预设数量个语句作为所述对话数据中的目标掩码对象。
[0010]在本公开一些示例性实施例中，所述对话数据包括多个语句；其中，根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象，包括：根据所述自注意力权重矩阵确定语句注意力权重矩阵，所述语句注意力权重矩阵包括每个语句相对于每个其他语句的注意力权重；根据所述语句注意力权重矩阵和第二随机向量确定各个语句对应的重要性；将重要性较高的预设数量个语句作为所述对话数据中的目标掩码对象。
[0011]在本公开一些示例性实施例中，在使用第二掩码处理后的对话数据对所述阶段训练完成的语言模型进行阶段训练之后，所述方法还包括：从所述预设掩码方式和自引导掩码方式随机选择目标掩码方式，所述自引导掩码方式为根据自注意力权重矩阵确定目标掩码对象的掩码方式；使用所述目标掩码方式对所述对话数据进行第三掩码处理，使用第三掩码处理后的对话数据对所述阶段训练完成的语言模型再次进行阶段训练，以获得训练完成的语言模型。
[0012]在本公开一些示例性实施例中，获取对话数据，包括：获取原始对话数据，所述原始对话数据包括多个消息对，每个消息对包括问题语句和回复语句；对所述原始对话数据进行分词处理，将分词处理结果转换为预设词典中的标识值，将所述标识值组成的序列作为所述对话数据。
[0013]在本公开一些示例性实施例中，使用预设掩码方式对所述对话数据进行第一掩码处理，使用第一掩码处理后的对话数据对语言模型进行阶段训练，获得阶段训练完成的语言模型，包括：使用预设掩码方式对所述对话数据中的目标字符进行第一掩码处理；将第一掩码处理后的对话数据输入至所述语言模型中，获得预测字符；根据所述目标字符和所述预测字符对所述语言模型的模型参数进行调整，获得阶段训练完成的语言模型。
[0014]本公开实施例提供一种语言模型的训练装置，包括：获取模块，用于获取对话数据；训练模块，用于使用预设掩码方式对所述对话数据进行第一掩码处理，使用第一掩码处理后的对话数据对语言模型进行阶段训练，获得阶段训练完成的语言模型；获得模块，用于将所述对话数据输入至阶段训练完成的语言模型中，获得所述对话数据中各个词元对应的自注意力权重矩阵；确定模块，用于根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象；所述训练模块还用于基于所述目标掩码对象对所述对话数据进行第二掩码处理，使用第二掩码处理后的对话数据对所述阶段训练完成的语言模型进行阶段训练，以获得训练完成的语言模型。
[0015]本公开实施例提供一种电子设备，包括：至少一个处理器；存储装置，用于存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如上述任一种语言模型的训练方法。
[0016]本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一种语言模型的训练方法。
[0017]本公开实施例提供的语言模型的训练方法，使用预设掩码方式对对话数据进行第一掩码处理，使用第一掩码处理后的对话数据对语言模型进行阶段训练，获得阶段训练完成的语言模型；将对话数据输入至阶段训练完成的语言模型中，获得对话数据中各个词元对应的自注意力权重矩阵；根据自注意力权重矩阵确定对话数据中的目标掩码对象；基于目标掩码对象对对话数据进行第二掩码处理，使用第二掩码处理后的对话数据对阶段训练完成的语言模型进行阶段训练，以获得训练完成的语言模型；该方法可以根据阶段训练完
成的语言模型得到表示词元重要性的自注意力权重矩阵，根据词元的重要性确定目标掩码对象，并基于目标掩码对象对对话数据进行掩码处理，将掩盖了重要的目标掩码对象的对话数据作为语言模型的训练数据，可以有针对性地对语言模型进行训练，使得语言模型可以更加准确地预测对话数据中的重要信息，从而提高训练获得的语言模型的准确性。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1示出了可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语言模型的训练方法，其特征在于，包括：获取对话数据；使用预设掩码方式对所述对话数据进行第一掩码处理，使用第一掩码处理后的对话数据对语言模型进行阶段训练，获得阶段训练完成的语言模型；将所述对话数据输入至阶段训练完成的语言模型中，获得所述对话数据中各个词元对应的自注意力权重矩阵；根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象；基于所述目标掩码对象对所述对话数据进行第二掩码处理，使用第二掩码处理后的对话数据对所述阶段训练完成的语言模型进行阶段训练，以获得训练完成的语言模型。2.根据权利要求1所述的方法，其特征在于，根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象，包括：根据所述自注意力权重矩阵确定概率转移矩阵；根据所述概率转移矩阵和第一随机向量确定各个词元对应的重要性；将重要性较高的预设数量个词元作为所述对话数据中的目标掩码对象。3.根据权利要求1所述的方法，其特征在于，所述对话数据包括多个语句，每个语句包括多个词元；其中，根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象，包括：根据所述自注意力权重矩阵确定概率转移矩阵；根据所述概率转移矩阵和第一随机向量确定各个词元对应的重要性；将每个语句中的各个词元对应的重要性进行聚合处理，获得每个语句对应的重要性；将重要性较高的预设数量个语句作为所述对话数据中的目标掩码对象。4.根据权利要求1所述的方法，其特征在于，所述对话数据包括多个语句；其中，根据所述自注意力权重矩阵确定所述对话数据中的目标掩码对象，包括：根据所述自注意力权重矩阵确定语句注意力权重矩阵，所述语句注意力权重矩阵包括每个语句相对于每个其他语句的注意力权重；根据所述语句注意力权重矩阵和第二随机向量确定各个语句对应的重要性；将重要性较高的预设数量个语句作为所述对话数据中的目标掩码对象。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在使用第二掩码处理后的对话数据对所述阶段训练完成的语言模型进行阶段训练之后，所述方法还包括：从所述预设掩码方式和自引导掩码方式随机选择目标掩码方式，所述自引导掩码方式为根据自注意力权重矩阵确定目标掩...

【专利技术属性】
技术研发人员：赵宇明，宋阳，陈蒙，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：