一种对话语言模型的训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种对话语言模型的训练方法、装置、设备及存储介质。该方法包括：获取对话语料作为训练样本，从对话语料中提取语义特征编码、片段特征编码和位置特征编码，将语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量，根据嵌入向量，基于非线性角色分类器，输出至少一个文本片段所属的预测角色，根据对话语料中文本片段所属的实际角色，与预测角色计算角色损失关系，根据角色损失关系对对话语言模型进行优化训练。本发明专利技术实施例的技术方案，利用对话语料中提取的角色特征和语义顺序特征等信息，对对话语言模型进行训练，提升了训练对话语言模型的效果。的效果。的效果。

【技术实现步骤摘要】
一种对话语言模型的训练方法、装置、设备及存储介质


[0001]本专利技术实施例涉及自然语言处理
，尤其涉及一种对话语言模型的训练方法、装置、设备及存储介质。

技术介绍

[0002]随着自然语言的相关技术的飞速发展，出现了越来越多的预训练语言模型，其通常需要在大规模的语料中进行训练。
[0003]目前，主流预训练语言模型有ELMO模型(Deep contextualized word representations，深度语境化词表征)、BERT模型(Bidirectional Encoder Representations from Transformers，基于转换器的双向编码表征)和GPT模型(Gererate Pre
‑
Training，生成式预训练)等。其中，ELMO模型通过长短期记忆网络(LSTM,Long short
‑
term memory),可以同时考虑上下文的信息，解决了多义词的学习，GPT模型的核心思想是，通过二段式的训练，以通用语言模型加微调训练的模式完成预训练任务，BERT模型参考了ELMO模型的双向编码思想，借鉴了GPT用Transformer(特征提取模型)作为训练特征提取器的思路，并采用了连续词袋模型(CBOW，Continuous Bag
‑
of
‑
Words)的训练方法。
[0004]然而，现有的预训练语言模型的训练语料，主要是基于大规模规范的互联网文本语料，其一般是书面语，与现实生活中实际发生的对话存在较大差距，预训练语言模型的训练结果并不理想。

技术实现思路

[0005]本专利技术实施例提供了一种对话语言模型的训练方法、装置、设备及存储介质，以解决语言模型的训练结果不理想的问题。
[0006]第一方面，本专利技术实施例提供了一种对话语言模型的训练方法，包括：
[0007]获取对话语料作为训练样本；其中，所述对话语料包括至少两个角色的至少一轮对话，每个角色在一轮会话中的语言文本作为一个文本片段；
[0008]从所述对话语料中提取语义特征编码、片段特征编码和位置特征编码；
[0009]将所述语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量；
[0010]根据所述嵌入向量，基于非线性角色分类器，输出至少一个文本片段所属的预测角色；
[0011]根据所述对话语料中文本片段所属的实际角色，与所述预测角色计算角色损失关系；
[0012]根据所述角色损失关系对所述对话语言模型进行优化训练。
[0013]第二方面，本专利技术实施例提供了一种对话语言模型的训练装置，包括：
[0014]训练样本获取模块，用于获取对话语料作为训练样本；其中，所述对话语料包括至少两个角色的至少一轮对话，每个角色在一轮会话中的语言文本作为一个文本片段；
[0015]编码提取模块，用于从所述对话语料中提取语义特征编码、片段特征编码和位置特征编码；
[0016]嵌入向量确定模块，用于将所述语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量；
[0017]预测角色确定模块，用于根据所述嵌入向量，基于非线性角色分类器，输出至少一个文本片段所属的预测角色；
[0018]计算模块，用于根据所述对话语料中文本片段所属的实际角色，与所述预测角色计算角色损失关系；
[0019]训练模块，用于根据所述角色损失关系对所述对话语言模型进行优化训练。
[0020]第三方面，本专利技术实施例提供了一种电子设备，该电子设备包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序，
[0023]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面的对话语言模型的训练方法。
[0024]第四方面，本专利技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序用于使处理器执行时实现上述第一方面的对话语言模型的训练方法。
[0025]本专利技术实施例提供的对话语言模型的训练方案，获取对话语料作为训练样本，其中，所述对话语料包括至少两个角色的至少一轮对话，每个角色在一轮会话中的语言文本作为一个文本片段，从所述对话语料中提取语义特征编码、片段特征编码和位置特征编码，将所述语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量，根据所述嵌入向量，基于非线性角色分类器，输出至少一个文本片段所属的预测角色，根据所述对话语料中文本片段所属的实际角色，与所述预测角色计算角色损失关系，根据所述角色损失关系对所述对话语言模型进行优化训练。通过采用上述技术方案，将从对话语料构成的训练样本中，提取出的语义特征编码、片段特征编码和位置特征编码，输入至对话语言模型中，并输出嵌入向量，再基于非线性角色分类器和该嵌入向量，得到对话语料中的文本片段所属的预测角色，最后根据文本片段所属的实际角色和预测角色，计算出角色损失关系，根据该关系对对话语言模型进行优化训练，本方法利用从对话语料中提取的角色特征和语义顺序特征等信息，对对话语言模型进行训练，从角色预测的角度优化模型输出结果，保证了训练对话语言模型的效果。
[0026]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1是根据本专利技术实施例一提供的一种对话语言模型的训练方法的流程图；
[0029]图2是根据本专利技术实施例二提供的一种对话语言模型的训练方法的流程图；
[0030]图3是根据本专利技术实施例三提供的一种对话语言模型的训练装置的结构示意图；
[0031]图4是根据本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0032]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0033]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。在本专利技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话语言模型的训练方法，其特征在于，包括：获取对话语料作为训练样本；其中，所述对话语料包括至少两个角色的至少一轮对话，每个角色在一轮会话中的语言文本作为一个文本片段；从所述对话语料中提取语义特征编码、片段特征编码和位置特征编码；将所述语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量；根据所述嵌入向量，基于非线性角色分类器，输出至少一个文本片段所属的预测角色；根据所述对话语料中文本片段所属的实际角色，与所述预测角色计算角色损失关系；根据所述角色损失关系对所述对话语言模型进行优化训练。2.根据权利要求1所述的方法，其特征在于，从所述对话语料中提取语义特征编码之前，还包括：按照设定掩码处理策略，将所述对话语料中的至少一个设定领域词汇进行掩码处理，以更新所述对话语料中的实际字符为掩码字符；相应的，将所述语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量之后，还包括：根据所述嵌入向量，基于非线性字符分类器，输出所述对话语料中各字符所对应的预测字符；根据所述对话语料中各字符所对应的实际字符，与所述预测字符，计算字符损失关系；根据所述字符损失关系对所述对话语言模型进行优化训练。3.根据权利要求2所述的方法，其特征在于，根据所述角色损失关系对所述对话语言模型进行优化训练，以及根据所述字符损失关系对所述对话语言模型进行优化训练包括：根据所述角色损失关系和所述字符损失关系，计算总损失关系；根据所述总损失关系对所述对话语言模型进行优化训练。4.根据权利要求2所述的方法，其特征在于，按照设定掩码处理策略，将所述对话语料中的至少一个设定领域词汇进行掩码处理包括：从所述对话语料识别确定设定领域词汇；按照设定掩码处理策略中的选择比例，从所述对话语料中选择符合所述选择比例的词汇，作为待替换词汇，其中，所述设定领域词汇被选为待替换词汇的几率大于非设定领域词汇被选为待替换词汇的几率；若所述待替换词汇中包含所述设定领域词汇，则将所述待替换词汇中的设定领域词汇的一个或多个字符，以符号或文本进行掩码处理，形成掩码字符。5.根据权利要求1所述的方法，其特征在于，将所述语义特征编码、片段特征编码和位置特征编码，输入对话语言模型输出嵌入向量包括：将所述语义特征编码、片段特征编码和位置特征编码，拼接为输入向量；将所述输入向量输入对话语言模型，输出嵌入向量；其中，所述嵌入向量与所述输入向量的字符位置相互对应。6.根据权利要求1
‑
5任一所述的方法，其特征在于：所述语义特征编码用于表征各字符的语义特征，每个字符的语义特征编码记为
将各字符的语义特征编码添加入字符嵌入表，记为E
t
∈R
V
×
d
；其中，e表示一个位置的特征编码，i表示所述对话语料的片段序号，j代表第i个片段中的字符序号，上标t表示语义特征编码，d代表所述对话语料，R表示向量，V表示词表大小；所述片段特征编码用于表征各文本片段的片段顺序特征，每个文本片段的片段特征编码记为将各片段特征编码添加入片段嵌入表，记为E
s
∈R
S
×
d
；其中，S表示所述对话语料的总文本片段数量；上标s表示片段特征编码；所述位置特征编码用于表征各字符的位置特征，每个字符的位置...

【专利技术属性】
技术研发人员：胡岩，郭林海，张琛，万化，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：