语言模型的预训练方法、结果推荐方法及相关装置制造方法及图纸

本申请公开了一种语言模型的预训练方法、结果推荐方法及相关装置，该方法能够以MLM任务和义原预测任务为第一阶段的训练任务对语言模型进行预训练，使得语言模型学习到训练文本中词语的义原。在完成第一阶段的预训练后，该方法能够以对比学习为第二阶段的训练任务，采用基于目标领域的知识图谱确定的第二训练文本对语言模型进行预训练，从而将目标领域的知识图谱融入该语言模型的预训练过程，使语言模型能够学习到目标领域的知识图谱中的知识。由于本申请提供的方法能够在语言模型的预训练过程中引入不同的训练任务，因此可以确保语言模型的预训练效果较好。言模型的预训练效果较好。言模型的预训练效果较好。

【技术实现步骤摘要】
语言模型的预训练方法、结果推荐方法及相关装置


[0001]本申请涉及自然语言处理(Natural Language Processing，NLP)领域，特别涉及一种语言模型的预训练方法、结果推荐方法及相关装置。

技术介绍

[0002]在自然语言处理过程中，可以采用大量无标注的语言文本对初始模型进行预训练(Pre
‑
training)从而得到与具体任务无关的语言模型。之后，可以基于具体任务(例如阅读理解或实体识别等)对该语言模型进行微调(Fine
‑
tuning)，以得到用于执行具体任务的目标语言模型。
[0003]相关技术中所采用的初始模型一般为基于变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers，BERT)模型。在对该BERT模型进行预训练时，可以将训练文本中的文字转换为嵌入向量。之后，可以以掩码语言模型(masked language model，MLM)任务为预训练任务，对BERT模型进行预训练。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语言模型的预训练方法，其特征在于，所述方法包括：对第一训练文本进行掩码处理，掩码处理后的所述第一训练文本中的部分词语被替换为掩码，所述词语包括一个或多个文字；获取掩码处理后的所述第一训练文本中的文字对应的嵌入向量，所述嵌入向量包括：字向量、义原向量、段向量和位置向量，其中，所述义原向量是文字的义原的向量表示；以掩码语言模型任务和义原预测任务为第一阶段的训练任务，基于所述嵌入向量预训练语言模型，其中，所述义原预测任务用于预测所述第一训练文本中被替换为掩码的词语的义原，所述词语的义原为所述词语包括的各个文字的义原的交集；以对比学习为第二阶段的训练任务，采用第二训练文本预训练所述语言模型，所述第二训练文本包括：原始文本，基于目标领域的知识图谱替换所述原始文本中的第一词语得到的正样本文本，以及基于所述目标领域的知识图谱替换所述原始文本中的第二词语得到的负样本文本。2.根据权利要求1所述的方法，其特征在于，所述以掩码语言模型任务和义原预测任务为训练任务，基于所述嵌入向量预训练语言模型，包括：将所述嵌入向量输入至所述语言模型，得到所述语言模型输出的预测词语和所述预测词语的预测义原；根据所述预测词语和所述第一训练文本中被替换为掩码的词语，确定第一损失值；根据所述预测词语的预测义原和所述第一训练文本中被替换为掩码的词语的义原，确定第二损失值；根据所述第一损失值和所述第二损失值预训练所述语言模型。3.根据权利要求2所述的方法，其特征在于，在获取掩码处理后的所述第一训练文本中的文字对应的嵌入向量之前，所述方法还包括：获取参考词语库中每个参考词语的义原；基于所述参考词语库中每个参考词语包括的文字，以及每个参考词语的义原，得到所述参考词语库中每个文字的义原，其中，每个文字的义原基于包含所述文字的各个参考词语的义原的并集确定；基于所述参考词语库中各个文字的义原生成文字义原矩阵，所述文字义原矩阵包括所述参考词语库中每个文字的义原向量；基于所述文字义原矩阵，获取掩码处理后的所述第一训练文本中的文字的义原向量。4.根据权利要求1至3任一所述的方法，其特征在于，在以对比学习为第二阶段的训练任务，采用第二训练文本预训练所述语言模型之前，所述方法还包括：获取所述原始文本；基于所述目标领域的知识图谱，对所述原始文本中的第一词语进行同义替换，得到所述正样本文本；基于所述目标领域的知识图谱，对所述原始文本中的第二词语进行非同义替换，得到所述负样本文本。5.根据权利要求4所述的方法，其特征在于，所述非同义替换包括：上义替换，下义替换和关系替换中的至少一种。6.根据权利要求1至3任一所述的方法，其特征在于，所述以对比学习为第二阶段的训

【专利技术属性】
技术研发人员：谢作通，陈军华，邹嘉欣，侯嘉伟，颜强，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：