一种基于知识图谱的语言模型训练方法及装置制造方法及图纸

本说明书实施例提供了一种基于知识图谱的语言模型训练方法及装置。在训练过程中，将知识图谱中的子图输入图神经网络，通过图神经网络对子图中的节点进行聚合，得到子图在结构方面的表征，即子图表征。同时，本体信息和子图的图谱事实数据生成句子，作为文本语料，将文本语料输入预训练后的语言模型，通过语言模型确定子图在包含的深层文本方面的文本表征。在得到子图的子图表征和文本表征之后，基于二者之间的差异进行对比学习，从而更新语言模型。从而更新语言模型。从而更新语言模型。

【技术实现步骤摘要】
一种基于知识图谱的语言模型训练方法及装置


[0001]本说明书一个或多个实施例涉及计算机
，尤其涉及一种基于知识图谱的语言模型训练方法及装置。

技术介绍

[0002]语言模型是基于深度学习技术和大规模语料库训练的自然语言处理模型。通过学习大量的语言样本，语言模型可以学习到语言的结构和规律，并能够提取到文本的表征，进而承担与文本预测相关的任务等。当采用包含隐私数据的语料作为训练时，还要对训练语料进行隐私保护。语言模型目前广泛应用于机器翻译、文本生成、情感分析、语音识别等领域，是自然语言处理中的重要技术之一。目前，存在提高利用语言模型进行文本预测时的准确性的需求。
[0003]因此，希望能有改进的方案，可以提高利用语言模型进行文本预测时的准确性。

技术实现思路

[0004]本说明书一个或多个实施例描述了一种基于知识图谱的语言模型训练方法及装置，以提高利用语言模型进行文本预测时的准确性。具体的技术方案如下。
[0005]第一方面，实施例提供了一种基于知识图谱的语言模型训练方法，所述方法包括：
[0006]将所述知识图谱中的子图输入图神经网络，确定所述子图的子图表征；
[0007]基于所述子图生成若干句子，作为文本语料；
[0008]将所述文本语料输入预训练后的语言模型，确定所述子图对应的文本表征；
[0009]基于所述子图的子图表征和文本表征之间的差异，确定第一损失；
[0010]基于预测损失，至少更新所述语言模型；其中，所述预测损失包括所述第一损失。
[0011]在一种实施方式中，该方法还包括：
[0012]基于所述预测损失，更新所述图神经网络。
[0013]在一种实施方式中，所述基于所述子图生成若干句子的步骤，包括：
[0014]基于预先构建的若干句子模板，以及所述子图的图数据和本体信息，生成若干句子；所述若干句子模板中的至少一个句子模板基于所述本体信息构建。
[0015]在一种实施方式中，所述确定第一损失的步骤，包括：
[0016]基于同一子图的子图表征和文本表征之间的第一差异，以及不同子图的子图表征和文本表征之间的第二差异，确定第一损失；其中，所述第一损失与所述第一差异正相关，与所述第二差异负相关。
[0017]在一种实施方式中，所述预测损失还包括第二损失；所述方法还包括：
[0018]将所述子图中三元组的指定元素作为所述子图的真实标签；
[0019]基于所述子图表征，采用第一分类器对所述三元组中的指定元素进行预测，得到第一预测标签；
[0020]基于所述第一预测标签与所述真实标签之间的差异，确定所述第二损失。
[0021]在一种实施方式中，所述预测损失还包括第三损失；所述方法还包括：
[0022]将所述子图中三元组的指定元素在所述文本语料中的对应语料元素作为所述文本语料的真实标签；
[0023]基于所述文本表征，采用第二分类器对所述对应语料元素进行预测，得到第二预测标签；
[0024]基于所述第二预测标签与所述真实标签之间的差异，确定第三损失。
[0025]在一种实施方式中，所述子图表征包括所述子图的指定节点的图表征，所述文本表征包括所述指定节点对应的文本表征；所述确定第一损失的步骤，包括：
[0026]基于所述指定节点的图表征与所述指定节点对应的文本表征之间的差异，确定第一损失。
[0027]在一种实施方式中，所述子图表征包括所述子图的全局图表征，所述文本表征包括所述子图的全局文本表征；所述确定第一损失的步骤，包括：
[0028]基于所述全局图表征与所述全局文本表征之间的差异，确定第一损失。
[0029]在一种实施方式中，所述确定所述子图的子图表征的步骤，包括：
[0030]在所述子图中添加虚拟节点，所述虚拟节点与所述子图中所有的原有节点相连；
[0031]通过所述图神经网络确定所述虚拟节点的图表征，作为所述全局图表征。
[0032]在一种实施方式中，所述确定第一损失的步骤，包括：
[0033]将所述全局图表征和所述全局文本表征拼接后，输入用于数据融合的神经网络，得到融合后的全局图表征和融合后的全局文本表征；
[0034]基于融合后的全局图表征和融合后的全局文本表征之间的差异，确定第一损失。
[0035]在一种实施方式中，所述子图表征包括所述子图中指定三元组的图表征，所述文本表征包括所述指定三元组对应的文本表征；所述确定第一损失的步骤，包括：
[0036]基于所述指定三元组的图表征与所述指定三元组对应的文本表征之间的差异，确定第一损失。
[0037]第二方面，实施例提供了一种基于知识图谱的语言模型训练装置，所述装置包括：
[0038]第一子图模块，配置为将所述知识图谱中的子图输入图神经网络，确定所述子图的子图表征；
[0039]第一生成模块，配置为基于所述子图生成若干句子，作为文本语料；
[0040]第一文本模块，配置为将所述文本语料输入预训练后的语言模型，确定所述子图对应的文本表征；
[0041]第一损失模块，配置为基于所述子图的子图表征和文本表征之间的差异，确定第一损失；
[0042]第一更新模块，配置为基于预测损失，至少更新所述语言模型；其中，所述预测损失包括所述第一损失。
[0043]第三方面，实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面中任一项所述的方法。
[0044]第四方面，实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面中任一项所述的方法。
[0045]本说明书实施例提供的方法及装置中，利用了知识图谱中的文本语料训练语言模
型，并且文本语料是利用子图生成的若干句子。在训练过程中，通过图神经网络提取子图的子图表征，利用子图表征和文本表征进行对比学习，从而对语言模型进行更新。这种训练方式能够促使语言模型以与实体关联的方式跨越句子顺序进行学习和推理，从而能够提高语言模型的理解能力，进而提高利用语言模型进行文本预测时的准确性。
附图说明
[0046]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]图1为本说明书披露的一个实施例的实施场景示意图；
[0048]图2为实施例提供的一种基于知识图谱的语言模型训练方法的流程示意图；
[0049]图3为实施例提供的一种基于知识图谱的语言模型训练装置的示意性框图。
具体实施方式
[0050]下面结合附图，对本说明书提供的方案进行描述。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识图谱的语言模型训练方法，所述方法包括：将所述知识图谱中的子图输入图神经网络，确定所述子图的子图表征；基于所述子图生成若干句子，作为文本语料；将所述文本语料输入预训练后的语言模型，确定所述子图对应的文本表征；基于所述子图的子图表征和文本表征之间的差异，确定第一损失；基于预测损失，至少更新所述语言模型；其中，所述预测损失包括所述第一损失。2.根据权利要求1所述的方法，还包括：基于所述预测损失，更新所述图神经网络。3.根据权利要求1所述的方法，所述基于所述子图生成若干句子的步骤，包括：基于预先构建的若干句子模板，以及所述子图的图数据和本体信息，生成若干句子；所述若干句子模板中的至少一个句子模板基于所述本体信息构建。4.根据权利要求1所述的方法，所述确定第一损失的步骤，包括：基于同一子图的子图表征和文本表征之间的第一差异，以及不同子图的子图表征和文本表征之间的第二差异，确定第一损失；其中，所述第一损失与所述第一差异正相关，与所述第二差异负相关。5.根据权利要求1所述的方法，所述预测损失还包括第二损失；所述方法还包括：将所述子图中三元组的指定元素作为所述子图的真实标签；基于所述子图表征，采用第一分类器对所述三元组中的指定元素进行预测，得到第一预测标签；基于所述第一预测标签与所述真实标签之间的差异，确定所述第二损失。6.根据权利要求1所述的方法，所述预测损失还包括第三损失；所述方法还包括：将所述子图中三元组的指定元素在所述文本语料中的对应语料元素作为所述文本语料的真实标签；基于所述文本表征，采用第二分类器对所述对应语料元素进行预测，得到第二预测标签；基于所述第二预测标签与所述真实标签之间的差异，确定第三损失。7.根据权利要求1所述的方法，所述子图表征包括所述子图的指定节点的图表征，所述文本表征包括所述指定节点对应的文本表征；所述确定第一损失的步骤，包括：基于所述指定节点的图表征与所述指定节点对应的文本表征之间的差异，确定第一损失。8.根据权利要求1所...

【专利技术属性】
技术研发人员：赵登，胡彬，石磊，何建杉，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：