多模态知识图谱的补全方法、装置和电子设备制造方法及图纸

本公开提供了多模态知识图谱的补全方法、装置和电子设备，涉及涉及数据处理技术领域，尤其涉及深度学习等技术领域。具体实现方案为：对多模态知识图谱进行特征提取，获取各模态的第一特征向量；对各模态进行两两分组，并对任一组内两个模态的第一特征向量进行语义信息提取和替换，获取任一组两个模态各自的第二特征向量；对每个分组对应的第二特征向量进行融合，获取多模态联合特征向量；基于多模态联合特征向量，对多模态知识图谱进行补全，获取目标多模态知识图谱。本公开实施例中，可以挖掘多模态之间的共同特征，进而通过信息交换减少冗余，跨模态共同学习重要的语义信息，充分利用了多模态信息，提升了知识图谱补全的性能。能。能。

【技术实现步骤摘要】
多模态知识图谱的补全方法、装置和电子设备


[0001]本公开涉及数据处理
，尤其涉及深度学习等


技术介绍

[0002]相关技术中，一般利用知识图谱中的结构信息对知识图谱进行补全，或基于文本/图片信息加强实体的表征，从而对知识图谱进行补全，这种补全方法对多模态信息挖掘不足，可能导致关系缺失性的问题，使得补全知识图谱的准确性不高，因此，如何充分利用多模态信息，提升知识图谱补全的准确性，已经成为重要的研究方向之一。

技术实现思路

[0003]本公开提供了一种多模态知识图谱的补全方法、装置和电子设备。
[0004]根据本公开的一方面，提供了一种多模态知识图谱的补全方法，包括：
[0005]对多模态知识图谱进行特征提取，获取各模态的第一特征向量；
[0006]对各模态进行两两分组，并对任一组内两个模态的第一特征向量进行语义信息提取和替换，获取任一组两个模态各自的第二特征向量；
[0007]对每个分组对应的第二特征向量进行融合，获取多模态联合特征向量；
[0008]基于多模态联合特征向量，对多模态知识图谱进行补全，获取目标多模态知识图谱。
[0009]本公开实施例中，对任一组内两个模态的第一特征向量进行语义信息提取和替换，可以挖掘出分子结构信息与文本描述信息之间的共同特征，进而通过信息交换减少冗余，跨模态共同学习重要的语义信息。对每个分组对应的第二特征向量进行融合，减少了模态之间的差异性，基于多模态联合特征向量，对多模态知识图谱进行补全，充分利用了多模态信息，提升了知识图谱补全的准确性。
[0010]根据本公开的另一方面，提供了一种多模态知识图谱补全模型的训练方法，包括：
[0011]获取样本多模态知识图谱及其对应的样本三元组；
[0012]基于样本多模态知识图谱对多模态知识图谱补全模型进行训练，以获取样本多模态知识图谱的补全多模态知识图谱，以及补全多模态知识图谱的预测三元组；
[0013]根据样本三元组和预测三元组对多模态知识图谱补全模型进行调整，并返回使用下一样本多模态知识图谱继续训练，直至训练结束获取目标多模态知识图谱补全模型；其中，任一三元组包括头实体、尾实体以及头实体和尾实体之间的关系。
[0014]本公开实施例中，基于多模态联合特征向量，对多模态知识图谱进行补全，充分利用了多模态信息，基于正样本和负样本训练多模态知识图谱补全模型，提升了知识图谱补全的准确性，解决了无法适应分子结构信息，无法显性地利用到模态之间共有的特征的问题，能够极大地提升多模态知识图谱补全的性能。
[0015]根据本公开的另一方面，提供了一种多模态知识图谱的补全方法，包括：
[0016]将待补全的多模态知识图谱输入训练后的多模态知识图谱补全模型中，以获取补
全后的目标多模态知识图谱；
[0017]其中，多模态知识图谱补全模型采用如上述的多模态知识图谱补全模型的训练方法进行训练。
[0018]根据本公开的另一方面，提供了一种多模态知识图谱的补全装置，包括：
[0019]第一获取模块，用于对多模态知识图谱进行特征提取，获取各模态的第一特征向量；
[0020]第二获取模块，用于对各模态进行两两分组，并对任一组内两个模态的第一特征向量进行语义信息提取和替换，获取任一组两个模态各自的第二特征向量；
[0021]第三获取模块，用于对每个分组对应的第二特征向量进行融合，获取多模态联合特征向量；
[0022]补全获取模块，用于基于多模态联合特征向量，对多模态知识图谱进行补全，获取目标多模态知识图谱。
[0023]根据本公开的另一方面，提供了一种多模态知识图谱补全模型的训练装置，包括：
[0024]第一获取模块，用于获取样本多模态知识图谱及其对应的样本三元组；
[0025]第二获取模块，用于基于样本多模态知识图谱对多模态知识图谱补全模型进行训练，以获取样本多模态知识图谱的补全多模态知识图谱，以及补全多模态知识图谱的预测三元组；
[0026]第三获取模块，用于根据样本三元组和预测三元组对多模态知识图谱补全模型进行调整，并返回使用下一样本多模态知识图谱继续训练，直至训练结束获取目标多模态知识图谱补全模型；其中，任一三元组包括头实体、尾实体以及头实体和尾实体之间的关系。
[0027]根据本公开的另一方面，提供了一种多模态知识图谱的补全装置，包括：
[0028]补全模块，用于将待补全的多模态知识图谱输入训练后的多模态知识图谱补全模型中，以获取补全后的目标多模态知识图谱；其中，多模态知识图谱补全模型采用上述的多模态知识图谱补全模型的训练装置进行训练。
[0029]根据本公开的另一方面，提供了一种电子设备，包括：
[0030]至少一个处理器；以及
[0031]与至少一个处理器通信连接的存储器；其中，
[0032]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的多模态知识图谱的补全方法方法或多模态知识图谱补全模型的训练方法。
[0033]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据本公开的多模态知识图谱的补全方法方法或多模态知识图谱补全模型的训练方法。
[0034]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开的多模态知识图谱的补全方法方法的步骤或多模态知识图谱补全模型的训练方法的步骤。
[0035]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0036]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0037]图1是本公开一个实施例的多模态知识图谱的补全方法的流程图；
[0038]图2是本公开一个实施例的多模态知识图谱的补全方法的流程图；
[0039]图3是本公开一个实施例的多模态知识图谱的补全方法的示意图；
[0040]图4是本公开一个实施例的多模态知识图谱的补全方法的示意图；
[0041]图5是本公开一个实施例的多模态知识图谱的补全方法的示意图；
[0042]图6是本公开一个实施例的多模态知识图谱的补全方法的流程图；
[0043]图7是本公开一个实施例的多模态知识图谱的补全方法的示意图；
[0044]图8是本公开一个实施例的多模态知识图谱补全模型的训练方法的流程图；
[0045]图9是本公开一个实施例的多模态知识图谱补全模型的结构示意图；
[0046]图10是本公开一个实施例的多模态知识图谱的补全装置的结构图；
[0047]图11是本公开一个实施例的多模态知识图谱补全模型的训练装置的结构图；
[0048]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态知识图谱的补全方法，包括：对多模态知识图谱进行特征提取，获取各模态的第一特征向量；对各模态进行两两分组，并对任一组内两个模态的所述第一特征向量进行语义信息提取和替换，获取所述任一组两个模态各自的第二特征向量；对每个分组对应的所述第二特征向量进行融合，获取多模态联合特征向量；基于所述多模态联合特征向量，对所述多模态知识图谱进行补全，获取目标多模态知识图谱。2.根据权利要求1所述的方法，其中，所述对任一组内两个模态的所述第一特征向量进行语义信息提取和替换，获取所述任一组两个模态各自的第二特征向量，包括：对所述任一组内两个模态的所述第一特征向量进行协同注意力的语义信息提取，获取所述两个模态各自的候选特征向量；从所述两个模态的所述候选特征向量中，筛选出需要进行语义信息替换的目标特征元素；确定所述目标特征元素在所述候选特征向量中的位置，基于所述位置进行同位置语义信息替换，获取所述第二特征向量。3.根据权利要求2所述的方法，其中，所述对所述任一组内两个模态的所述第一特征向量进行协同注意力的语义信息提取，获取所述两个模态各自的候选特征向量，包括：将所述任一组内两个模态的所述第一特征向量分别与各自的权重参数相乘，得到所述两个模态各自的加权特征向量，并对所述两个模态的加权特征向量进行向量外积相乘，获取亲和矩阵；对所述亲和矩阵按行和列分别进行伸缩变换，以获取第一矩阵和第二矩阵；根据所述两个模态的所述第一特征向量、所述第一矩阵和所述第二矩阵，获取所述两个模态各自的候选特征向量。4.根据权利要求2所述的方法，其中，所述从所述两个模态的所述候选特征向量中，筛选出需要进行语义信息替换目标特征元素，包括：获取所述候选特征向量中每个特征元素的语义信息；选取所述语义信息小于预设的替换因子的特征元素，作为所述目标特征元素。5.根据权利要求2或4所述的方法，其中，所述基于所述位置进行同位置语义信息替换，包括：针对所述任一组，基于组内其中一个候选特征向量中所述目标特征元素的位置，获取组内另一候选特征向量中所述位置上待替换特征元素；将所述目标特征元素的语义信息替换为所述待替换特征元素的语义信息。6.根据权利要求1所述的方法，其中，所述对任一组内两个模态的所述第一特征向量进行语义信息提取和替换，获取所述任一组两个模态各自的第二特征向量，包括：对所述任一组内两个模态的所述第一特征向量并行地进行多次语义信息提取和替换，获取所述两个模态的多个候选第二特征向量；将所述多个候选第二特征向量进行拼接，获取所述两个模态各自的第二特征向量。7.根据权利要求1所述的方法，其中，所述对每个分组对应的所述第二特征向量进行融合，获取多模态联合特征向量，包括：
将所述第二特征向量与预设线性映射的矩阵相乘和归一化处理，获取第三特征向量；对所述两个模态的所述第三特征向量之间进行逐元素相乘，获取所述任一组对应的第四特征向量；对每个分组的所述第四特征向量进行逐元素相乘，得到所述多模态联合特征向量。8.根据权利要求1
‑
7任一项所述的方法，其中，所述基于所述多模态联合特征向量，对所述多模态知识图谱进行补全，获取目标多模态知识图谱，包括：获取所述多模态知识图谱的头实体嵌入向量和关系嵌入向量；根据所述多模态联合特征向量、所述头实体嵌入向量和所述关系嵌入向量，预测出所述多模态知识图谱头实体对应的尾实体；基于所述头实体对应的所述尾实体，对所述多模态知识图谱进行补全，获取所述目标多模态知识图谱。9.根据权利要求8所述的方法，其中，所述根据所述多模态联合特征向量、所述头实体嵌入向量和所述关系嵌入向量，预测出所述多模态知识图谱头实体对应的尾实体，包括：根据所述多模态联合特征向量、所述头实体嵌入向量和所述关系嵌入向量，生成多模态联合特征图；根据所述多模态联合特征图，对所述多模态知识图谱头实体的进行尾实体预测，获取所述头实体对应的所述尾实体。10.根据权利要求9所述的方法，其中，所述根据所述多模态联合特征图，对所述多模态知识图谱头实体的进行尾实体预测，获取所述头实体对应的尾实体，包括：将所述多模态联合特征图入卷积层，获取目标特征图；将所述目标特征图进行展平操作后输入全连接层，获取尾实体嵌入向量；根据所述尾实体嵌入向量，获取所述头实体对应的所述尾实体。11.根据权利要求10所述的方法，其中，所述根据所述尾实体嵌入向量，获取所述头实体对应的所述尾实体，包括：获取所述多模态知识图谱的候选实体的实体嵌入向量；获取所述实体嵌入向量和所述尾实体嵌入向量的相似度；根据所述相似度，从所述候选实体中确定所述头实体对应的所述尾实体。12.一种多模态知识图谱补全模型的训练方法，包括：获取样本多模态知识图谱及其对应的样本三元组；基于所述样本多模态知识图谱对多模态知识图谱补全模型进行训练，以获取所述样本多模态知识图谱的补全多模态知识图谱，以及所述补全多模态知识图谱的预测三元组；根据所述样本三元组和所述预测三元组对所述多模态知识图谱补全模型进行调整，并返回使用下一样本多模态知识图谱继续训练，直至训练结束获取目标多模态知识图谱补全模型；其中，任一三元组包括头实体、尾实体以及所述头实体和所述尾实体之间的关系。13.根据权利要求12所述的方法，其中，所述根据所述样本三元组和所述预测三元组对所述多模态知识图谱补全模型进行调整，包括：从所述样本三元组中获取样本尾实体，以及从所述预测三元组中获取预测尾实体；获取所述样本尾实体和所述预测尾实体之间的损失；
根据所述损失调整所述多模态知识图谱补全模型。14.根据权利要求12所述的方法，其中，所述基于所述样本多模态知识图谱对多模态知识图谱补全模型进行训练，还包括：基于所述样本多模态知识图谱的样本三元组，获取所述样本多模态知识图谱的逆三元组，作为所述样本多模态知识图谱另一样本三元组；将所述样本多模态知识图谱和所述样本三元组，构成正样本；将所述样本多模态知识图谱和所述逆三元组，构成负样本；基于所述正样本和所述负样本，对所述多模态知识图谱补全模型进行训练。15.根据权利要求12
‑
14任一项所述的方法，其中，所述基于所述样本多模态知识图谱对多模态知识图谱补全模型进行训练，包括：将所述样本多模态知识图谱，输入所述多模态知识图谱补全模型中；由所述多模态知识图谱补全模型对所述样本多模态知识图谱进行特征提取，获取各模态的第一特征向量；对各模态进行两两分组，并对任一组内两个模态的所述第一特征向量进行语义信息提取和替换，获取所述任一组两个模态各自的第二特征向量；对每个分组对应的所述第二特征向量进行融合，获取多模态联合特征向量；基于所述多模态联合特征向量，输出所述样本多模态知识图谱的补全多模态知识图谱。16.一种多模态知识图谱的补全方法，包括：将待补全的多模态知识图谱输入训练后的多模态知识图谱补全模型中，以获取补全后的目标多模态知识图谱；其中，所述多模态知识图谱补全模型采用如权利要求12
‑
15任一项所述的训练方法进行训练。17.一种多模态知识图谱的补全装置，包括：第一获取模块，用于对多模态...

【专利技术属性】
技术研发人员：周景博，许德容，夏源，刘吉，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：