基于模态间交互的多模态知识图谱实体对齐方法及系统技术方案

本公开提供了基于模态间交互的多模态知识图谱实体对齐方法及系统，涉及多模态知识图谱技术领域，包括获取知识图谱中待对齐的不同模态的实体数据；提取实体数据的结构信息特征、视觉信息特征、关系信息特征以及属性信息特征；将获取的各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐。本公开能够捕获实体多模态信息之间的相互作用。作用。作用。

【技术实现步骤摘要】
基于模态间交互的多模态知识图谱实体对齐方法及系统


[0001]本公开涉及多模态知识图谱
，具体涉及基于模态间交互的多模态知识图谱实体对齐方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]多模态知识图谱(MMKGs)从视觉、关系和属性的角度表示现实世界的知识，已广泛应用于推荐系统和问答等知识驱动的任务中。然而，多模态知识图通常由不同的多模态语料库构建，这意味着每个单独的MMKG往往是不完整的，不同的MMKG通常是互补的。多模态实体对齐(MMEA)任务旨在识别不同多模态知识图谱之间的等价实体，可以将多个知识图谱整合为一个统一的知识库，可以扩大多模态知识图谱的知识覆盖范围。
[0004]近年来，随着近年来多模态学习的发展，在知识图谱中加入视觉模态的实体对齐方法逐渐引起各界的关注，现有的多模态实体对齐方法已经取得了不错的效果，但仍存在以下问题：
[0005]目前现有的多模态实体对齐方法大都使用独立的编码器来获得实体各模态特征，然后通过特征拼接的方法作为实体多模态融合的范式，却忽略了实体各模态之间的相互作用。由于不受其他模态的相互作用和约束，在单模态特征空间内总会存在高度相似但不等价的实体表示，这被视为一种潜在噪声，因为它会干扰实体寻找其等价实体。此外现有的方法为加强实体的特征表示都会采取负采样策略，但是在训练阶段，这些方法将所有的负样本赋予同样的权重，使得模型无法更多地关注困难负样本，损害了模型的稳健性。
专利技术内容
[0006]本公开为了解决上述问题，提出了基于模态间交互的多模态知识图谱实体对齐方法及系统，引入模态间交互学习(IMIL)模块，捕获不同模态间的相互作用，减少因为各个模态独立编码造成的潜在噪声问题；同时加入批次内负样本加权策略，通过对困难负样本赋予更高的权重，使得模型可以更多地关注困难负样本，提高模型的稳健性。
[0007]根据一些实施例，本公开采用如下技术方案：
[0008]基于模态间交互的多模态知识图谱实体对齐方法，包括：
[0009]获取知识图谱中待对齐的不同模态的实体数据；
[0010]针对待对齐的不同模态的实体数据，利用GAT网络提取实体数据的结构信息特征，选用VGG16网络提取实体数据的视觉信息特征，利用词袋模型连接前馈网络分别编码提取实体数据的关系信息特征以及属性信息特征；
[0011]将获取的结构信息、视觉信息、关系信息以及属性信息各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实
体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐。
[0012]根据一些实施例，本公开采用如下技术方案：
[0013]基于模态间交互的多模态知识图谱实体对齐系统，包括：
[0014]数据获取模块，用于获取知识图谱中待对齐的不同模态的实体数据；
[0015]特征提取模块，用于针对待对齐的不同模态的实体数据，利用GAT网络提取实体数据的结构信息特征，选用VGG16网络提取实体数据的视觉信息特征，利用词袋模型连接前馈网络分别编码提取实体数据的关系信息特征以及属性信息特征；
[0016]实体对齐模块，用于将获取的结构信息、视觉信息、关系信息以及属性信息各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐。
[0017]根据一些实施例，本公开采用如下技术方案：
[0018]一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于模态间交互的多模态知识图谱实体对齐方法。
[0019]根据一些实施例，本公开采用如下技术方案：
[0020]一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于模态间交互的多模态知识图谱实体对齐方法。
[0021]与现有技术相比，本公开的有益效果为：
[0022]本公开提供一种基于模态间交互学习的多模态知识图谱实体对齐方法，通过低秩多模态融合方法来捕获模态间的相互作用，同时使用特定于低秩融合模态和单一模态间的跨模态注意力模块使各个单一模态并行地从低秩融合模态学习模态间的相互作用，在实体的整体表示阶段使用加权拼接的方式获得实体全面的特征表示。通过这种相互作用的约束，可以帮助模型在表示学习阶段，避免在单模态特征空间内，由于各模态单独编码而造成的高相似但不等价的问题，进而避免了在后期特征融合中，将这种潜在噪声引入而带来的危害。
[0023]此外在对比学习阶段，通过对批次内的负样本赋予不同权重，使得模型在训练时更加关注困难负样本，提高模型的稳健性。
附图说明
[0024]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0025]图1为本公开实施例的整体网络架构示意图。
具体实施方式：
[0026]下面结合附图与实施例对本公开作进一步说明。
[0027]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0028]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0029]实施例1
[0030]本公开的一种实施例中提供一种基于模态间交互的多模态知识图谱实体对齐方法，步骤包括：
[0031]步骤一：获取知识图谱中待对齐的不同模态的实体数据；
[0032]步骤二：针对待对齐的不同模态的实体数据，利用GAT网络提取实体数据的结构信息特征，选用VGG16网络提取实体数据的视觉信息特征，利用词袋模型连接前馈网络分别编码提取实体数据的关系信息特征以及属性信息特征；
[0033]步骤三：将获取的结构信息、视觉信息、关系信息以及属性信息各个单模态特征利用低秩多模态融合方法建模模态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于模态间交互的多模态知识图谱实体对齐方法，其特征在于，包括：获取知识图谱中待对齐的不同模态的实体数据；针对待对齐的不同模态的实体数据，利用GAT网络提取实体数据的结构信息特征，选用VGG16网络提取实体数据的视觉信息特征，利用词袋模型连接前馈网络分别编码提取实体数据的关系信息特征以及属性信息特征；将获取的结构信息、视觉信息、关系信息以及属性信息各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐。2.如权利要求1所述的基于模态间交互的多模态知识图谱实体对齐方法，其特征在于，利用GAT网络提取实体数据的结构信息特征的步骤包括：令h
i
∈R
d
,表示为实体的隐藏状态，其聚合一跳邻居的过程被表示为：其中σ(
·
)表示ReLU激活函数，是实体e
i
的一节邻居(以及自环)，W
g
∈R
d
×
d
表示对角权重矩阵h
j
是实体e
j
的隐藏状态，α
ij
表示邻居实体e
j
对中心实体e
i
的重要性，通过自注意力机制计算：其中，ψ(
·
)表示LeakyReLU激活函数，是可学习得权重，表示拼接操作.为了稳定自我注意的学习过程，在GAT网络上应用多头策略，并将这些特征平均以得到实体的结构信息特征嵌入3.如权利要求1所述的基于模态间交互的多模态知识图谱实体对齐方法，其特征在于，利用选用VGG16网络提取实体数据的视觉信息特征的步骤包括：提取所有实体的视觉特征，使用VGG16模型，移除了VGG16模型的最后一个全连接层和softmax层，以获得每个实体的图像特征，然后，将图像特征通过前馈层发送以获得视觉嵌入。4.如权利要求1所述的基于模态间交互的多模态知识图谱实体对齐方法，其特征在于，将多模态编码器提取得到实体...

【专利技术属性】
技术研发人员：孙涛，张子豪，张祥，尹新艳，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：