本发明专利技术提供一种面向链接预测的交互式多模态融合方法及装置，方法通过获取待预测知识图谱，包括结构化模态、可视化模态和文本模态；分别提取结构化模态、可视化模态和文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；对结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；分别通过各个不同的表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；调整各个预测结果的权重，得到目标预测结果，通过多模态融合能够有效地保留各模态中的专有知识实现互补性链接预测，极大地提高链接预测的准确度。度。度。
【技术实现步骤摘要】
面向链接预测的交互式多模态融合方法及装置
[0001]本专利技术涉及知识图谱
，尤其涉及一种面向链接预测的交互式多模态融合方法及装置。
技术介绍
[0002]在知识图谱领域，由于知识图谱中包含了丰富的知识，所以对于许多实际应用非常重要，例如问答、对话系统和推荐系统等。但是由于知识的复杂性、多样性和易变性，所以知识图谱通常是不完整的。为了解决这个问题，链接预测被提出来用来预测潜在的缺失三元组。传统的链接预测模型，包括基于变换的方法和神经网络方法，都受到三元组之间的结构化偏见问题的影响。所以最近的一些研究利用多模态信息来进行链接预测，大多数通过将所有的模态信息都映射到一个统一的空间来获取共性，进而进行链接预测。
[0003]但是，该方式不能够保留各个模态里的特有信息，导致链接预测的准确度相对较低。
技术实现思路
[0004]本专利技术提供一种面向链接预测的交互式多模态融合方法及装置，用以解决现有技术中链接预测准确率低的缺陷，通过保留各模态的特有信息进行融合，有效地提高了连接预测的效果。
[0005]本专利技术提供一种面向链接预测的交互式多模态融合方法，包括：
[0006]获取待预测知识图谱，所述待预测知识图谱包括结构化模态、可视化模态和文本模态；
[0007]分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；
[0008]对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；
[0009]分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；
[0010]调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果。
[0011]根据本专利技术提供的一种面向链接预测的交互式多模态融合方法，所述分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示，包括：
[0012]通过结构化编码器提取结构化模态的高层次特征信息，得到结构化嵌入表示；
[0013]通过可视化编码器提取可视化模态的高层次特征信息，得到可视化嵌入表示；
[0014]通过文本编码器提取文本模态的高层次特征信息，得到文本嵌入表示。
[0015]根据本专利技术提供的一种面向链接预测的交互式多模态融合方法，所述对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示，包括：
[0016]转化所述结构化模态、所述可视化模态和所述文本模态为张量；
[0017]通过双线性矩阵对所述张量进行分解，得到核心张量；
[0018]将所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示与所述核心张量进行融合，得到多模态嵌入表示。
[0019]根据本专利技术提供的一种面向链接预测的交互式多模态融合方法，所述分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果，包括：
[0020]通过关系为所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示提供上下文变换矩阵；
[0021]通过所述上下文变换矩阵分别与所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示相乘，预测候选实体的相似性，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果。
[0022]根据本专利技术提供的一种面向链接预测的交互式多模态融合方法，所述调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果，包括：
[0023]基于联合损失函数，分别确定所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重；
[0024]基于预设权重调整规则，对所述权重进行调整，得到目标预测结果。
[0025]本专利技术还提供一种面向链接预测的交互式多模态融合装置，包括：
[0026]获取模块，用于获取待预测知识图谱，所述待预测知识图谱包括结构化模态、可视化模态和文本模态；
[0027]模态编码器模块，用于分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；
[0028]多模态融合模块，用于对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；
[0029]上下文关系模块，用于分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；
[0030]决策融合模块，用于调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果。
[0031]根据本专利技术提供的一种面向链接预测的交互式多模态融合装置，所述模态编码器模块，具体用于：
[0032]通过结构化编码器提取结构化模态的高层次特征信息，得到结构化嵌入表示；
[0033]通过可视化编码器提取可视化模态的高层次特征信息，得到可视化嵌入表示；
[0034]通过文本编码器提取文本模态的高层次特征信息，得到文本嵌入表示。
[0035]根据本专利技术提供的一种面向链接预测的交互式多模态融合装置，所述多模态融合模块，具体用于：
[0036]转化所述结构化模态、所述可视化模态和所述文本模态为张量；
[0037]通过双线性矩阵对所述张量进行分解，得到核心张量；
[0038]将所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示与所述核心张量进行融合，得到多模态嵌入表示。
[0039]根据本专利技术提供的一种面向链接预测的交互式多模态融合装置，所述上下文关系模块，具体用于：
[0040]通过关系为所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示提供上下文变换矩阵；
[0041]通过所述上下文变换矩阵分别与所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示相乘，预测候选实体的相似性，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果。
[0042]根据本专利技术提供的一种面向链接预测的交互式多模态融合装置，所述决策融合模块，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向链接预测的交互式多模态融合方法，其特征在于，包括：获取待预测知识图谱，所述待预测知识图谱包括结构化模态、可视化模态和文本模态；分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果。2.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示，包括：通过结构化编码器提取结构化模态的高层次特征信息，得到结构化嵌入表示；通过可视化编码器提取可视化模态的高层次特征信息，得到可视化嵌入表示；通过文本编码器提取文本模态的高层次特征信息，得到文本嵌入表示。3.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示，包括：转化所述结构化模态、所述可视化模态和所述文本模态为张量；通过双线性矩阵对所述张量进行分解，得到核心张量；将所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示与所述核心张量进行融合，得到多模态嵌入表示。4.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果，包括：通过关系为所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示提供上下文变换矩阵；通过所述上下文变换矩阵分别与所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示相乘，预测候选实体的相似性，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果。5.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果，包括：基于...
【专利技术属性】
技术研发人员：张勇，李昕航，李超，王霞，盛明，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。