知识图谱对齐方法、装置、设备以及存储介质制造方法及图纸

本申请公开了一种知识图谱对齐方法、装置、设备以及存储介质，属于人工智能技术领域。通过本申请提供的技术方案，在确定好知识图谱中实体的多个图像的图像嵌入之后，通过基于图像的图像嵌入对实体的多个图像进行筛选，保留相似度符合条件的图像，实现了去除无益于知识图谱对齐的图像的目的，从而在基于筛选后的图像以及标注对齐结果训练知识图谱对齐模型时，知识图谱对齐模型能够学习到更加精简的图像，进而增强了知识图谱对齐模型的性能。进而增强了知识图谱对齐模型的性能。进而增强了知识图谱对齐模型的性能。

【技术实现步骤摘要】
知识图谱对齐方法、装置、设备以及存储介质


[0001]本申请涉及人工智能
，特别涉及一种知识图谱对齐方法、装置、设 备以及存储介质。

技术介绍

[0002]知识图谱是由相互连接的实体以及实体之间的关系所构成，知识图谱对齐 技术对构建大规模高质量的知识图谱具有重要意义。通常情况下，基于训练好的 知识图谱对齐模型，对两个知识图谱中的实体进行对齐，以实现在一个知识图谱 中引入其他知识图谱的内容，从而整合不同颗粒度不同垂域的知识图谱。
[0003]相关技术中，实体对应的图像可以作为实体对齐的一个参考信息，然而知识 图谱中往往包含有大量图像，并且实体对应的图像中可能包含噪音图像，也即是 对知识图谱对齐无益的图像，则对于知识图谱对齐任务来说，如何对知识图谱中 的图像进行筛选，以基于筛选后的图像训练知识图谱对齐模型，从而增强模型的 性能，成为亟待解决的问题。

技术实现思路

[0004]本申请实施例提供了一种知识图谱对齐方法、装置、设备以及存储介质，能 够增强知识图谱对齐模型的性能。所述技术方案如下：
[0005]一方面，提供了一种知识图谱对齐方法，所述方法包括：
[0006]通过知识图谱对齐模型，确定第一知识图谱中第一实体的多个第一图像的 图像嵌入，以及，确定第二知识图谱中第二实体的多个第二图像的图像嵌入；
[0007]基于所述多个第一图像的图像嵌入和所述多个第二图像的图像嵌入，对所 述多个第一图像进行筛选，得到多个第一目标图像，以及，对所述多个第二图像 进行筛选，得到多个第二目标图像，所述多个第一目标图像的相似度符合相似度 条件，所述多个第二目标图像的相似度符合所述相似度条件；
[0008]基于所述第一实体的所述多个第一目标图像、所述第二实体的所述多个第 二目标图像以及标注对齐结果，训练所述知识图谱对齐模型，所述标注对齐结果 用于表示所述第一实体和所述第二实体是否对齐；
[0009]其中，所述知识图谱对齐模型用于基于输入的两个知识图谱中实体的图像， 输出所述两个知识图谱中实体的对齐结果。
[0010]一方面，提供了一种知识图谱对齐方法，所述方法包括：
[0011]将第一知识图谱中第三实体的实体信息，以及第二知识图谱中第四实体的 实体信息输入到知识图谱对齐模型中，所述实体信息包括实体名称、关系、属性 和多个图像；
[0012]通过所述知识图谱对齐模型，确定每个实体对的第二实体相似度，所述第二 实体相似度基于所述实体对包括的所述第三实体的实体嵌入与所述第四实体的 实体嵌入确定；
[0013]基于所述第二实体相似度，输出所述第一知识图谱和所述第二知识图谱的 对齐
结果，所述对齐结果用于表示所述第三实体与所述第四实体是否对齐；
[0014]其中，所述知识图谱对齐模型是通过上述方面所述的知识图谱对齐方法训 练得到的。
[0015]一方面，提供了一种知识图谱对齐装置，所述装置包括：
[0016]第一确定模块，用于通过知识图谱对齐模型，确定第一知识图谱中第一实体 的多个第一图像的图像嵌入，以及，确定第二知识图谱中第二实体的多个第二图 像的图像嵌入；
[0017]筛选模块，用于基于所述多个第一图像的图像嵌入和所述多个第二图像的 图像嵌入，对所述多个第一图像进行筛选，得到多个第一目标图像，以及，对所 述多个第二图像进行筛选，得到多个第二目标图像，所述多个第一目标图像的相 似度符合相似度条件，所述多个第二目标图像的相似度符合所述相似度条件；
[0018]训练模块，用于基于所述第一实体的所述多个第一目标图像、所述第二实体 的所述多个第二目标图像以及标注对齐结果，训练所述知识图谱对齐模型，所述 标注对齐结果用于表示所述第一实体和所述第二实体是否对齐；
[0019]其中，所述知识图谱对齐模型用于基于输入的两个知识图谱中实体的图像， 输出所述两个知识图谱中实体的对齐结果。
[0020]在一些实施例中，所述筛选模块，用于对于每个所述第一图像，确定所述第 一图像的图像嵌入与每个所述第二图像的图像嵌入之间的第一图像相似度；从 所述多个第一图像中，对第一剪枝分数高于剪枝阈值的第一图像进行剪枝，得到 所述多个第一目标图像，所述第一剪枝分数为1与多个所述第一图像相似度的 均值之间的差值。
[0021]在一些实施例中，所述训练模块，包括：
[0022]确定单元，用于将所述多个第一目标图像的平均图像嵌入，作为所述第一实 体的第一图像嵌入，将所述至少一个第二目标图像的平均图像嵌入，作为所述第 二实体的第二图像嵌入；
[0023]训练单元，用于基于所述第一实体的所述第一图像嵌入、所述第二实体的所 述第二图像嵌入以及所述标注对齐结果，训练所述知识图谱对齐模型。
[0024]在一些实施例中，所述训练单元，用于基于所述第一实体的第一图像嵌入、 所述第二实体的第二图像嵌入和所述标注对齐结果，确定第i个图像损失值，i 为不小于1的正整数；
[0025]在所述图像损失值符合损失值条件的情况下，停止训练所述知识图谱对齐 模型；
[0026]在所述图像损失值不符合所述损失值条件的情况下，基于所述第一实体的 第一实体嵌入和所述第二实体的第二实体嵌入，对所述第一实体的多个第一目 标图像进行筛选，得到至少一个第三目标图像，以及，对所述第二实体的多个第 二目标图像进行筛选，得到至少一个第四目标图像，其中，所述第三目标图像和 所述第四目标图像的相似度均符合所述相似度条件，所述第一实体嵌入基于所 述第一图像嵌入确定，所述第二实体嵌入基于所述第二图像嵌入确定；
[0027]基于所述图像损失值、所述第一实体的所述至少一个第三目标图像以及所 述第二实体的所述至少一个第四目标图像，对所述知识图谱对齐模型进行第i+1 次训练，直至所述图像损失值符合所述损失值条件。
[0028]在一些实施例中，所述训练单元，用于基于目标实体对对应的损失值，确定 所述第i个图像损失值；其中，所述目标实体对为存在标注对齐结果的实体对， 且所述目标实体对包括所述第一实体和所述第二实体，所述损失值为基于所述 第一实体的第一图像嵌入和所述第二实体的第二图像嵌入确定的。
[0029]在一些实施例中，所述训练单元，用于对于每个所述第一目标图像，确定所 述第一目标图像的图像嵌入与每个所述第二目标图像的图像嵌入之间的第二图 像相似度，将1与多个所述第二图像相似度的均值之间的差值，作为所述第一 目标图像的第二剪枝分数；
[0030]对于每个所述第一目标图像，确定所述第一实体嵌入与相应的第二目标图 像所属的第二实体的第二实体嵌入之间的第一实体相似度；
[0031]从所述多个第一目标图像中，对第三剪枝分数高于剪枝阈值的所述第一目 标图像进行剪枝，得到所述至少一个第三目标图像，所述第三剪枝分数为所述第 一实体相似度与所述第二剪枝分数之积。
[0032]在一些实施例中，所述装置还包括：
[0033]第三确定模块，用于通过所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识图谱对齐方法，其特征在于，所述方法包括：通过知识图谱对齐模型，确定第一知识图谱中第一实体的多个第一图像的图像嵌入，以及，确定第二知识图谱中第二实体的多个第二图像的图像嵌入；基于所述多个第一图像的图像嵌入和所述多个第二图像的图像嵌入，对所述多个第一图像进行筛选，得到多个第一目标图像，以及，对所述多个第二图像进行筛选，得到多个第二目标图像，所述多个第一目标图像的相似度符合相似度条件，所述多个第二目标图像的相似度符合所述相似度条件；基于所述第一实体的所述多个第一目标图像、所述第二实体的所述多个第二目标图像以及标注对齐结果，训练所述知识图谱对齐模型，所述标注对齐结果用于表示所述第一实体和所述第二实体是否对齐；其中，所述知识图谱对齐模型用于基于输入的两个知识图谱中实体的图像，输出所述两个知识图谱中实体的对齐结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一图像的图像嵌入和所述多个第二图像的图像嵌入，对所述多个第一图像进行筛选，得到多个第一目标图像，包括：对于每个所述第一图像，确定所述第一图像的图像嵌入与每个所述第二图像的图像嵌入之间的第一图像相似度；从所述多个第一图像中，对第一剪枝分数高于剪枝阈值的第一图像进行剪枝，得到所述多个第一目标图像，所述第一剪枝分数为1与多个所述第一图像相似度的均值之间的差值。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一实体的所述多个第一目标图像、所述第二实体的所述多个第二目标图像以及标注对齐结果，训练所述知识图谱对齐模型，包括：将所述多个第一目标图像的平均图像嵌入，作为所述第一实体的第一图像嵌入，将所述至少一个第二目标图像的平均图像嵌入，作为所述第二实体的第二图像嵌入；基于所述第一实体的所述第一图像嵌入、所述第二实体的所述第二图像嵌入以及所述标注对齐结果，训练所述知识图谱对齐模型。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一实体的所述第一图像嵌入、所述第二实体的所述第二图像嵌入以及所述标注对齐结果，训练所述知识图谱对齐模型，包括：基于所述第一实体的第一图像嵌入、所述第二实体的第二图像嵌入和所述标注对齐结果，确定第i个图像损失值，i为不小于1的正整数；在所述图像损失值符合损失值条件的情况下，停止训练所述知识图谱对齐模型；在所述图像损失值不符合所述损失值条件的情况下，基于所述第一实体的第一实体嵌入和所述第二实体的第二实体嵌入，对所述第一实体的多个第一目标图像进行筛选，得到至少一个第三目标图像，以及，对所述第二实体的多个第二目标图像进行筛选，得到至少一个第四目标图像，其中，所述第三目标图像和所述第四目标图像的相似度均符合所述相似度条件，所述第一实体嵌入基于所述第一图像嵌入确定，所述第二实体嵌入基于所述第二图像嵌入确定；
基于所述图像损失值、所述第一实体的所述至少一个第三目标图像以及所述第二实体的所述至少一个第四目标图像，对所述知识图谱对齐模型进行第i+1次训练，直至所述图像损失值符合所述损失值条件。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一实体的第一图像嵌入、所述第二实体的第二图像嵌入和所述标注对齐结果，确定第i个图像损失值，包括：基于目标实体对对应的损失值，确定所述第i个图像损失值；其中，所述目标实体对为存在标注对齐结果的实体对，且所述目标实体对包括所述第一实体和所述第二实体，所述损失值为基于所述第一实体的第一图像嵌入和所述第二实体的第二图像嵌入确定的。6.根据权利要求4所述的方法，其特征在于，所述基于所述第一实体的第一实体嵌入和所述第二实体的第二实体嵌入，对所述第一实体的多个第一目标图像进行筛选，得到至少一个第三目标图像，包括：对于每个所述第一目标图像，确定所述第一目标图像的图像嵌入与每个所述第二目标图像的图像嵌入之间的第二图像相似度，将1与多个所述第二图像相似度的均值之间的差值，作为所述第一目标图像的第二剪枝分数；对于每个所述第一目标图像，确定所述第一实体嵌入与相应的第二目标图像所属的第二实体的第二实体嵌入之间的第一实体相似度；从所述多个第一目标图像中，对第三剪枝分数高于剪枝阈值的所述第一目标图像进行剪枝，得到所述至少一个第三目标图像，所述第三剪枝分数为所述第一实体相似度与所述第二剪枝分数之积。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：通过所述知识图谱对齐模型，确定所述第一实体的第一名称嵌入、第一关系嵌入和第一属性嵌...

【专利技术属性】
技术研发人员：张子恒，林镇溪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：