一种结合实体图像的知识表示学习方法及服务器技术

本发明专利技术公开一种结合实体图像的知识表示学习方法及服务器。其中，所述方法包括：根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示。本发明专利技术提供的结合实体图像的知识表示学习方法及服务器，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。

A knowledge representation learning method and server combined with an entity image

The invention discloses a knowledge representation learning method and a server in combination with an entity image. Among them, the method comprises the following steps: according to the real image acquisition to the representation in the knowledge space on each entity and entity image corresponding to the image; according to each of the entities and entities corresponding in the knowledge space and the entity based representation structure, construct the entity based representation of the image; according to the three tuple mapping knowledge and preset model training, joint training of the entity image representation and the entity based on the structure, obtain the entity of knowledge representation. The knowledge representation learning method and server combining entity images provided by the invention can apply entity image information to knowledge representation learning, and improve the accuracy of knowledge representation learning.

【技术实现步骤摘要】
一种结合实体图像的知识表示学习方法及服务器
本专利技术涉及人工智能
，具体涉及一种结合实体图像的知识表示学习方法及服务器。
技术介绍
随着社会飞速发展，我们已经进入信息爆炸的时代，每天都会有海量知识与信息产生。这些多源信息往往具有各种异质的形态，以文字或者图像等非结构化多模态的方式进行储存。而人工智能相关应用，如信息检索、问答系统等更需要结构化信息。随着用户对信息筛选的需求日益增加，如何从海量数据中挖掘并运用知识成为一个研究难题。为了解决这个难题，知识图谱应运而生。知识图谱是一个结构化的知识储存数据库，它将世界上的具象事物(如人名、地名等专有名词)与抽象概念表示为实体，将实体之间的联系表示为关系。实体与实体之间的关系构成一张巨大的有向图，其中实体可以看作图中的节点，而关系则可以看作图中的边。在知识图谱中，知识常常以三元组的形式进行储存。例如，北京是中国的首都这个知识，在知识图谱中使用三元组(北京，是…首都，中国)进行表示与储存。知识图谱通过三元组的形式将知识结构化储存，被广泛运用于信息检索、问答系统和智能对话系统等知识驱动的人工智能任务中。在拥有知识图谱之后，我们需要在知识驱动本文档来自技高网...

【技术保护点】
一种结合实体图像的知识表示学习方法，其特征在于，包括：根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体。

【技术特征摘要】
1.一种结合实体图像的知识表示学习方法，其特征在于，包括：根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体。2.根据权利要求1所述的方法，其特征在于，所述根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示包括：构建所述实体的数据集并对所述实体的数据集进行预处理，所述数据集包括所述实体图像；根据预处理后的所述实体图像以及预设规则，获得每个所述与实体对应的实体图像的特征向量；根据每个所述与实体对应的实体图像的特征向量，获得每个所述与实体对应的实体图像在知识空间上的表示。3.根据权利要求2所述的方法，其特征在于，所述预设规则包括：基于深度神经网络模型对所述预处理后的所述实体图像进行分类，获得每个所述与实体对应的实体图像；将每个所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为每个所述与实体对应的实体图像的特征向量。4.根据权利要求1所述的方法，其特征在于，所述根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示包括：根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，获得每个所述与实体对应的实体图像的注意力值；根据各个所述与实体对应的实体图像在知识空间上的表示以及每个所述与实体对应的实体图像的注意力值，构建所述实体基于图像的表示。5.根据权利要求1至5任一项所述的方法，其特征在于，所述预设的训练模型包括能量函数和基于边际的评价函数：所述能量函数表示如下：E(h,r,t)＝α1‖hs+r-ts‖+α2‖hI+r-ts‖+α3‖hs+r-tI‖+α4‖hI+r-tI‖其中，α1,α2，α3，α4为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，hs为所述三元组中的头实体基于结构的表示，ts为所述三元组中的尾实体基于结构的表示，hI为所述三元组中的头实体基于图像的表示，tI为所述三元组中的尾实体基于图像的表示；所述基于边际的评价函数表示如下：其中，γ为超参数，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合，所述负例三元组通过将所述三元组中的头实体、关系或者尾实体随机替换一个得到，所述负例三元组的集合中不包...

【专利技术属性】
技术研发人员：孙茂松，谢若冰，刘知远，栾焕博，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11