一种适用图文知识图谱的关系抽取方法技术

本发明专利技术公开了一种适用图文知识图谱的关系抽取方法及系统，属于信息处理领域。该方法的特征包括：首先物体检测系统得到物体集合以及视觉短语特征，再同时分别经过视觉短语系统和翻译嵌入系统得到图像视觉特征和图像语义特征，最终经过分类器得到图像中的关系预测。本发明专利技术通过结合知识图谱与图像信息，解决图文知识图谱的关系抽取问题。 1

A relation extraction method suitable for graph knowledge map

The invention discloses a relation extraction method and system applicable to graph knowledge knowledge map, and belongs to the field of information processing. The characteristics of the method include: first, the object detection system gets the object set and the feature of the visual phrase, and then through the visual phrase system and the translation embedding system, the image visual features and the image semantic features are obtained, and the relationship prediction in the image is finally obtained by the classifier. The invention solves the problem of relation extraction between graph knowledge and knowledge map by combining knowledge map and image information. One

【技术实现步骤摘要】
一种适用图文知识图谱的关系抽取方法
本专利技术涉及信息处理领域，特别涉及图像目标检测以及知识图谱中的关系抽取算法。
技术介绍
图像目标检测目的是在于检测图像中包含的所有物体，基本做法是将图像划分区域后再对每个区域进行图像分类。知识图谱中的一个关键技术就是关系抽取算法。目前主要使用神经网络来解决关系抽取问题，将词向量和位置向量进行联合训练。然而目前已有的关系抽取全部是应用于文字信息中，本专利技术通过融合知识图谱与图像特征的信息，解决图文知识图谱的关系抽取问题。
技术实现思路
为了解决现有的技术问题，本专利技术提供了一种适用图文知识图谱的关系抽取技术方案。方案如下：步骤一，我们将图像输入物体检测系统得到物体集合以及视觉短语特征。步骤二，我们使用视觉短语系统得到图像所含物体关系的视觉短语。步骤三，我们使用翻译嵌入系统得到图像语义特征，通过计算向量预测出关系。步骤四，通过融合视觉短语系统以及翻译嵌入系统的输出得到图像中关系的最终预测。附图说明图1是本专利技术提供的图文知识图谱关系抽取的网络结构图。具体实施方式接下来将对本专利技术的实施方法作更详细的描述。图1是本专利技术提供的图文知识图谱关系抽取的系统结构图，其中包括：步骤S1：物体检测系统得到图像中的物体集合以及视觉短语特征。步骤S2：视觉短语系统得到图像视觉特征。步骤S3：翻译嵌入系统得到图像语义特征。步骤S4：融合视觉短语系统以及翻译嵌入系统的输出，使用分类器得到图像中的对象关系。下面将对每个步骤进行具体的说明：步骤S1：输入图像进入物体检测系统得到图像中检测到的所有物体集合以及视觉短语特征I。物体检测系统中我们使用VGG-16为底座的Faster-RCNN网络来提取图片中的物体。图像首先经过神经卷积网络得到特征图，然后经过RPN(regionproposalnetwork)网络得到感兴趣的区域，将各个区域图像进行分类，通过统计得到对可能的物体分类从而得到图像中包含的所有物体。将物体经过神经网络的特征输出作为视觉短语特征，得到下一级的输入。步骤S2：输入物体集合中的实体s和o以及视觉短语特征I，经过视觉短语系统得到包含实体关系的图像视觉特征。使用预先对文本学习到的下先验知识，将输入的实体s和o向量化，并和从图片中提取的特征I映射到关系空间后串联，计算后输出视觉短语系统的关系得分。在视觉短语系统中，我们使用文本信息来帮助模型从图像中找到应该注意的物体。我们使用视觉短语来提供更完备的关系信息，视觉短语中包含两个物体的共同特征。我们通过计算两个实体名称词向量word2vec来帮助寻找两个物体之间的相互关系。视觉短语的得分定义为：Sp,s,o＝δ(Up(word2vec(o)⊙word2vec(s)+UII))其中δ是激活函数，s和o为检测出的两个实体名称，Up和UI是词向量和视觉特征的映射矩阵，I表示物体检测模块提供的视觉短语特征。步骤S3：输入物体集合中的实体s和o以及视觉短语特征I，经过翻译嵌入系统得到图像语义特征。在翻译嵌入系统中，我们将知识表示中的TransR引入视觉领。我们使用h，r和t分别表示实体，关系和客体。在视觉关系抽取中，我们从图片中抽取特征实体的特征xo,xs,系统会学习一个关系向量的表示r以及映射矩阵Us,Uo。我们将图像特征转换后的实体定义为：h＝δ(Usxs⊙word2vec(s)),t＝δ(Uoxo⊙word2vec(o))输入物体检测系统的输出实体s，将其向量化后与图片中抽取的特征映射串联得到实体h。对于每个关系r我们设置一个独立的映射矩阵Mr，通过映射矩阵将实体向量映射到关系空间之中。在r的关系空间中，我们将实体定义为：hr,s＝hMr,tr,o＝tMr图像中的实体视觉特征经过量化并映射到相应的关系空间，通过计算h和t的差值即约等于关系向量，从而预测出实体的关系。有关得分函数定义为：Sr,s,o＝r(hr,s-tr,o)步骤S4：输入视觉短语系统的输出Sp,s,o和翻译嵌入系统的的输出Sr,s,o，经过分类器得到最终的关系预测Sr,p。融合视觉短语系统以及翻译嵌入系统的输出，也就是使用分类器预测关系的概率。分类器的输出就是关系预测的最终得分。我们定义预测关系的得分为：Sr,p＝softmax(W(Sr,s,o+Sp,s,o))以上结合附图对所提出的图文知识图谱中的关系抽取系统的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解到本专利技术可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现，但前者是更佳的实施方式。基于这样的理解，本专利技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本专利技术各个实施例所述的方法。依据本专利技术的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本专利技术的限制。以上所述的本专利技术实施方式，并不构成对专利技术保护范围的限定。任何在本专利技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种适用图文知识图谱的关系抽取方法，其特征在于，所诉的方法包含以下的结构

【技术特征摘要】
1.一种适用图文知识图谱的关系抽取方法，其特征在于，所诉的方法包含以下的结构和步骤：(1)物体检测系统得到物体集合以及视觉短语特征：对输入的图像进行处理，得到图像中所有物体集合，并且将物体经过神经网络的特征输出作以及视觉短语特征；(2)视觉短语系统得到图像视觉特征：对步骤(1)得到的物体集合以及视觉短语特征进行处理，得到包含物体关系的视觉短语，计算得到预测关系的得分；(3)翻译嵌入系统得到图像语义特征：对步骤(1)得到的物体集合以及视觉短语特征使用词向量进行处理，并且映射到相应的关系空间中得到图像中的语义信息，计算得到语义的关系得分；(4)使用分类器得到图像中的对象关系：对步骤(2)和步骤(3)的输出进行处理，输入分类器得到图像中的关系。2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：(1.1)将图像输入网络得到图像特征图；(1.2)使用RPN(regionproposalnetwork)网络处理特征图，得到图像感兴趣的区域；(1.3)将图像感兴趣的区域输入神经卷积网络，得到每个区域...

【专利技术属性】
技术研发人员：李思，李智超，曾景城，高升，徐雅静，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11