基于图卷积网络的答案抽取方法、装置及相关组件制造方法及图纸

技术编号:28035489 阅读:17 留言:0更新日期:2021-04-09 23:17
本发明专利技术公开了基于图卷积网络的答案抽取方法、装置及相关组件,该方法包括:获取用户问题以及包含用户问题的文档;基于句法依存分析对文档构建图网络;利用图卷积网络,对文档与所述图网络进行融合,得到文档向量,以及对用户问题与所述图网络进行融合,得到问题向量;基于图卷积网络和注意力机制对文档向量和问题向量进行学习,以获取文档中的答案起始概率和答案终止概率;将答案起始概率和答案终止概率分别作为文档的起始索引和终止索引,并将起始索引和终止索引之间的文本作为用户问题的答案。本发明专利技术基于图卷积网络和句法依存分析对包含用户问题的文档构建图网络,并使图网络与用户问题和文档进行语义融合,从而提高答案抽取的准确率。

【技术实现步骤摘要】
基于图卷积网络的答案抽取方法、装置及相关组件
本专利技术涉及自然语言处理
,特别涉及基于图卷积网络的答案抽取方法、装置及相关组件。
技术介绍
机器阅读理解任务(MRC)是指给定一篇文章,以及基于该文章的一个问题,通过机器从该文章中找到对应问题的答案。早期的MRC系统主要依赖规则及人工生成的数据集,这种方式由于数据集较小,因此很难推广到其他领域。在进入到机器学习时代后,将机器阅读理解任务定义为有监督学习任务,并将收集的数据进行人工标注,标注成段落、问题、答案三元组,并引入机器学习算法,通过加入丰富的语义特征集实现对训练数据的拟合,这种方法相比早期基于规则的方法有一定的提升,但提升程度相对有限,且会依赖于依存分析解析器、语义角色标注系统的性能。随着深度学习的发展,以及较大规模的带标注数据集的涌现,如SQuAD数据集(一种问答数据集)、CNN/Dailymail数据集(一种有监督数据集)等,将深度神经网络引入到机器阅读理解任务,如Match-LSTM模型,该模型原先用于文本蕴含任务,后来加入Pointer-Net使之可以适用于阅读理解任本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的答案抽取方法,其特征在于,包括:/n获取用户问题以及包含所述用户问题的文档;/n基于句法依存分析对所述文档构建图网络;/n利用图卷积网络,对所述文档与所述图网络进行融合,得到文档向量,以及对所述用户问题与所述图网络进行融合,得到问题向量;/n基于所述图卷积网络和注意力机制对所述文档向量和问题向量进行学习,以获取所述文档中的答案起始概率和答案终止概率;/n将所述答案起始概率和答案终止概率分别作为所述文档的起始索引和终止索引,并将所述起始索引和终止索引之间的文本作为所述用户问题的答案。/n

【技术特征摘要】
1.一种基于图卷积网络的答案抽取方法,其特征在于,包括:
获取用户问题以及包含所述用户问题的文档;
基于句法依存分析对所述文档构建图网络;
利用图卷积网络,对所述文档与所述图网络进行融合,得到文档向量,以及对所述用户问题与所述图网络进行融合,得到问题向量;
基于所述图卷积网络和注意力机制对所述文档向量和问题向量进行学习,以获取所述文档中的答案起始概率和答案终止概率;
将所述答案起始概率和答案终止概率分别作为所述文档的起始索引和终止索引,并将所述起始索引和终止索引之间的文本作为所述用户问题的答案。


2.根据权利要求1所述的基于图卷积网络的答案抽取方法,其特征在于,所述获取用户问题以及包含所述用户问题的文档,包括:
获取用户问题以及包含所述用户问题的文档,利用预设的词向量模型分别对所述用户问题和文档进行学习,得到所述用户问题对应的第一词向量表示和所述文档对应的第二词向量表示。


3.根据权利要求1所述的基于图卷积网络的答案抽取方法,其特征在于,所述基于句法依存分析对所述文档构建图网络包括:
按句子对所述文档进行切分,并对切分后的每一句子进行分词,得到每一句子包含的字词;
针对每一句子,将每一字词作为所述图网络的图节点,获取各字词之间的依存关系,并根据各字词之间的依存关系连接对应的图节点;
获取各句子中相同的字词,并将所述相同的字词作为连接节点使不同的句子连接,从而构建得到所述文档的图网络。


4.根据权利要求2所述的基于图卷积网络的答案抽取方法,其特征在于,利用图卷积网络,对所述文档与所述图网络进行融合,得到文档向量,包括:
在所述图网络中获取与所述第二词向量表示相同的节点向量,并按照下列公式对所述第二词向量表示与节点向量进行融合:
new_x=x+node*σ(W1[x,node]+b1)
式中,σ为非线性激活函数,node为所述节点向量,x所述第二词向量表示,[x,node]表示所述第二词向量表示和节点向量进行拼接,W1为待训练权重矩阵,b1为偏置项,new_x为输出向量;
将所述输出向量new_x输入至前馈神经网络,并由所述前馈神经网络输出所述文档向量:
h=f(w3*f(w2new_x+b2)+b3)
式中,h为所述文档向量,w2、w3、b2和b3均为待训练参数,f为激活函数。


5.根据权利要求4所述的基于图卷积网络的答案抽取方法,其特征在于,基于所述图卷积网络和注意力机制对所述文档向量和问题向量进行学习,以获取所述文档中的答案起始概率和答案终止概率,包...

【专利技术属性】
技术研发人员:黄勇其王伟于翠翠张兴
申请(专利权)人:润联软件系统深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1