当前位置: 首页 > 专利查询>中山大学专利>正文

基于递进式多判别器的问题生成方法技术

技术编号:20221755 阅读:37 留言:0更新日期:2019-01-28 20:16
本发明专利技术涉及问题生成的技术领域,更具体地,涉及基于递进式多判别器的问题生成方法。本发明专利技术使用生成对抗网络,生成器用于生成问题,判别器用于评估问题,本文设计了三种判别器,其中,真假判别器用于判断该问题是否跟通顺与合理,属性判别器进一步判断该问题是否属于答案所对应的类别,问答判别器再进一步判断该问题是否可以被对应答案所回答。本发明专利技术针对文本生成任务中的问答不匹配问题,本文在生成器中的encoder和decoder加入答案属性信息,并设计了递进式多判别器,从易到难依次加强答案的约束程度,先保证生成的问题的语义质量,然后约束问题的提问类型,最后约束问题的直接答案,加强问题与答案的匹配度。

【技术实现步骤摘要】
基于递进式多判别器的问题生成方法
本专利技术涉及问题生成的
,更具体地,涉及基于递进式多判别器的问题生成方法。
技术介绍
该任务属于一种文本生成任务,对文章和指定答案生成对应的问题,使得该问题可以在原文中以该答案来回答。可用于问诊系统、辅导系统、童话提问、事实性问答数据生成等。也可以作为数据再去手段,给问答任务扩充数据集。问题生成在训练的时候数据集可以使用问答数据,在实际使用的时候,通过对文章进行命名实体识别抽取出其中对实体,均可作为答案进行提问。传统的做法是基于语法树或者知识库,通过规则来抽取关键实体,然后填入到规定好的模板中,生成指定格式的问题。目前常见的方法则是基于文本生成的Encoder-Decoder框架,Encoder对文章进行编码学习,并且用另一个网络对答案也进行编码学习,Decoder对文章和答案的编码进行解码生成问题。问题生成任务也可以跟其它任务结合起来学习,问题生成跟问答任务进行结合,在各自模型的损失函数上分别加入正则项,进行对偶学习;也可以将问题生成模型作为生成器,将问答模型作为判别器,进行对抗训练。问题生成跟摘要生成任务结合,可以共享Encoder的高层本文档来自技高网...

【技术保护点】
1.基于递进式多判别器的问题生成方法,其特征在于,包括以下步骤:生成器使用摘要生成中的pointer‑generator模型,利用copy机制抽取原文细节并解决oov问题,利用coverage机制解决重复生成的问题,并进行改进;答案约束主要体现在decoder中使用答案向量去预测词语分布,在encoder中也加入答案约束,对文章进行编码学习后,带着答案的约束去对文章的编码进行调整,集中关注与答案相关的部分;判别器设计了依次递进的三种判别器,分别是真假判别器、属性判别器与问答判别器,首先用真假判别器来判断生成问题的真实性,在真假判别器的判别结果达标的情况下,再用属性判别器来判断生成问题的类型是否...

【技术特征摘要】
1.基于递进式多判别器的问题生成方法,其特征在于,包括以下步骤:生成器使用摘要生成中的pointer-generator模型,利用copy机制抽取原文细节并解决oov问题,利用coverage机制解决重复生成的问题,并进行改进;答案约束主要体现在decoder中使用答案向量去预测词语分布,在encoder中也加入答案约束,对文章进行编码学习后,带着答案的约束去对文章的编码进行调整,集中关注与答案相关的部分;判别器设计了依次递进的三种判别器,分别是真假判别器、属性判别器与问答判别器,首先用真假判别器来判断生成问题的真实性,在真假判别器的判别结果达标的情况下,再用属性判别器来判断生成问题的类型是否与答案匹配,在属性判别器的判别结果也达标的情况下,再用问答判别器来判断生成问题是否可以用该答案进行回答;判别器的难度从易到难,并且拥有递进的关系,只有前面的判别器结果达到规定的阈值,才会进行下一步的判别,否则先继续训练前面的判别器;由此通过层次递进的顺序去训练判别器,使得生成的问题慢慢变得更好,先达到仿真效果,再达到问题与答案类型匹配的效果,最后达到问题与答案完全匹配的效果。2.根据权利要求1所述的基于递进式多判别器的问题生成方法,其特征在于:所述的生成器使用pointer-generator模型,在Decoder中利用attention机制来关注不同的原文信息,利用copy机制来复制原文细节以及生成oov词语,利用coverage机制来惩罚重复生成,并且对coverage机制进行改进,改进重复生成的惩罚方式;模型结构包括Encoder模型和Decoder模型。3.根据权利要求2所述的基于递进式多判别器的问题生成方法,其特征在于:所述的Encoder模型:首先用一个Bi-LSTM网络对文章词向量进行编码学习,然后对答案进行命名实体识别,得到对应的实体类型,并进行embedding得到低维的答案类型向量,取答案在文章中所对应的词向量、答案实体向量和原文LSTM的输出拼接起来,再用一个Bi-LSTM网络进行编码学习,最后进行等权平均得到答案向量;此处加入答案实体向量可以加强答案类型的约束;接下来利用答案向量对文章编码来计算一个attention向量,并进行softmax归一化,利用上面得到的attention向量来更新文章的编码向量,...

【专利技术属性】
技术研发人员:苏舒婷潘嵘
申请(专利权)人:中山大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1