提高相关性的神经问题生成方法技术

本发明专利技术公开了一种提高相关性的神经问题生成方法。本发明专利技术一种提高相关性的神经问题生成方法，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制；基于字符重叠的部分copy机制。本发明专利技术的有益效果：通过基于字符重叠度的部分copy机制，我们可以使得生成问题中在单词级别和输入文档具有更高的重叠度和相关性。通过基于QA模型的重排序机制，我们可以为生成的那些质量较好的候选问题赋予更高的分数，而过滤掉那些较为通用的、难以回答的问题。

Neural Problem Generation Method for Improving Relevance

【技术实现步骤摘要】
提高相关性的神经问题生成方法
本专利技术涉及问题生成领域，具体涉及一种提高相关性的神经问题生成方法。
技术介绍
问题生成(QuestionGeneration,QG)是自然语言处理中一个非常重要的问题，是考验计算机是否真正理解文本的一项重要途径，并广泛应用于各个领域。QG可以为问答系统(QuestionAnswering,QA)创建大量的QA对，为相关任务提供数据集。同时，QG本身也可以为医疗诊断系统、家庭教育系统等提供服务。QG任务的输入通常包含文档(或句子)和答案，输出是在给定文档和目标答案的情况下，生成最有可能的问题。一般来说，QG模型是一个序列到序列的结构(Sequencetosequence,seq2seq)，由一个编码器(encoder)和解码器(decoder)组成，encoder将输入的文档和目标答案编码成向量(也称为源端)，然后decoder根据这个向量逐字生成一个完整的问题(也称为目标端)。为了增强模型的性能，通常还会有注意力(attention)机制和拷贝(copy)机制。相关技术：(1)LeveragingContextInformationforNaturalQuestionGeneration。文章构造一个seq2seq的模型，将文档和目标答案作为输入，旨在生成一个合理的问题。这个模型带有attention机制和copy机制。传统技术存在以下技术问题：QG模型是个seq2seq的结构，并且通常会加入copy机制来保证生成问题的可靠性。实际上，由于生成模型的特性，QG模型往往会趋向于生成一些较为通用的问题，比如“他叫什么名字？”、“他是谁？”、“它是什么？”。这种问题具有极强的一般性，针对于不同的输入都可以提出类似的问题，因此非常受到QG模型的青睐。但实际上，这种通用性问题并不是我们想要的好的问题，它们和输入文档/答案不具有较高的相关性，也会让回答者难以回答。
技术实现思路
本专利技术要解决的技术问题是提供一种提高相关性的神经问题生成方法，针对于QG模型中“生成的问题通用性强、相关性低”的问题，我们提出了两种改善的方法：一种是使用基于字符重叠的部分copy机制，通过字符重叠度来优先考虑原文中出现的词或是其变形词，另一种是基于QA模型的重排序机制，通过QA模型来评价生成问题的质量并以此为依据进行重排序。这两种方法可以让我们的QG模型可以生成与输入文档/答案具有更高相关性的问题。为了解决上述技术问题，本专利技术提供了一种提高相关性的神经问题生成方法，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制；基于字符重叠的部分copy机制：考虑使用最长公共子序列(Longestcommonsubsequence,LCS)来定义单词w1和w2的重叠度C：这里使用一个阈值来对C进行过滤：具体在decoder生成一个单词时，考虑输入文档中与当前生成词attention分数最大的那个单词，并考虑该词和词表中每个单词的重叠度，然后利用这个重叠度来重新调整decoder最后输出的概率分布：Padj＝P*(1+λ1*C)。一种提高相关性的神经问题生成方法，其特征在于，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制；基于QA模型的重排序技术：因为集束搜索(beamsearch)的存在，QG系统往往会生成多个候选问题，一般选择分数最高的问题作为模型最后的输出问题；但事实上，并不总是质量好的问题排在前面，有时候一些真正质量好的问题可能只有较低的分数；通常而言，QG模型所需要得到的是P(q|p，a)，而QA模型所需要得到的是P(a|p，q)；因此我们将这两者结合起来对beamsearch的结果进行重排序；将QG模型的log分数作为作为score1，将QA模型的F1分数作为score2，由此我们将score1和score2进行线性组合，可以得到一个新的分数，并利用这个分数来对beamsearch得到的候选问题进行重排序：score＝(1-λ2)*score1+λ2*score2。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。本专利技术的有益效果：通过基于字符重叠度的部分copy机制，我们可以使得生成问题中在单词级别和输入文档具有更高的重叠度和相关性。通过基于QA模型的重排序机制，我们可以为生成的那些质量较好的候选问题赋予更高的分数，而过滤掉那些较为通用的、难以回答的问题。附图说明图1是本专利技术中基于seq2seq的QG模型的示意图。图2是本专利技术提高相关性的神经问题生成方法的所用模型与基于seq2seq的QG模型的关系示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。背景：基于seq2seq的QG模型如图1所示，在问题生成系统中，一般采用seq2seq框架来实现问题生成，由encoder层和decoder组成，并加入了attention机制和copy机制。Embedding层：我们将训练语料中的每一个词初始化为一个词向量，这种向量数据可以让模型更好地处理。词向量通常是预先训练好的，维度也是预先确定的。以我们使用的glove词向量为例，每个单词都可以对应于一个300维度的词向量。Encoder层：encoder通常而言是一个双向LSTM，将输入的wordembedding编码成包含上下文信息的隐向量表示，最后用这个固定维度的隐向量作为decoder的初始状态。在我们的模型中，对于文档和答案分别通过embedding层和encoder层，然后利用一些匹配策略将两者的隐向量表示进行结合。Decoder层：decoder通常而言是一个单向LSTM，每个时间步在目标端按序生成(generate)一个单词，并以特殊符号<EOS>作为结束的标识。在每个时间步，会根据目标端隐层st和context向量得到一个基于词典的概率分布，其中概率最大的词就作为该时刻的生成词，公式如下：Pvocab＝softmax(w[st；ct]+b)Attention机制：与机器翻译中的attention类似，本质是一种对齐手段，做法是对源端隐层和目标端隐层计算attention分数，正则化以后与源端隐层加权求和得到context向量，带入到目标端单词的生成中，公式如下：et，i＝vTtanh(W1st+W2hi+b)at，i＝softmax(et，i)Copy机制：用于处理生成词不在词典中的情况，通常而言，词典只包含数据集中出现一定频率的词，而不收录那些低频词(例如只出现一次)，因此如果没有copy机制通常会造成某个输出词是<UNK>的情况。为了处理这种情况，copy机制用来去从输入文档中选择单词作为目标端的输出单词，为了合理控制copy和本文档来自技高网...

【技术保护点】
1.一种提高相关性的神经问题生成方法，其特征在于，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制。基于字符重叠的部分copy机制：考虑使用最长公共子序列(Longest common subsequence,LCS)来定义单词w1和w2的重叠度C：

【技术特征摘要】
1.一种提高相关性的神经问题生成方法，其特征在于，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制。基于字符重叠的部分copy机制：考虑使用最长公共子序列(Longestcommonsubsequence,LCS)来定义单词w1和w2的重叠度C：这里使用一个阈值来对C进行过滤：具体在decoder生成一个单词时，考虑输入文档中与当前生成词attention分数最大的那个单词，并考虑该词和词表中每个单词的重叠度，然后利用这个重叠度来重新调整decoder最后输出的概率分布：Padj＝P*(1+λ1*C)。2.一种提高相关性的神经问题生成方法，其特征在于，包括：基于seq2seq的QG模型，由encoder层和decoder组成，并加入了attention机制和copy机制；基于QA模型的重排序技术：因为集束搜索(beamsearch)的存在，QG系统往往会生成多个候选问题，一般选择分数最高的问题作为模型最后的输出问题；但事实...

【专利技术属性】
技术研发人员：熊德意，邱嘉作，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32