一种基于深度学习的候选答案选取方法技术

本发明专利技术提供一种基于深度学习的候选答案选取方法，包括：步骤S1，输入问句和候选答案，分别解析为问句词序列和候选答案词序列；步骤S2，通过长短时记忆网络对问句词序列和候选答案词序列建模，得到问句的语义表示和候选答案的语义表示；步骤S3，选取问句词序列中权重值最高的词的词向量来初始化知识记忆模块；步骤S4，根据知识记忆模块中存储的知识信息和问句的语义表示，计算问句的知识表示；步骤S5，计算问句的知识表示与候选答案的语义表示之间的相似度，选取相似度最高的候选答案输出。本发明专利技术在深度学习网络中引入一个知识记忆模块来提高问句与候选答案之间的联系，提高答案选取的质量，以更好地应用于社区问答网站和问答系统中。

【技术实现步骤摘要】
一种基于深度学习的候选答案选取方法
本专利技术涉及深度学习、问答系统和答案选取
，尤其涉及一种基于深度学习的候选答案选取方法。
技术介绍
随着人们对信息获取的准确性的需求提高，传统搜索技术不再能满足人们的需求。社区问答系统使得用户可以发布问题进行提问以满足自己的信息需求，同时可以与其他用户交流和分享自己的经验、知识和体会。社区问答系统中积累了大量的用户问答数据资源，如何利用好这些资源，更好地满足用户的信息需求是目前研究机构和工业界研究的一个主要问题。具体来说，用户在社区问答系统中新提交的问题需要等待其他用户的回答，也即需要一个“响应时间”才能得到需要的信息。为了及时得到所需信息，用户可以将其信息需求以查询问题的方式提交到社区问答的检索系统中，检索系统从系统所积累的历史问题答案库中检索出与查询问题在语义上相同或相似的问题，并将候选历史问题及其答案返回给用户。目前对于候选答案的查找主要分为两大方向，第一是传统的检索方法，主要是利用词型词义的及句法树信息的问句相似度匹配等算法。第二是深度学习方法，对语句的语义信息进行建模，学习为计算机可处理的结构，从而对问句的语义进行表示。我们的目标是设计更合理的模型对问句的语义信息进行精确表示，提高相似问句检索的性能。近年来深度学习方法被用来自动的从数据中抽取特征，最近的研究将问题看作是一系列词的序列，然后用递归神经网络(递归神经网络(RNN)是两种人工神经网络的总称，一种是时间递归神经网络(RecurrentNeuralNetwork)，另一种是结构递归神经网络(RecursiveNeuralNetwork))对其建模，学习其语义特征。为了学习到句子中的重要成分对语义信息的影响，注意力(Attention)机制被用来学习句子中的重要部分，来增强问句的语义表示。通过计算得到的问句和候选答案的相似度来对候选答案进行重新排序，选取能够回答该问题的答案。考虑到问题与答案之间往往存在知识关联，例如问句“温哥华位于什么地方”，如果有“温哥华是加拿大的一个港口城市”这样一条知识，那么就能从候选答案中选出包含加拿大这样一个关键成分的答案。因此知识信息在候选答案选取任务中发挥着重要的作用。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种基于深度学习的候选答案选取方法，该方法在深度学习框架中引入一个知识记忆模块来提高问句与候选答案之间的联系，提高答案选取的质量，以更好地应用于社区问答网站和问答系统中。根据本专利技术的一个方面，提供一种基于深度学习的候选答案选取方法，所述候选答案选取方法包括以下步骤：步骤S1，输入问句和候选答案，将输入的问句解析为问句词序列，将输入的候选答案解析为候选答案词序列；步骤S2，通过长短时记忆网络对问句词序列和候选答案词序列建模，得到问句的语义表示和候选答案的语义表示；步骤S3，选取问句词序列中权重值最高的词的词向量来初始化知识记忆模块，所述知识记忆模块中存储有多条知识信息；步骤S4，根据知识记忆模块中存储的知识信息和问句的语义表示，计算问句的知识表示；步骤S5，计算问句的知识表示与候选答案的语义表示之间的相似度，选取相似度最高的候选答案输出。优选地，步骤S2具体包括：步骤S21，将问句词序列中的词映射为对应的词向量，形成问句词向量集，将候选答案词序列中的词映射为对应的词向量，形成候选答案词向量集；步骤S22，将问句词向量集中的词向量逐一输入长短时记忆网络，计算问句的语义表示，将候选答案词向量集中的词向量逐一输入长短时记忆网络，计算候选答案的语义表示。优选地，所述长短时记忆网络包括复数个计算模块，所述计算模块的个数与所述问句词向量集中的词向量的个数，或者与所述候选答案词向量集中的词向量的个数相等，每个词向量对应输入一个计算模块，每个计算模块输出一计算结果和一状态量，后一个计算模块以前一个计算模块的计算结果和状态量为输入，最后一个计算模块的计算结果作为问句的语义表示或者候选答案的语义表示。优选地，每个计算模块的计算公式为：it＝σ(Wixt+Uiht-1+bi)ft＝σ(Wfxt+Ufht-1+bf)ot＝σ(Woxt+Uoht-1+bo)ht＝ot*tanh(ct)其中，xt为第t个计算模块输入的词向量，Wi、Wf、Wo、Wc为作用在xt上的参数，ht-1为上一个计算模块输出的计算结果，Ui、Uf、Uo、Uc为作用在ht-1上的参数，bi、bf、bo、bc为偏置项，ct为第t个计算模块输出的状态量，ht为第t个计算模块输出的计算结果，t为正整数。优选地，步骤S3具体包括：步骤S31，计算问句词序列中每个词的TF-IDF值；步骤S32，选取TF-IDF值最高的词的词向量来初始化知识记忆模块。优选地，步骤S4具体包括：步骤S41，计算知识记忆模块中每条知识信息与问句的语义表示的相关度；步骤S42，结合知识信息与问句的语义表示的相关度，计算问句的知识表示。优选地，步骤S41计算每条知识信息与问句的语义表示的相关度的公式为：其中，αj是知识记忆模块中第j条知识信息kj与问句的语义表示q的相关度，j为正整数；e(·)是度量函数，e(kj,q)＝vTtanh(WHkj+WQq+b)，其中，WH,WQ是分别作用在kj和q上的参数，b为偏置项。优选地，步骤S42计算问句的知识表示的公式为：Rq＝s+q其中，Rq为计算所得的结合知识信息的问句的知识表示。优选地，步骤5计算问句的知识表示与候选答案的语义表示之间的相似度的公式具体为：sim(Rq,Ra)＝exp(-||Rq-Ra||1)其中，Ra为候选答案的语义表示。有鉴于此，本专利技术在深度学习网络，即长短时记忆网络中引入一个知识记忆模块来提高问句与候选答案之间的联系，以问题和候选答案对为输入，经过生成问句/候选答案语义表示、结合知识记忆模块中知识信息对问句重新进行知识表示和相似度计算三个阶段，最后得到问句和候选答案的相似度打分，从而可以选取相似度最高的候选答案作为输出。本专利技术提高了候选答案选取的质量，以更好地应用于社区问答网站和问答系统中。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术的基于深度学习的候选答案选取方法的步骤示意图；图2是本专利技术的基于深度学习的候选答案选取方法的结构流程图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本专利技术将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施方式的充分理解。然而，本领域技术人员应意识到，没有特定细节中的一个或更多，或者采用其它的方法、组元等，也可以实践本专利技术的技术方案。在某些情况下，不详细示出或描述公知结构或者操作以避免模糊本专利技术。图1是本专利技术的基于深度学习的候选答案选取方法的步骤示意图，图2是本专利技术的基于深度学习的候选答案选取方法的结构流程图。结合图1和图2所示，本专利技术的基于深度学习的候选答案本文档来自技高网...

【技术保护点】
1.一种基于深度学习的候选答案选取方法，其特征在于，所述候选答案选取方法包括以下步骤：步骤S1，输入问句和候选答案，将输入的问句解析为问句词序列，将输入的候选答案解析为候选答案词序列；步骤S2，通过长短时记忆网络对问句词序列和候选答案词序列建模，得到问句的语义表示和候选答案的语义表示；步骤S3，选取问句词序列中权重值最高的词的词向量来初始化知识记忆模块，所述知识记忆模块中存储有多条知识信息；步骤S4，根据知识记忆模块中存储的知识信息和问句的语义表示，计算问句的知识表示；步骤S5，计算问句的知识表示与候选答案的语义表示之间的相似度，选取相似度最高的候选答案输出。

【技术特征摘要】
1.一种基于深度学习的候选答案选取方法，其特征在于，所述候选答案选取方法包括以下步骤：步骤S1，输入问句和候选答案，将输入的问句解析为问句词序列，将输入的候选答案解析为候选答案词序列；步骤S2，通过长短时记忆网络对问句词序列和候选答案词序列建模，得到问句的语义表示和候选答案的语义表示；步骤S3，选取问句词序列中权重值最高的词的词向量来初始化知识记忆模块，所述知识记忆模块中存储有多条知识信息；步骤S4，根据知识记忆模块中存储的知识信息和问句的语义表示，计算问句的知识表示；步骤S5，计算问句的知识表示与候选答案的语义表示之间的相似度，选取相似度最高的候选答案输出。2.如权利要求1所述的候选答案选取方法，其特征在于，步骤S2具体包括：步骤S21，将问句词序列中的词映射为对应的词向量，形成问句词向量集，将候选答案词序列中的词映射为对应的词向量，形成候选答案词向量集；步骤S22，将问句词向量集中的词向量逐一输入长短时记忆网络，计算问句的语义表示，将候选答案词向量集中的词向量逐一输入长短时记忆网络，计算候选答案的语义表示。3.如权利要求2所述的候选答案选取方法，其特征在于，所述长短时记忆网络包括复数个计算模块，所述计算模块的个数与所述问句词向量集中的词向量的个数，或者与所述候选答案词向量集中的词向量的个数匹配，每个词向量对应输入一个计算模块，每个计算模块输出一计算结果和一状态量，后一个计算模块以前一个计算模块的计算结果和状态量为输入，最后一个计算模块的计算结果作为问句的语义表示或者候选答案的语义表示。4.如权利要求3所述的候选答案选取方法，其特征在于，每个计算模块的计算公式为：it＝σ(Wixt+Uiht-1+bi)ft＝σ(Wfxt...

【专利技术属性】
技术研发人员：杨燕，安炜杰，贺樑，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海,31