一种基于卷积神经网络的文档自动问答系统的构建方法技术方案

一种基于卷积神经网络的文档自动问答系统的构建方法，包括以下步骤：步骤1，构建主题文档库；步骤2，构造词向量模型；步骤3，主题匹配；步骤4，构造词向量矩阵；步骤5，基于卷积神经网络的语义模型进行语义匹配；所述卷积神经网络的语义模型分为三层；第一层为卷积神经网络层；第二层为注意力层；第三层为全连接层；步骤6，答案选择过程，选择出匹配答案。本发明专利技术的方法无需手工构建同义词词典，节省了大量的人力和时间成本，能够在模型的训练过程中有目的性的对词语上下文的语义进行采样，在网络中加入注意力机制，提升某些具有代表性的词语对整个句子语义的贡献度。

A construction method of document automatic question answering system based on convolution neural network

A method of building a document automatic question answering system based on the convolution neural network includes the following steps: Step 1, construct a topic document library; step 2, construct word vector model; step 3, topic matching; step 4, construct word vector matrix; step 5, semantic matching based on convolution neural network; and the semantic matching of the semantic model based on convolution neural network; The semantic model of the convolution neural network is divided into three layers; the first layer is the convolution neural network layer; the second layer is the attention layer; the third layer is the full connection layer; step 6, the answer selection process is selected, and the matching answer is selected. The method does not need to build a synonym dictionary manually. It saves a lot of human and time cost. It can have the purpose of sampling the semantic meaning of the word context in the training process of the model, and add attention mechanism in the network to improve the contribution degree of some representative words to the whole sentence.

【技术实现步骤摘要】
一种基于卷积神经网络的文档自动问答系统的构建方法
本专利技术涉及自然语言处理和人工智能领域，运用卷积神经网络算法，提出了一种在深度学习算法大规模应用于自然语言处理的背景下，对问题和答案进行语义建模并进行语义匹配的方案。
技术介绍
自动问答中最重要的就是句子语义匹配技术，传统方法大多是在HowNet(知网)，大规模词典，哈工大同义词词林工具的基础之上，构建符合场景的规则组合来达到计算的目的。该类方法的优点在于快速的建立计算模型，能有效利用单词本身的语义，并快速调整模型，缺点在于该方法没能有效利用词语上下文的语义，甚至是整个句子或段落的语义。由此看来，传统方法容易造成词语上下文的语义丢失，所得结果无法准确用于计算句子间的匹配度。一些传统的对句子进行语义匹配的方法由于无法有效的利用词语上下文的语义以及对人力和时间成本的高需求，在匹配效果上不及目前热门的深度学习方法，难以适应在数据量爆炸性增长的互联网经济时代背景下，企业对自动问答技术的需求。
技术实现思路
本专利技术的目的是提供一种基于卷积神经网络的文档自动问答系统的构建方法。因此，本专利技术采用以下技术方案。一种基于卷积神经网络的文档自动问答系统的构建方法，包括以下步骤：步骤1，构建主题文档库；根据不同的应用场景来建立主题文档库，所述主题文档库中包括k个主题文档，针对k类问题；每个主题文档对应一个问题类型，是一个问题类型的备选答案集合；步骤2，构造词向量模型；获取语料，利用word2vec工具对语料进行训练，得到词向量模型，一个单词对应所述词向量模型中的一个词向量，L为词向量的维度，所述词向量可以表示单词之间在多维空间中的距离，所述词向量模型能够准确的表现单词之间的语义相似度；步骤3，主题匹配；接收用户提出的第一问题，根据步骤1中构建的主题文档库，对所述第一问题进行分类，找出所述第一问题对应的第一主题文档，所述第一主题文档中有n1个备选答案；步骤4，构造词向量矩阵；将第一问题划分为m个单词，根据步骤2中的词向量模型，构造第一问题矩阵A；根据步骤3中的主题匹配得到的第一主题文档，将第一主题文档中的备选答案划分为m个单词，根据步骤2中的词向量模型，构造n1个第一答案矩阵Q，每个备选答案对应一个第一答案矩阵；构造n1个词向量矩阵M，其中M＝<A，Q>；步骤5，基于卷积神经网络的语义模型进行语义匹配；所述卷积神经网络的语义模型分为三层；第一层为卷积神经网络层，所述卷积神经网络层的输入为词向量矩阵M，所述卷积神经网络层的卷积核的宽度为所述词向量的维度，所述卷积核的数量为n2；将词向量矩阵M输入到卷积神经网络层，得到n2维的问题特征向量和n2维的答案特征向量；取n3种高度的卷积核，得到n3个问题特征向量和答案特征向量；将n3个问题特征向量组合成问题特征矩阵，将n3个答案特征向量组合成答案特征矩阵；第二层为注意力层，所述注意力层用于对所述问题特征向量和答案特征向量进行加权；所述注意力层的输入为问题特征矩阵和答案特征矩阵，输出为问题句向量和答案句向量；第三层为全连接层，所述全连接层用于计算问题句向量和答案句向量之间的语义匹配度，所述语义匹配度用语义匹配度分数值来表示；步骤6，答案选择过程；根据步骤5，根据n1个词向量矩阵M，计算出n1个语义匹配度分数值，根据所述语义匹配度分数值选择出匹配答案。优选的，所述注意力层的加权公式为：G＝softmax(tanh(IW+b)e)，i＝GI；其中，I为输入特征矩阵，W为加权矩阵，b、e为加权向量，softmax为归一化函数，G为加权权值向量，i为输出的句向量；将问题特征矩阵和答案特征矩阵代入上述公式，输出为问题句向量和答案句向量。优选的，对所述第一问题和第一答案进行的分词过程采用了基于N-gram模型的分词方法。优选的，所述步骤6包括，将n1个语义匹配度分数值进行排列，选取最大的语义匹配度分数值所对应的备选答案为匹配答案。优选的，所述步骤6包括，将n1个语义匹配度分数值进行排列，设定第一阈值，选取大于第一阈值的语义匹配度分数值所对应的备选答案的答案集合为匹配答案。本专利技术的有益效果是：(1)本专利技术的方法的目标是学习从一大组输入数据中生成的“特征”，该“特征”在语义建模中起到了重要作用。(2)语义由训练得到的向量模型表示，无需手工构建同义词词典，节省了大量的人力和时间成本。(3)能够在模型的训练过程中有目的性的对词语上下文的语义进行采样。(4)在网络中加入注意力机制，提升某些具有代表性的词语对整个句子语义的贡献度。附图说明图1为本专利技术实施例的整体流程示意图。图2为本专利技术主题文档库的结构示意图。图3为本专利技术主题匹配过程的流程示意图。图4为本专利技术应用环境的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1至图4所示，一种基于卷积神经网络的文档自动问答系统的构建方法，包括以下步骤：步骤1，构建主题文档库；根据不同的应用场景来建立主题文档库，主题文档库中包括k个主题文档，针对k类问题；每个主题文档对应一个问题类型，是一个问题类型的备选答案集合。每一类问题都有其对应的答案集合，一份文档可以看作是某一类主题的备选答案集合。根据系统所服务的问题类型来建立一个完备的文档库。如“请问你们店的商品都支持全国联保吗？”，“请问能退换货吗？”等关于网购退货的问题。其对应的答案集合可由“凭质保证书及本商城发票，可享受全国联保服务”，“客户购买商品7日内，在保证商品完好的前提下，可无理由退货。”等答案组成，每个答案为一句话。基于以上说明，根据不同的应用场景来建立该场景下的主题文档，每个文档对应一个问题类型。步骤2，构造词向量模型；获取语料，利用word2vec工具对语料进行训练，得到词向量模型，一个单词对应词向量模型中的一个词向量w，L为词向量的维度，词向量可以表示单词之间在多维空间中的距离，词向量模型能够准确的表现单词之间的语义相似度，这里的L可以取100。本专利技术收集了中文维基百科，搜狗实验室提供的中文语料，以及从微博上爬取的评论数据，大小约为5GB。利用谷歌公司开源的word2vec工具对语料进行训练，得到一个词向量模型，模型中每个单词对应一个向量，用来表示单词间在多维空间中的距离，该模型能够较准确的表现中文词语之间的语义相似度。步骤3，主题匹配；接收用户提出的第一问题，根据步骤1中构建的主题文档库，对第一问题进行分类，找出第一问题对应的第一主题文档，第一主题文档中有n1个备选答案，一般情况下每个集合不应超过50个备选答案，这里n1取50。在步骤1已完成的基础上，假设已经建立了k个文档，针对k类问题。在接收用户提出的问题之后，需要对该问题进行分类，找出其对应的主题。在此结果上，从该主题的文档中寻找与该问题最匹配的答案。为了准确的匹配主题，本专利技术提供了两种匹配方式：(1)用户自主选择，比如“退货”，“保修”等主题。(2)系统自动匹配。步骤4，构造词向量矩阵；将第一问题划分为m个单词，根据步骤2中的词向本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的文档自动问答系统的构建方法，其特征在于，包括以下步骤：步骤1，构建主题文档库；根据不同的应用场景来建立主题文档库，所述主题文档库中包括k个主题文档，针对k类问题；每个主题文档对应一个问题类型，是一个问题类型的备选答案集合；步骤2，构造词向量模型；获取语料，利用word2vec工具对语料进行训练，得到词向量模型，一个单词对应所述词向量模型中的一个词向量，L为词向量的维度，所述词向量可以表示单词之间在多维空间中的距离，所述词向量模型能够准确的表现单词之间的语义相似度；步骤3，主题匹配；接收用户提出的第一问题，根据步骤1中构建的主题文档库，对所述第一问题进行分类，找出所述第一问题对应的第一主题文档，所述第一主题文档中有n1个备选答案；步骤4，构造词向量矩阵；将第一问题划分为m个单词，根据步骤2中的词向量模型，构造第一问题矩阵A；根据步骤3中的主题匹配得到的第一主题文档，将第一主题文档中的备选答案划分为m个单词，根据步骤2中的词向量模型，构造n1个第一答案矩阵Q，每个备选答案对应一个第一答案矩阵；构造n1个词向量矩阵M，其中M＝＜A，Q＞；步骤5，基于卷积神经网络的语义模型进行语义匹配；所述卷积神经网络的语义模型分为三层；第一层为卷积神经网络层，所述卷积神经网络层的输入为词向量矩阵M，所述卷积神经网络层的卷积核的宽度为所述词向量的维度，所述卷积核的数量为n2；将词向量矩阵M输入到卷积神经网络层，得到n2维的问题特征向量和n2维的答案特征向量；取n3种高度的卷积核，得到n3个问题特征向量和答案特征向量；将n3个问题特征向量组合成问题特征矩阵，将n3个答案特征向量组合成答案特征矩阵；第二层为注意力层，所述注意力层用于对所述问题特征向量和答案特征向量进行加权；所述注意力层的输入为问题特征矩阵和答案特征矩阵，输出为问题句向量和答案句向量；第三层为全连接层，所述全连接层用于计算问题句向量和答案句向量之间的语义匹配度，所述语义匹配度用语义匹配度分数值来表示；步骤6，答案选择过程；根据步骤5，根据n1个词向量矩阵M，计算出n1个语义匹配度分数值，根据所述语义匹配度分数值选择出匹配答案。...

【技术特征摘要】
1.一种基于卷积神经网络的文档自动问答系统的构建方法，其特征在于，包括以下步骤：步骤1，构建主题文档库；根据不同的应用场景来建立主题文档库，所述主题文档库中包括k个主题文档，针对k类问题；每个主题文档对应一个问题类型，是一个问题类型的备选答案集合；步骤2，构造词向量模型；获取语料，利用word2vec工具对语料进行训练，得到词向量模型，一个单词对应所述词向量模型中的一个词向量，L为词向量的维度，所述词向量可以表示单词之间在多维空间中的距离，所述词向量模型能够准确的表现单词之间的语义相似度；步骤3，主题匹配；接收用户提出的第一问题，根据步骤1中构建的主题文档库，对所述第一问题进行分类，找出所述第一问题对应的第一主题文档，所述第一主题文档中有n1个备选答案；步骤4，构造词向量矩阵；将第一问题划分为m个单词，根据步骤2中的词向量模型，构造第一问题矩阵A；根据步骤3中的主题匹配得到的第一主题文档，将第一主题文档中的备选答案划分为m个单词，根据步骤2中的词向量模型，构造n1个第一答案矩阵Q，每个备选答案对应一个第一答案矩阵；构造n1个词向量矩阵M，其中M＝＜A，Q＞；步骤5，基于卷积神经网络的语义模型进行语义匹配；所述卷积神经网络的语义模型分为三层；第一层为卷积神经网络层，所述卷积神经网络层的输入为词向量矩阵M，所述卷积神经网络层的卷积核的宽度为所述词向量的维度，所述卷积核的数量为n2；将词向量矩阵M输入到卷积神经网络层，得到n2维的问题特征向量和n2维的答案特征向量；取n3种高度的卷积核，得到n3个问题特征向量和答案特征向量；将n3个问题特征向量组合成问题特征矩阵，...

【专利技术属性】
技术研发人员：吴明晖，范旭民，金苍宏，朱凡微，赵品通，方格格，
申请(专利权)人：浙江大学城市学院，
类型：发明
国别省市：浙江,33