基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统技术方案

本发明专利技术公开了一种基于Bi‑LSTM算法的检测咨询语句重复性评价方法及系统，包括输入咨询语句；使用DM模型将所输入的咨询语句转化为对应的词向量表示，使用Embedding的方式将离散的词向量转化为连续的一维句向量；在编码层中将所生成的句向量输入到Bi‑LSTM模型的神经网络；使用互注意力机制将其模型输出结果生成对应互注意力表示；通过距离加权函数来测算出特征向量之间的相似程度；通过多层感知网络进行分类筛选，判断问题语句存在重复值或者不存在重复值。本发明专利技术使用对应语句的句向量而非词向量来进行语义相似度的检测，利用语句的语序信息增加检测的准确率；使用互注意力机制帮助模型从过去和未来来获取语句的语义信息。

【技术实现步骤摘要】
基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统
本专利技术涉及语义重复性评价领域，具体涉及到一种基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统。
技术介绍
已有现有技术将注意力机制(Attention)引入双向长短时记忆网络(Bi-LSTM)，从而用于智能问答系统的研究，如图1所示，在此系统中，句向量层将所输入的语句通过CBOW模型生成相对应的句向量，然后将其输入双向长短时记忆网络中；紧接着，此记忆网络通过对于语句进行训练并结合模型前向和后向的结果进行输出；然后将模型Bi-LSTM模型的输出结果输入到融合了注意力模型Encoder-Decoder框架，从而得到语句相对应的回答。也已有现有技术运用GloVe模型将咨询语句转化为词向量，并使用基于互注意力机制(Co-Attention)孪生长短期记忆模型(SiameseBi-LSTM)将其进行语义重复性的检测，所设计系统的检测流程如图2所示，在此系统中，其通过GloVe模型将所输入的问句转化为对应的词向量，并对所得的词向量进行拼接、求均值等操作。然后将所获得的问句特征向量输入到孪生长短期记忆模型和互注意力模型中，从而得到对应语句的互注意力表示。最后将所得到的语句向量进行相似度的测算并通过分类网络来判断其是否存在重复值。然而，目前的现有技术还存在着以下技术问题：现阶段的深度学习模型在没有使用互注意力机制(Co-Attention)的情况下，无法有效地从语句的上下文两个时态方向去获取语义，从而容易造成语义识别的误差；使用Word2Vec模型或者GloVe模型将语句转化为词向量表示时，模型无法利用语句的语序信息，也容易造成语义识别的误差。
技术实现思路
针对上述技术问题，本专利技术的目的在于提供一种基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统，本专利技术通过将智能学习平台上的咨询语句转化为句向量而非传统的词向量，并且将互注意力机制(Co-Attention)引入双向长短时记忆网络(SiameseBi-LSTM)来检测对应句向量的语义重复程度，提升了对于语句信息的利用率，提高了对于语义重复性识别的准确度，从而减少了重复的咨询语句占用智能学习平台的后端储存空间。为实现上述目的，本专利技术是根据以下技术方案实现的：本专利技术提出一种一种基于Bi-LSTM算法的检测咨询语句重复性评价方法，其特征在于，包括如下步骤：步骤S1：输入咨询语句；步骤S2：使用DM模型将所输入的咨询语句转化为对应的词向量表示，使用Embedding的方式将离散的词向量转化为连续的一维句向量；步骤S3：在编码层中将所生成的句向量输入到Bi-LSTM模型的神经网络中；步骤S4：使用互注意力机制将Bi-LSTM模型的输出结果生成对应的互注意力表示；步骤S5:通过距离加权函数来测算出特征向量之间的相似程度；步骤S6:通过多层感知网络进行分类筛选，从而判断问题语句存在重复值或者不存在重复值。本专利技术优选的技术方案在于，步骤S1中设定咨询语句包括W1和W2，记为：S(W1,W2),其中，当S(W1,W2)→1时，表示两个咨询语句的语义相似或相同，即此组语句存在重复值；当S(W1,W2)→0时，表示两个咨询语句的语义不相同，即此组语句不存在重复值。本专利技术优选的技术方案在于，步骤S1进一步包括不同的咨询语句分别输入到神经网络的子网络中。本专利技术优选的技术方案在于，步骤S2还包括对DM模型进行训练，训练步骤包括：DM模型生成一个与词向量拥有相同维数的语句识别向量；将所有的咨询语句的向量和词向量进行累加处理，得到对应的语句向量；将对应的语句向量传递到下一层的编码层中。本专利技术优选的技术方案在于，步骤S3包括步骤S31：使用神经网络算法进行计算生成的句向量；步骤S32：使用LSTM模型从后向以及前向每个时间步的隐藏层状态进行连接操作，并且通过连接函数计算出Bi-LSTM所输出的每个句向量。本专利技术优选的技术方案在于，所述步骤S4包括：步骤S41：使用互注意力机制对Bi-LSTM模型进行优化，构造语义的相似度矩阵；步骤S42：对相似度矩阵的行和列进行最大池化来对池化层进行特征提取，从而得到对应语句的互注意力表示。本专利技术优选的技术方案在于，所述DM模型通过GloVe模型或者Word2Vec模型替换。本专利技术优选的技术方案在于，所述距离加权函数为欧氏距离加权函数或者马氏距离加权函数或者明氏距离加权函数。本专利技术还提出了一种基于Bi-LSTM算法的检测咨询语句重复性评价系统，其特征在于，包括：咨询语句输入部，其用于输入咨询语句；词向量表示部，其通过DM模型将所输入的咨询语句转化为对应的词向量表示；一维句向量表示部，其通过Embedding的方式将离散的词向量转化为连续的一维句向量；Bi-LSTM模型，Bi-LSTM模型用于通过自身的神经网络接收通过在编码层中将所生成的句向量；互注意力机制表示部，其对所述Bi-LSTM模型的生成结果生成对应的互注意力表示；距离加权函数计算部，其用于测算特征向量之间的相似程度；多层感知部，其通过多层感知网络进行分类筛选，从而判断问题语句存在重复值或者不存在重复值。本专利技术与现有技术相比，具有如下优点：1.本专利技术使用对应语句的句向量而非词向量来进行语义相似度的检测，能够更好地利用语句的语序信息，从而增加检测的准确率。2.本专利技术使用互注意力机制(Co-attention)能帮助模型从过去和未来两个不同的时态来获取语句的语义信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1为现有技术的智能问答系统示意图；图2为另一种现有技术设计系统的检测流程示意图；图3为使用本申请模型来进行语句重复性检测的流程示意图。图4为使用DM模型生成句向量的过程示意图；图5为使用互注意力机制生成对应的互注意力表示示意图；图6为使用欧氏距离加权函数计算欧式距离的示意图；图7为判断问题语句存在重复值或者不存在重复值的示意图；图8为模型试验结果示意图；图9为在同样使用词向量下各模型的判断准确率示意图；图10为在同样使用句向量下各模型的判断准确率示意图；图11为使用句向量之后各模型准确率的变动示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。本文档来自技高网...

【技术保护点】
1.一种基于Bi-LSTM算法的检测咨询语句重复性评价方法，其特征在于，包括如下步骤：/n步骤S1：输入咨询语句到神经网络中；/n步骤S2：使用DM模型将所输入的咨询语句转化为对应的词向量表示，使用Embedding的方式将离散的词向量转化为连续的一维句向量；/n步骤S3：在编码层中将所生成的句向量输入到Bi-LSTM模型的神经网络中；/n步骤S4：使用互注意力机制将Bi-LSTM模型的输出结果生成对应的互注意力表示；/n步骤S5:通过距离加权函数来测算出特征向量之间的相似程度；/n步骤S6:通过多层感知网络进行分类筛选，从而判断问题语句存在重复值或者不存在重复值。/n

【技术特征摘要】
1.一种基于Bi-LSTM算法的检测咨询语句重复性评价方法，其特征在于，包括如下步骤：
步骤S1：输入咨询语句到神经网络中；
步骤S2：使用DM模型将所输入的咨询语句转化为对应的词向量表示，使用Embedding的方式将离散的词向量转化为连续的一维句向量；
步骤S3：在编码层中将所生成的句向量输入到Bi-LSTM模型的神经网络中；
步骤S4：使用互注意力机制将Bi-LSTM模型的输出结果生成对应的互注意力表示；
步骤S5:通过距离加权函数来测算出特征向量之间的相似程度；
步骤S6:通过多层感知网络进行分类筛选，从而判断问题语句存在重复值或者不存在重复值。


2.根据权利要求1所述的评价方法，其特征在于，步骤S1中设定咨询语句包括W1和W2，记为：S(W1,W2),其中，
当S(W1,W2)→1时，表示两个咨询语句的语义相似或相同，即此组语句存在重复值；
当S(W1,W2)→0时，表示两个咨询语句的语义不相同，即此组语句不存在重复值。


3.根据权利要求2所述的评价方法，其特征在于，步骤S1进一步包括不同的咨询语句分别输入到神经网络的子网络中。


4.根据权利要求3所述的评价方法，其特征在于，步骤S2还包括对DM模型进行训练，训练步骤包括：
DM模型生成一个与词向量拥有相同维数的语句识别向量；
将所有的咨询语句的向量和词向量进行累加处理，得到对应的语句向量；
将对应的语句向量传递到下一层的编码层中。


5.根据权利要求4所述的评价方法，其特征在于，...

【专利技术属性】
技术研发人员：黄伟波，刘江辉，谢柏儒，
申请(专利权)人：广东外语外贸大学，
类型：发明
国别省市：广东;44