一种基于句法感知的文本匹配方法组成比例

本发明专利技术公开一种基于句法感知的文本匹配方法。本发明专利技术通过采用双向LSTM得到两个句子的上下文表示词向量，采用多通道图卷积网络对上下文表示词向量进行处理得到两个句子的句法信息感知词向量，利用门控函数对上下文表示词向量和句法信息感知表示词向量进行动态选择得到两个句子的语义表示词向量，丰富了语义信息，充实了文本表示；通过基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，提高了两个句子匹配的准确度。

【技术实现步骤摘要】
一种基于句法感知的文本匹配方法
本专利技术属于自然语言理解
，具体涉及一种基于句法感知的文本匹配方法。
技术介绍
自然语言文本匹配一般用于识别两个文本/句子之间的关系。关系的类型由特定的任务决定。文本匹配所面临的挑战主要来源于词语的多样性和自然语言的结构性两方面。一方面，词语的多样性来源于自然语言中存在的同义词和多义词问题，不同的词语可以表示同一语义，一个词语在不同的语境下表示不同的语义。另一方面，自然语言的结构性来源于自然语言是以层次化的方式进行组织的，词语可以构成短语，短语连接起来形成句子，其中蕴含了语言的句法结构信息。随着深度学习和神经网络的发展，文本匹配技术的研究逐渐从传统文本匹配技术向基于深度学习的文本匹配技术转移。基于深度学习的文本匹配技术中利用上下文词向量的计算可以更好地解决词语的多样性问题。但是基于深度学习的文本匹配技术仍不能很好地解决语言的结构性这一挑战。有学者提出利用tree-LSTM对句法结构进行建模的方法在文本匹配任务中引入句法信息。与普通的LSTM不同，tree-LSTM的输入是二叉的句法树结构，每个单元对应句法树上的每一个父节点，每一次计算，上一个时刻的左子树的信息和右子树的信息都会传递到父接点上。对输入的两个句子，每个句子会形成一个向量序列，代表着句法树中的每个节点。进行编码后，再利用这两个序列进行匹配整合操作，最后进行分类计算。tree-LSTM每一个节点的计算依赖于上一个或几个节点的输出，这样会导致计算的开销增加，无法在输入上进行并行计算。在文本匹配任务中引入句法信息的现有技术，一般均是利用基于循环神经网络的编码单元对句法结构进行建模，导致模型无法进行并行计算；而且没有考虑句法信息不准确所带来的错误累积问题。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提出一种基于句法感知的文本匹配方法。为实现上述目的，本专利技术采用如下技术方案：一种基于句法感知的文本匹配方法，包括以下步骤：步骤1，将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；步骤2，将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；步骤3，分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；步骤4，分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；步骤5，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。与现有技术相比，本专利技术具有以下有益效果：本专利技术通过采用双向LSTM得到两个句子的上下文表示词向量，采用多通道图卷积网络对上下文表示词向量进行处理得到两个句子的句法信息感知词向量，利用门控函数对上下文表示词向量和句法信息感知表示词向量进行动态选择得到两个句子的语义表示词向量，丰富了语义信息，充实了文本表示；通过基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，提高了两个句子匹配的准确度。附图说明图1为本专利技术实施例一种基于句法感知的文本匹配方法的流程图。具体实施方式下面结合附图对本专利技术作进一步详细说明。本专利技术实施例一种基于句法感知的文本匹配方法，流程图如图1所示，所述方法包括以下步骤：S101、将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；S102、将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；S103、分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；S104、分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；S105、基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。本实施例主要是对输入的两个句子进行匹配，输出它们的关系标签。关系标签的内容可以是相似、不相似，也可以是蕴含、无关和矛盾。采取的技术方案是：针对输入的两个句子，首先将句子中的词表示为词向量，并利用编码器技术获得每个词的上下文表示；然后通过多通道图卷积网络对句法结构信息进行编码；接着，对每个词的上下文表示和句法结构信息进行动态选择得到两个句子的语义表示；最后，基于所有的编码信息对两个句子进行匹配，并进行关系标签的预测。在本实施例中，步骤S101主要用于将输入的两个句子中的词表示成词向量。可通过查询预先训练好的词向量表，获取输入句子中每个单词的词向量表示，分别得到两个句子的词向量序列。在本实施例中，步骤S102主要用于获得两个句子的上下文表示词向量序列。由于仅仅通过步骤S101得到的静态词向量表示文本。缺乏对文本语境的语义信息，因此还通过上下文编码获取每个词在当前上下文的表示。本实施例采用两个双向的LSTM模型分别计算两个输入句子的上下文表示。在本实施例中，步骤S103主要用于利用图卷积网络获得句子的句法信息感知表示词向量。图卷积网络的输入是图结构数据G＝(V,E)。其中，V是顶点集合，本实施例中每个顶点代表一个词向量；任意两个顶点之间的连线称为边，本实施例中每个边表示所连接的两个词向量之间的句法关系(通过句法分析得到)，称为句法边，E是句法边集合。对词向量集合、句法边集合、上下文表示词向量集合进行句法图卷积运算，得到句法信息感知表示词向量。在本实施例中，步骤S104主要用于获得两个句子的语义表示词向量。本实施例的语义表示词向量是上下文表示词向量和句法信息感知表示词向量的融合。为了更灵活地使用句法信息，本实施例将原始的上下文表示词向量和经过句法图卷积处理后的句法信息感知表示词向量，通过门控方式进行动态选择，这样可以避免强制模型必须利用句法信息参与计算。在本实施例中，步骤S105主要用于对两个句子进行匹配，输出表示两个句子关系的标签。前面在将句子表示为词向量的基础上，又得到了上下文表示词向量、句法信息感知表示词向量以及二者融合而成的语义表示词向量。这些处理的目的都是为了获得尽可能丰富的语义信息，充实文本表示，提高文本匹配的准确度。由于语义表示词向量是上下文表示词向量和句法信息感知表示词向量的融合，因此，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，便考虑了前面获得的所有语义信息。作为一种可选实施例，所述S104得到的两个句子P、Q的语义表示词向量的计算公式如下：式中，σ()为门控函数，W1、W2、W3、W4为映射矩阵；为句子P的第i个语义表示词向量，为句子P的第i个句法信息感知表示词向量，为句子P的第i个上下文表本文档来自技高网...

【技术保护点】
1.一种基于句法感知的文本匹配方法，其特征在于，包括以下步骤：/n步骤1，将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；/n步骤2，将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；/n步骤3，分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；/n步骤4，分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；/n步骤5，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。/n

【技术特征摘要】
1.一种基于句法感知的文本匹配方法，其特征在于，包括以下步骤：
步骤1，将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；
步骤2，将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；
步骤3，分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；
步骤4，分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；
步骤5，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。


2.根据权利要求1所述的基于句法感知的文本匹配方法，其特征在于，所述步骤4得到的两个句子P、Q的语义表示词向量的计算公式如下：












式中，σ()为门控函数，W1、W2、W3、W4为映射矩阵；为句子P的第i个语义表示词向量，为句子P的第i个句法信息感知表示词向量，为句子P的第i个语义表示词向量，i＝1,2,…,M，M为句子P中词的个数；为句子Q的第j个句法信息感知表示词向量...

【专利技术属性】
技术研发人员：王春辉，胡勇，
申请(专利权)人：拾音智能科技有限公司，
类型：发明
国别省市：陕西;61