面向教育咨询服务的智能语义匹配方法和装置制造方法及图纸

本发明专利技术公开了一种面向教育咨询服务的智能语义匹配方法和装置，属于人工智能、自然语言处理技术领域。本发明专利技术要解决的技术问题为判断句子对的语义是否一致，采用的技术方案为：通过构建并训练由多粒度嵌入模块、双注意力语义匹配模块、特征聚合模块及标签预测模块构成的语义匹配模型，通过对句子的字词粒度进行自注意力操作以获取关键语义特征表示，并进行句子间的互注意力操作，以获取句子对相互感知的语义对齐特征表示并编码，随后度量句子对相似性，并与感知上下文的语义对齐特征表示聚合，以判断句子对的语义是否一致。该装置包括句子对语义匹配知识库构建单元、训练数据集生成单元、句子对语义匹配模型构建单元及句子对语义匹配模型训练单元。匹配模型训练单元。匹配模型训练单元。

【技术实现步骤摘要】
面向教育咨询服务的智能语义匹配方法和装置


[0001]本专利技术涉及人工智能、自然语言处理
，具体涉及一种面向教育咨询服务的智能语义匹配方法和装置。

技术介绍

[0002]句子对语义匹配任务旨在衡量两个句子所蕴含的语义意图是否一致，是许多自然语言处理任务的重要基础。随着相关政策的调整，教育咨询的需求不断增长。教育咨询服务正以科技形态出现在人们的生活中，以大数据、云计算以及人工智能为代表的高新科技，将从根本上改变传统教育咨询的运作方式。对于教育咨询服务，句子对语义匹配就是一项至关重要的工作。句子对语义匹配可用以衡量用户咨询的问题和教育咨询服务后台数据库中所包含标准问题的语义是否一致，从而选择标准问题的答案答复用户的咨询。句子对语义匹配任务是一项基础性且极具挑战性的工作，该工作所面临的许多问题目前还没有完善的解决方案，即使是针对特定领域的句子对语义匹配工作也有许多亟待解决的问题。
[0003]目前句子对语义匹配任务的解决方案大致可以分为两类，一类是基于表示的方法，该类方法通过对两个句子分别进行编码来获得两个句子各自的语义特征表示，随后通过相似度函数度量两个句子的语义相似性；另一类方法是基于交互的方法，这类方法首先对两个句子进行编码操作，随后通过注意力机制来实现两个句子之间的特征交互操作，最后将两个句子的特征表示传入相似度函数进行计算。在句子对语义匹配任务中，基于表示的方法有实现方式简单高效且训练速度快的优点，但是缺乏一个句子对另外一个句子的语义特征感知，从而使得提取到的语义特征较为单一。相较于基于表示的语义匹配方法，基于交互的句子对语义匹配方法，在获得自身语义特征的同时，还可以从自身语义特征出发去感知另外一个句子的语义特征，从而可以得到更加全面丰富的语义特征表示。具体到中文的句子对语义匹配任务，不少工作考虑了中文中单个字可以表达一定语义的特点，故而有些工作考虑将字词粒度分别进行编码以提取不同粒度的语义信息，同时进行一些交互操作，但是许多工作忽视了对句子对进行字词粒度的自注意力机制以提取关键的语义特征，同时也忽略了将得到的关键语义特征表示进行句子对之间的语义感知与对齐。
[0004]针对现有的句子对语义匹配方法存在的不足，本专利技术提出了一种面向教育咨询服务的智能语义匹配方法和装置。该方法首先对句子进行多粒度嵌入处理，捕获更加全面细致的语义特征信息；实现一种双注意力语义匹配模块，对句子的字词粒度分别进行编码，随后通过对两个句子的字词粒度进行自注意力操作以提取其所包含的关键语义特征表示，并对两个句子的同一粒度进行互注意力机制以获取句子对的语义对齐特征表示，并对提取到的语义对齐特征表示进行编码以感知上下文语义信息，从而可以提取到感知上下文的语义对齐特征表示；实现一种特征聚合模块，度量两个句子的相似性，并与感知上下文的语义对齐特征表示进行连接，随后进行一维最大池化操作；实现标签预测模块，以达到判断句子对所蕴含的语义是否一致的目的。

技术实现思路

[0005]本专利技术的技术任务是提供面向教育咨询服务的智能语义匹配方法和装置，通过自注意力机制捕获关键语义特征表示且通过互注意力机制捕获语义对齐特征表示，随后进行特征聚合，以达到判断句子对所蕴含的语义意图是否一致的目的。
[0006]本专利技术的技术任务是按以下方式实现的，面向教育咨询服务的智能语义匹配方法和装置，属于人工智能、自然语言处理
本专利技术要解决的技术问题为判断句子对的语义是否一致，采用的技术方案为：通过构建并训练由多粒度嵌入模块、双注意力语义匹配模块、特征聚合模块及标签预测模块构成的语义匹配模型，通过对句子的字词粒度进行自注意力操作以获取关键语义特征表示，并进行句子间的互注意力操作，以获取句子对相互感知的语义对齐特征表示并编码，随后度量句子对相似性，并与感知上下文的语义对齐特征表示聚合，以判断句子对的语义是否一致；具体如下：
[0007]多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的字词嵌入表示；
[0008]双注意力语义匹配模块对句子的字词嵌入表示依次进行自注意力与互注意力操作，得到句子的语义特征表示；
[0009]特征聚合模块对句子的语义特征表示与相关度量进行聚合并进行一维最大池化操作，得到句子对的语义匹配向量；
[0010]标签预测模块将句子对的语义匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配值与预设的阈值进行比较，根据比较结果，判定句子对的语义意图是否一致。
[0011]作为优选，所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层；
[0012]其中，构建字词映射转换表：映射规则为以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成本专利技术所需的字词映射转换表；其中，字词表根据句子对语义匹配断字处理知识库和分词处理知识库来构建，该知识库通过对句子对语义匹配知识库的原始数据文本进行断字预处理和分词预处理操作而得；其后，再使用Word2Vec训练字词向量模型，得到各字词的字词向量矩阵；
[0013]构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_char sentence2_char，sentence1_word，sentence2_word)；对于输入句子中的每个字和词都按照字词映射转换表转化为相应的数字标识；
[0014]构建字词向量映射层：加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数；针对输入句子sentence1_char、sentence2_char、sentence1_word和sentence2_word得到其相应句子向量sentence1_char_embed、sentence2_char_embed、sentence1_word_embed和sentence2_word_embed；句子对语义匹配知识库中每一个句子都可以通过字词向量映射的方式，将句子信息转化为向量形式。
[0015]更优地，所述双注意力语义匹配模块的构建过程具体如下：
[0016]字词粒度深层编码表示的提取：首先使用LSTM编码器对句子的字词嵌入表示进行
编码操作以获取浅层编码表示，继而使用BiLSTM编码器对字词粒度浅层编码表示与字词嵌入表示的融合表示进行编码以获取深层编码表示；对于句子1，公式如下：
[0017][0018][0019]其中，(；)表示concatenate连接操作，L为句子的长度，P
ic
和分别表示句子1在第i个位置处的字嵌入表示和字粒度深层编码表示，和分别表示句子1在第m个位置处的词嵌入表示和词粒度深层编码表示；对于句子2，公式如下：
[0020本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向教育咨询服务的智能语义匹配方法，其特征在于，该方法通过构建并训练由多粒度嵌入模块、双注意力语义匹配模块、特征聚合模块及标签预测模块构成的语义匹配模型，通过对句子的字词粒度进行自注意力操作以获取关键语义特征表示，并进行句子间的互注意力操作，以获取句子对相互感知的语义对齐特征表示并编码，随后度量句子对相似性，并与感知上下文的语义对齐特征表示聚合，以判断句子对的语义是否一致；具体如下：多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的字词嵌入表示；双注意力语义匹配模块对句子的字词嵌入表示依次进行自注意力与互注意力操作，得到句子的语义特征表示；特征聚合模块对句子的语义特征表示与相关度量进行聚合并进行一维最大池化操作，得到句子对的语义匹配向量；标签预测模块将句子对的语义匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配值与预设的阈值进行比较，根据比较结果，判定句子对的语义意图是否一致。2.根据权利要求1所述的面向教育咨询服务的智能语义匹配方法，其特征在于，所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层；其中，构建字词映射转换表：映射规则为以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成字词映射转换表；其后，再使用Word2Vec训练字词向量模型，得到各字词的字词向量矩阵；构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_char sentence2_char，sentence1_word，sentence2_word)；对于输入句子中的每个字和词都按照字词映射转换表转化为相应的数字标识；构建字词向量映射层：加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数；针对输入句子sentence1_char、sentence2_char、sentence1_word和sentence2_word得到其相应句子向量sentence1_char_embed、sentence2_char_embed、sentence1_word_embed和sentence2_word_embed。3.根据权利要求1所述的面向教育咨询服务的智能语义匹配方法，其特征在于，所述双注意力语义匹配模块的构建过程具体如下：字词粒度深层编码表示的提取：首先使用LSTM编码器对句子的字词嵌入表示进行编码操作以获取浅层编码表示，继而使用BiLSTM编码器对字词粒度浅层编码表示与字词嵌入表示的融合表示进行编码以获取深层编码表示；对于句子1，公式如下：示的融合表示进行编码以获取深层编码表示；对于句子1，公式如下：其中，(；)表示concatenate连接操作，L为句子的长度，P
ic
和分别表示句子1在第i个
位置处的字嵌入表示和字粒度深层编码表示，和分别表示句子1在第m个位置处的词嵌入表示和词粒度深层编码表示；对于句子2，公式如下：嵌入表示和词粒度深层编码表示；对于句子2，公式如下：其中，公式(3)和(4)的符号含义与公式(1)和(2)大致相同，区别在于，Q表示句子2，j表示句子2在字粒度下的第j个位置，n表示句子2在词粒度下的第n个位置，其余表示可以类比表示；关键语义特征表示的提取：对经过循环神经网络编码后得到的句子对的字词粒度深层编码表示进行自注意力操作，即对句子1的字粒度和词粒度分别进行自注意力操作，得到句子1在字粒度级别下的关键语义特征表示与词粒度级别下的关键语义特征表示，可以以此类推句子2；对于句子1的字粒度和词粒度下的自注意力机制以及关键语义特征表示的提取，公式如下：取，公式如下：取，公式如下：取，公式如下：其中，tanh是一种激活函数，C
p1
和C
p2
表示句子1在字粒度级别下可训练的权重参数，W
p1
和W
p2
表示句子1在词粒度级别下可训练的权重参数，和分别表示句子1在字粒度和词粒度级别下的深层编码表示的集合，分别由公式(1)中的和公式(2)中的组成，p
c'
和p
w'
分别表示句子1在字粒度和词粒度级别下的注意力矩阵，M
pc
和M
pw
分别表示句子1在字粒度和词粒度级别下所包含的关键语义特征表示的集合，该关键语义特征的个数是一个超参数，同理可提取出句子2在字词粒度下所包含的关键语义特征表示，公式如下：出句子2在字词粒度下所包含的关键语义特征表示，公式如下：出句子2在字词粒度下所包含的关键语义特征表示，公式如下：出句子2在字词粒度下所包含的关键语义特征表示，公式如下：其中，C
q1
和C
q2
表示句子2在字粒度级别下可训练的权重参数，W
q1
和W
q2
表示句子2在词粒度级别下可训练的权重参数，和分别表示句子2在字粒度和词粒度级别下的深层编码表示的集合，分别由公式(3)中的和公式(4)中的组成，q
c'
和q
w'
分别表示句子2在字粒度和词粒度级别上的注意力矩阵，M
qc
和M
qw
分别表示句子2在字粒度和词粒度级别下所包含的关键语义特征表示的集合，该关键语义特征的个数是一个超参数；
语义对齐特征表示的提取：对得到的两个句子的字粒度关键语义特征表示和词粒度关键语义特征表示进行同一粒度的互注意力操作，即在字粒度下进行句子1和句子2的互注意力操作，得到字粒度级别下的句子1与句子2的语义对齐特征表示，在词粒度下进行句子1和句子2的互注意力操作，得到词粒度级别的句子1与句子2的语义对齐特征表示；对于字粒度级别下的句子对的互注意力机制，公式如下：级别下的句子对的互注意力机制，公式如下：级别下的句子对的互注意力机制，公式如下：其中，exp是指数函数，H是关键语义特征表示的个数，和分别为字粒度级别下句子1第i个关键语义特征表示和句子2第j个关键语义特征表示，属于公式(6)、(10)...

【专利技术属性】
技术研发人员：鹿文鹏，左有慧，张国标，于瑞，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：