【技术实现步骤摘要】
面向智能交互的句子对语义匹配方法和装置
本专利技术涉及人工智能、自然语言处理
，具体涉及一种面向智能交互的句子对语义匹配方法和装置。
技术介绍
随着人工智能技术的发展，越来越多的智能系统被广泛应用于人们的日常生活中，如阿里智能客服机器人、苹果Siri智能语音助手等。如何与这些智能系统进行有效的交互，是决定用户体验的一个关键因素。目前，大多数智能系统可通过图形用户接口、键盘、鼠标、语言和手势等进行交互控制。其中，语言交互是最重要的人机交互方式；对于人类而言，该方式最为便捷。通过语言交互，用户的指令以语言的形式直接传送给智能系统，而系统的反馈以语言的形式直接传送给用户。对于一个理想的智能系统，其应该能够理解用户语言，执行用户的指示，并以恰当的语言反馈用户。句子对语义匹配在智能人机交互中有着重要的应用。比如，在自动问答系统中，智能系统接收用户提出的问题，将用户问题与标准问答知识库中的问题进行匹配，将匹配的标准问题的答案反馈给用户，将能够有效提升用户在人机交互中的体验。句子对语义匹配在自动问答系统、推荐系统、自然语言推理等面向...
【技术保护点】
1.一种面向智能交互的句子对语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、多级对齐匹配网络模块、特征增强模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的多级对齐匹配表示，从而获得上下文的深层语义信息和句子间的交互信息，通过一维最大池化和交互生成句子对的匹配张量并判定句子对的匹配度，达到句子对智能匹配的目标；具体如下：/n多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；/n多级对齐匹配网络模块对句子的多粒度嵌入表示进行编码操作，得到句子的多级对齐匹配网络表示；/n特征增强模块对句子对的多级对齐匹配网络表示进...
【技术特征摘要】
1.一种面向智能交互的句子对语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、多级对齐匹配网络模块、特征增强模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的多级对齐匹配表示，从而获得上下文的深层语义信息和句子间的交互信息，通过一维最大池化和交互生成句子对的匹配张量并判定句子对的匹配度，达到句子对智能匹配的目标；具体如下：
多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；
多级对齐匹配网络模块对句子的多粒度嵌入表示进行编码操作，得到句子的多级对齐匹配网络表示；
特征增强模块对句子对的多级对齐匹配网络表示进行进一步地一维最大池化和特征交互操作，得到句子对的匹配向量；
标签预测模块将句子对的匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配度与预设的阈值进行比较，根据比较结果，判定句子对的语义是否匹配。
2.根据权利要求1所述的面向智能交互的句子对语义匹配方法，其特征在于，所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层；
其中，构建字词映射转换表：映射规则为以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成字词映射转换表；其后，再使用Word2Vec训练字词向量模型，得到各字词的字词向量矩阵；
构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_charsentence2_char，sentence1_word，sentence2_word)；对于输入句子中的每个字和词都按照字词映射转换表转化为相应的数字标识；
构建字词向量映射层：加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数；针对输入句子sentence1_char、sentence2_char、sentence1_word和sentence2_word得到其相应句子向量sentence1_char_embed、sentence2_char_embed、sentence1_word_embed和sentence2_word_embed。
3.根据权利要求1或2所述的面向智能交互的句子对语义匹配方法，其特征在于，所述多级对齐匹配网络模块的构建过程具体如下：
首先构建基本模块，而后构建由基本模块组成的多级对齐匹配网络模块；
构建基本模块：该模块的核心功能是实现基本的对齐匹配操作，是多级对齐匹配网络的基础组件；基本模块先将输入的两个张量进行点积运算得到非规格化的注意力权重矩阵e，公式如下：
eij＝aiTbj,i∈(1,...,la),j∈(1,...,lb)(1)
其中，e表示注意力权利矩阵，eij表示张量1的第i个位置对张量2的第j个位置的注意力权重，a表示张量1，ai表示张量1在第i个位置处的嵌入表示，la表示张量1的长度；b表示张量2，bj表示张量2在第j个位置处的嵌入表示，lb表示张量2的长度；
基本模块对注意力权重矩阵e进行规格化处理并进行对齐操作得到对齐结果，公式如下：
其中，eij是张量1的第i个位置对张量2的第j个位置的注意力权重；是对ai的对齐结果，对应对齐结果1；同理，是对bj的对齐结果，对应对齐结果2；ai，bj，la，lb与公式(1)中的含义相同，此处不再赘述；
由于对齐结果2由输入的张量1计算所得，所以加强版对齐结果1为输入的张量1与对齐结果2的和，同理，由于对齐结果1由输入的张量2计算所得，所以加强版对齐结果2为输入的张量2与对齐结果1的和，公式如下：
其中，a、b分别表示输入的张量1、张量2所有分量的集合，即公式(1)中的张量1和张量2；分别表示公式(2)、(3)的对齐结果1、对齐结果2所有分量的集合；分别表示加强版对齐结果1、加强版对齐结果2所有分量的集合；
由基本模块构建多级对齐匹配网络模块：
多级对齐匹配网络模块的第一层编码结构双向长短期记忆网络BiLSTM1对多粒度嵌入模块输出的字嵌入表示和词嵌入表示分别进行编码操作以得到初步的第一层字编码结果和第一层词编码结果；具体来说，句子1的第一层字编码结果和第一层词编码结果的公式如下：
其中，和分别表示句子1在第i个位置处的字嵌入表示和在第j个位置处的词嵌入表示；和分别表示句子1在第i个位置处的第一层字编码结果和在第j个位置处的第一层词编码结果；la表示在字粒度下句子1的长度，lb表示在词粒度下句子1的长度；
将句子1的第一层字编码结果和第一层词编码结果和送入一号基本模块进行第一次对齐匹配操作之句子1的字粒度和词粒度对齐匹配，得到加强版对齐结果集合和公式如下：
其中，eij表示句子1的字粒度与词粒度的注意力权重，和分别表示在字粒度下句子1的第i个位置处的对齐结果和在词粒度下句子1的第j个位置处的对齐结果；进行加强版对齐操作的公式如下：
其中，q1c表示句子1的第一层字编码结果的集合，由公式(6)中的组成；q1w表示句子1的第一层词编码结果的集合，由公式(7)中的组成；表示句子1字粒度对齐结果的集合，由公式(9)中的组成；表示句子1词粒度对齐结果的集合，由公式(10)中的组成；和分别表示句子1字粒度加强版对齐结果的集合与词粒度加强版对齐结果的集合；
相应地，句子2的第一层字编码结果和第一层词编码结果分别记为和将和送入二号基本模块进行第一次对齐匹配操作之句子2的字粒度和词粒度对齐匹配得到加强版对齐结果集合和与句子1的操作类似，只是更改为与句子2相关的操作，故在此不再赘述；
将句子1的字粒度和词粒度加强版对齐结果集合进行concatenate连接操作得到q1concat，将句子2进行类似操作可得q2concat，公式如下：
其中，q1concat表示将句子1字粒度与词粒度加强版对齐结果连接后的集合，q2concat表示将句子2字粒度与词粒度加强版对齐结果连接后的集合；表示公式(11)中的句子1字粒度加强版对齐结果的集合，表示公式(12)中的句子1词粒度加强版对齐结果的集合；的含义与类似，只是更改为与句子2相关的操作，在此不再赘述；
将q1concat和q2concat送入三号基本模块进行第二次对齐匹配操作，即进行句子1和句子2的对齐，得到加强版对齐结果集合q1'align2和q2'align2；
第二层编码结构BiLSTM2使用双向长短期记忆网络对句子1和句子2第二次对齐操作输出的加强版对齐结果集合q1'align2和q2'align2分别进行编码操作以得到第二层编码结果集合q1bilstm2和q2bilstm2，公式如下：
q1bilstm2＝BiLSTM2(q1'align2)(15)
q2bilstm2＝BiLSTM2(q2'align2)(16)
将上述经过BiLSTM2后的编码结果集合q1bilstm2和q2bilstm2送入四号基本模块进行第三次对齐匹配操作，得到最终的加强版对齐结果集合q1'align3和q2'align3。
<...
【专利技术属性】
技术研发人员：鹿文鹏，左有慧，张旭，阚保硕，赵鹏宇，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。