一种基于深度特征变维机制的智能语义匹配方法和装置制造方法及图纸

本发明专利技术公开了一种基于深度特征变维机制的智能语义匹配方法和装置，属于人工智能、自然语言处理技术领域，本发明专利技术要解决的技术问题为如何捕获更多的语义上下文信息和句子间的交互信息，以实现句子的智能语义匹配，采用的技术方案为：该方法是通过构建并训练由嵌入层、深度特征变维编码层、卷积匹配层和预测层组成的句子匹配模型，实现对句子的深度特征变维编码表示，从而获取更多的语义上下文信息和句子间的交互信息，同时实现卷积匹配机制，以达到对句子进行智能语义匹配的目标。该装置包括句子匹配知识库构建单元、训练数据集生成单元、句子匹配模型构建单元及句子匹配模型训练单元。

An intelligent semantic matching method and device based on depth feature variable dimension mechanism

【技术实现步骤摘要】
一种基于深度特征变维机制的智能语义匹配方法和装置
本专利技术涉及人工智能、自然语言处理
，具体地说是一种基于深度特征变维机制的智能语义匹配方法和装置。
技术介绍
近年来，句子的语义匹配方法在自然语言处理领域越来越受重视。究其原因，是因为众多自然语言处理任务以句子的语义匹配为基础，在一定程度上可以视为句子语义匹配任务的拓展。例如，“自动问答”任务可以通过计算“问题”与“候选答案”的匹配度进行处理；“信息检索”任务可以视为是在计算“查询句子”与“匹配文档”的匹配度。正因如此，句子的语义匹配在自然语言处理领域中起着至关重要的作用。衡量句子之间内在的语义匹配程度是一项非常有挑战性的工作，到目前为止，现有的方法并没有实质性地解决这一问题。通过分析和研究，我们发现现有方法大多都是以卷积神经网络模型或循环神经网络模型为基础的，而这两种模型自身特点和局限性导致其无法彻底解决这一问题。例如，卷积神经网络虽然擅长用不同的核函数捕捉和表示局部特征，但它忽略了文本中的序列信息，而且由于文本数据本身的特点，所以在使用卷积神经网络模型时只能选取1D的卷积核，本文档来自技高网...

【技术保护点】
1.一种基于深度特征变维机制的智能语义匹配方法，其特征在于，该方法是通过构建并训练由嵌入层、深度特征变维编码层、卷积匹配层和预测层组成的句子匹配模型，实现对句子的深度特征变维编码表示，从而获取更多的语义上下文信息和句子间的交互信息，同时实现卷积匹配机制，以达到对句子进行智能语义匹配的目标；具体如下：/n嵌入层对输入的句子进行嵌入操作，并将结果传递给深度特征变维编码层；/n深度特征变维编码层对由嵌入操作获取的结果进行编码操作，得到句子的语义特征表示张量；/n卷积匹配层对两个输入句子的语义特征表示张量进行卷积匹配处理，得到句子对的匹配表征向量；/n在预测层使用一个全连接层对匹配表征向量进行一次映射...

【技术特征摘要】
1.一种基于深度特征变维机制的智能语义匹配方法，其特征在于，该方法是通过构建并训练由嵌入层、深度特征变维编码层、卷积匹配层和预测层组成的句子匹配模型，实现对句子的深度特征变维编码表示，从而获取更多的语义上下文信息和句子间的交互信息，同时实现卷积匹配机制，以达到对句子进行智能语义匹配的目标；具体如下：
嵌入层对输入的句子进行嵌入操作，并将结果传递给深度特征变维编码层；
深度特征变维编码层对由嵌入操作获取的结果进行编码操作，得到句子的语义特征表示张量；
卷积匹配层对两个输入句子的语义特征表示张量进行卷积匹配处理，得到句子对的匹配表征向量；
在预测层使用一个全连接层对匹配表征向量进行一次映射，然后使用sigmoid层将得到的结果映射为指定区间中的一个值作为匹配度数值，根据匹配度数值与设定阀值的相对大小判定输入的句子对之间的语义是否匹配。


2.根据权利要求1所述的基于深度特征变维机制的智能语义匹配方法，其特征在于，所述嵌入层用于构建字词映射转换表、构建输入层及构建字词向量映射层；
其中，构建字词映射转换表：映射规则为：以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成所需的字词映射转换表；其中，字词表通过句子匹配知识库构建；其后，再使用Word2Vec训练字词向量模型，得到各字或词的字词向量矩阵embedding_matrix；
构建输入层：输入层包括两个输入，即嵌入关键特征后的两个句子keys_sentence1、keys_sentence2，将其形式化为：(keys_sentence1,keys_sentence2)；对于输入句子中的每个字或词按照字词映射转换表转化为相应的数字表示；
构建字词向量映射层：加载字词映射转换表构建步骤中训练所得的字词向量矩阵权重来初始化当前层的权重参数；针对输入句子keys_sentence1和keys_sentence2，得到其相应句子向量keys_sentence1_emd、keys_sentence2_emd；句子匹配知识库中每一个句子均通过字词向量映射的方式，将句子信息转化为向量形式。


3.根据权利要求1或2所述的基于深度特征变维机制的智能语义匹配方法，其特征在于，所述深度特征变维编码层的构建过程具体如下：
构建初级编码层：此层接收字词向量映射层的输出作为本层的输入，然后使用一个双向长短期记忆网络BiLSTM对其进行两次编码操作，从而得到两个初级语义特征表示张量，公式如下：






其中，i表示相应字词向量在句子中的相对位置，pi为句子keys_sentence中每个字词的相应向量表示；为经过BiLSTM第一次编码后的keys_sentence句子张量，为经过BiLSTM第二次编码后的keys_sentence句子张量；
构建特征升维层：此层对经过初级编码层处理后得到的两个初级语义特征表示张量进行堆叠升维操作，从而将其合并为一个特征表示张量——升维语义特征表示张量，公式如下：



其中，Add_dim是指增加一个维度并在这个新增的维度中对这两个张量进行堆叠操作，为张量堆叠升维的结果，即升维语义特征表示张量；
构建卷积编码层：此层将升维语义特征表示张量作为输入，通过构造一个基于2*n卷积核的卷积神经网络层对其进行两次编码操作，得到两个卷积语义特征表示张量，公式如下：






其中，为句子keys_sentence经过卷积神经网络第一次编码后的卷积语义特征表示张量，为句子keys_sentence经过卷积神经网络第二次编码后的卷积语义特征表示张量；
构建特征卷积层：此层对卷积编码层输出的两个卷积语义特征表示张量进行联接操作，随后构造一个基于2*n卷积核的卷积神经网络层对其进行一次编码操作，得到句子的最终语义特征表示张量，公式如下：






其中，为上述两个卷积语义特征表示张量的联接结果，为对联接结果进行卷积操作后得到的最终语义特征表示张量。


4.根据权利要求3所述的基于深度特征变维机制的智能语义匹配方法，其特征在于，所述卷积匹配层用于构建卷积匹配机制；其中，构建卷积匹配机制是对经过深度特征变维编码层处理后得到的keys_sentence1、keys_sentence2的最终语义特征表示张量进行联接处理，随后进行卷积匹配操作，从而生成匹配表征向量；公式如下：






其中，表示两个句子的最终语义特征表示张量的联接结果，为经过卷积匹配操作后生成的句子匹配表征张量。


5.根据权利要求4所述的基于深度特征变维机制的智能语义匹配方法，其特征在于，所述预测层构建过程如下：
将构建卷积匹配机制过程中得到的匹配表征向量输入预测层，以判断句子对的语义是否匹配；在预测层中，匹配表征向量经过全连接层处理，再由Sigmoid层进行处理；为了防止发生过拟合的情况，在全连接层设置dropout为0.5，sigmoid层对经过dropout处理后的全连接层的输出进行匹配度计算，得到处于[0,1]之间的匹配度表示ypred，最终通过与设立的阈值0.5进行比较来判别句子对的语义是否匹配，即ypred>0.5时，判定为语义匹配，ypred<0.5时，判定为语义不匹配。


6.根据权利要求5所述的基于深度特征变维机制的智能语义匹配方法，其特征在于，所述句子匹配知识库构建具体如下：
使用爬虫获取原始数据：在网上公共问答平台爬取问题集，得到原始相似句子知识库；或者使用网上公开的句子匹配数据集，作为原始相似句子知识库；
预处理原始数据：预处理原始相似句子知识库中的相似句子对，对每个句子进行断字操作，得到原始句子匹配知识库；
嵌入关键特征：对原始相似句子知识库中的每个句子进行提取关键词操作，并将其作为关键特征嵌入到原始句子匹配知识库中的相应句子里，得到训练所需的句子匹配知识库；
所述句子匹配模型通过使用训练数据集进行训练而得到，训练数据集的构建过程如下：
构建训练正例：将句子匹配知识库中的句子与句子所对应的标准句子进行组合，构建正例，形式化为：(k...

【专利技术属性】
技术研发人员：鹿文鹏，于瑞，张旭，乔新晓，郭韦钰，张维玉，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东;37