【技术实现步骤摘要】
面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
本专利技术涉及人工智能、自然语言处理
，具体涉及一种面向银行咨询服务基于多粒度对齐的文本对语义匹配方法和装置。
技术介绍
文本对语义匹配任务旨在判断两个文本的语义是否一致，是许多自然语言处理任务的基础。在银行客户在线咨询服务中，文本对语义匹配可以用来判断用户提出的问题与系统回复的语义是否匹配，即判断是否可用该回答回复用户；也可用来判断用户咨询的问题与系统中存储的问题语义是否一致，即是否可以用系统中存储的标准问题所对应的答案来回复用户的咨询。文本对语义匹配是一项极具挑战的工作，该问题目前还未能完善解决。现有方法可以分为基于表示的方法和基于交互的方法。基于表示的方法分别对两个文本进行编码，抽取出深层语义信息，然后对两个文本的深层语义信息计算语义相似度；这种方法虽然可以通过设计编码器来捕获文本蕴含的语义信息，但是忽略了在编码过程中文本对相似性信息缺失的问题，并且因为缺乏交互操作，所以获取的交互信息有限。基于交互的方法则是在文本深层语义信息被抽取出来前执行交互操作，随...
【技术保护点】
1.面向银行咨询服务基于多粒度对齐的文本对语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、多粒度对齐模块、特征融合编码模块以及标签预测模块构成的文本对语义匹配模型，获取不同文本间的字和词粒度的相关性信息，并进一步得到文本在不同粒度上的最终语义表示，随后通过特征融合编码得到文本的深层语义信息表示，同时计算文本间相似度得到最终的文本对语义匹配张量，最后根据文本对语义匹配张量预测文本对的匹配程度，以达到判断文本对语义是否匹配的目标；具体如下：/n多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到文本的多粒度嵌入表示；/n多粒度对齐模块对不同文本间的...
【技术特征摘要】
1.面向银行咨询服务基于多粒度对齐的文本对语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、多粒度对齐模块、特征融合编码模块以及标签预测模块构成的文本对语义匹配模型，获取不同文本间的字和词粒度的相关性信息，并进一步得到文本在不同粒度上的最终语义表示，随后通过特征融合编码得到文本的深层语义信息表示，同时计算文本间相似度得到最终的文本对语义匹配张量，最后根据文本对语义匹配张量预测文本对的匹配程度，以达到判断文本对语义是否匹配的目标；具体如下：
多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到文本的多粒度嵌入表示；
多粒度对齐模块对不同文本间的字和词粒度嵌入表示分别进行编码和软对齐操作，同时增强文本语义表示的质量，分别得到文本的字和词最终语义表示；
特征融合编码模块对文本的字和词最终语义表示进行融合，并对其进行编码得到文本的深层语义特征表示，根据相似度计算得到最终的文本对语义匹配张量；
标签预测模块对最终的文本对语义匹配张量进行处理，从而得出一个匹配度数值，将其与设立的阈值进行比较，以此判断文本对的语义是否匹配。
2.根据权利要求1所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法，其特征在于，所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层；
其中，构建字词映射转换表：映射规则为：以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成所需的字词映射转换表；其后，使用Word2Vec训练字词向量模型，得到各字词的字词向量矩阵；
构建输入模块：输入层包括四个输入，对于训练数据集中的每一个文本对或待预测的文本对，对其进行断字和分词预处理，分别获取text1_char、text2_char、text1_word和text2_word，其中后缀char、word分别表示对相应文本进行断字或分词处理而得；对于输入文本中的每个字或词都按照字词映射转换表转化为相应的数字标识；
构建字词向量映射层：加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数；输入文本text1_char、text2_char、text1_word、text2_word，得到其相应向量text1_char_embed、text2_char_embed、text1_word_embed、text2_word_embed；文本对语义匹配知识库中每一个文本都可以通过字词向量映射的方式，将文本信息转化为向量形式，即字嵌入表示和词嵌入表示。
3.根据权利要求1或2所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法，其特征在于，所述多粒度对齐模块的构建过程具体如下：
第一层编码结构使用LSTM对两个文本的字和词嵌入表示分别进行编码，得到字和词特征表示；随后将字和词嵌入表示与对应的字和词特征表示分别进行Concatenate合并得到字和词浅层语义表示，并将字和词浅层语义表示传递给第二层编码结构；对于文本1，公式如下：
其中，[；]表示Concatenate合并操作，N为文本长度；和分别表示文本1在字粒度下的第i个位置处的字嵌入表示和字特征表示；和分别表示表示文本1在词粒度下第m个位置处的词嵌入表示和词特征表示；和分别表示文本1在字粒度下第i个位置的字浅层语义表示和在词粒度下第m个位置的词浅层语义表示；对于文本2，公式如下：
其中，各符号意义与公式(1)、(2)大致相同，不同的是，Q表示文本2，j表示文本2在字粒度下的第j个位置，n表示文本2在词粒度下的第n个位置；其余表示与此类比，即可明确意义，不再一一赘述；
进一步地，第二层编码结构对于接收的两个文本的字浅层语义表示进行软对齐注意力机制，得到对齐的字浅层语义表示；对于接收的两个文本的词浅层语义表示进行软对齐注意力机制，得到对齐的词浅层语义表示；对于字粒度的软对齐注意力机制，公式如下：
其中，s1ij为在字粒度下文本1的第i个位置和文本2第j个位置的相似度权重，和的含义与公式(1)、(3)一致；为在字粒度下文本1在第i个位置处的对齐的字浅层语义表示，它是根据相似度权重对文本2中每个字的字浅层语义表示加权求和得到的，同理表示文本1在第j个位置处的对齐的字浅层语义表示；
对于词粒度的软对齐注意力机制，公式如下：
其中各符号含义与公式(5)-(7)大致相同，只是将上标c代表的字粒度改为上标w代表的词粒度；和分别表示在词粒度下文本1在第m个位置处的词浅层语义表示和对齐的词浅层语义表示，和分别表示在词粒度下文本2在第n个位置处的词浅层语义表示和对齐的词浅层语义表示；
进一步地，因为文本1得到的对齐的字或词浅层语义表示是从文本2的字或词浅层语义表示中获得的，所以分别将文本1得到的对齐的字和词浅层语义表示与文本2的字和词浅层语义表示使用Add相加，分别作为文本2的字和词最终语义表示；同样的方法，分别得到文本1的字和词最终语义表示；公式如下：
其中，pc、qc、pw、qw分别表示文本1和文本2在字粒度上所有字浅层语义表示的集合，以及在词粒度上所有词浅层语义表示的集合；分别表示文本1和文本2在字粒度上所有对齐的字浅层语义表示的集合，以及词粒度上所有对齐的词浅层语义表示的集合；分别表示文本1和文本2在字粒度上的字最终语义表示，分别表示文本1和文本2在词粒度上的词最终语义表示。
4.根据权利要求1或3所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法，其特征在于，所述特征融合编码模块的构建过程具体如下：
特征融合编码模块进一步处理多粒度对齐模块中生成的字和词最终语义表示，首先将每个文本的字和词最终语义表示使用Add相加进行融合，从而得到文本特征表示；随后使用LSTM对文本特征表示进行编码，得到文本编码结果，并将文本特征表示与文本编码结果使用Concatenate拼接后传递给BiLSTM进一步编码，从而得到文本的深层语义特征；公式如下：
pl＝BiLSTM([p；LSTM(p)]),(14)
ql＝BiLSTM([q；LSTM(q)]).(15)
其中，[；]表示Concatenate拼接，与公式(11)和公式(12)的含义一致；p表示文本1的特征表示，q表示文本2的特征表示；pl表示文本1的深层语义特征，ql表示文本2的深层语义特征；
进一步地，对文本1和文本2的深层语义特征，使用两种相似度计算公式计算文本语义相似度，并将两种公式的结果进行拼接，作为最终的文本对语义匹配张量；公式如下：
f＝[|pl-ql|；pl⊙ql].(16)
其中，[；]表示拼接操作，⊙表示按元素位置相乘，pl表示文本1的深...
【专利技术属性】
技术研发人员：鹿文鹏，赵鹏宇，张骞，阚保硕，左有慧，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。