一种基于多特征融合的智能客服方法及系统技术方案

本发明专利技术公开一种基于多特征融合的智能客服方法及系统。传统的智能客服系统通过单一特征计算用户提问语句和语料库语句的相似度来检索出答案。本发明专利技术如下一、建立语料库和用户询问数据集。语料库中含有克服所需的问答信息。将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集。二、对语料库中的语句进行预处理；预处理中包括中文分词，以得到词汇表。三、建立和训练相似度识别模块。四、用相似度识别模块判断用户提问语句S1与各个语料库语句S2是否同义；当语料库内的一个语句与用户提问语句S1同义时，将该语句对应的答复信息推送给使用者。本发明专利技术方法通过引入多头注意力机制，提高了客服系统的智能性。

【技术实现步骤摘要】
一种基于多特征融合的智能客服方法及系统
本专利技术涉及自然语言处理及智能客服
，具体涉及一种基于多特征融合的智能客服方法及系统。
技术介绍
智能客服是金融领域的一大研究热点，核心是快速、准确地回答用户的咨询问题。传统的智能客服系统主要是通过单一特征计算用户提问语句和语料库语句的相似度，通过匹配的方式检索出答案。尽管用户提问语句和语料库语句包含相似的关键词，但语义逻辑却可能截然不同。句子相似度是实现智能客服的关键技术，是文本相似度识别的子集。基于深度学习的方法是进行文本相似度计算的重要方法，它从不同角度提取文本中的信息，可以更大限度利用上下文信息，从而提高输入表征的信息量，克服文本语义表示上的鸿沟问题，使计算结果更加准确。基于深度学习的方法利用word2vec等词向量方法将词语转化为词向量后，输入到神经网络模型中，得出句子的语义特征表示，再将语义特征表示送入全连接层或使用距离公式进行语义相似度计算。虽然现有的方法对智能客服数据句子相似度计算有着不错的效果，但是仍然不能满足相似度计算的精度要求。
技术实现思路
本专利技术的本文档来自技高网...

【技术保护点】
1.一种基于多特征融合的智能客服方法，其特征在于：步骤一、建立语料库和用户询问数据集；语料库中含有客服所需的问答信息；将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集；/n步骤二、对语料库中的语句进行预处理；预处理中包括中文分词，以得到词汇表；/n步骤三、模型建立和训练/n3-1.搭建相似度识别模块/n相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层；所述的预处理层用于对用户输入的提问语句S1进行包括中文分词在内的预处理操作；所述的特征提取模块包括语义特征模块和词形特征模块；语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征...

【技术特征摘要】
1.一种基于多特征融合的智能客服方法，其特征在于：步骤一、建立语料库和用户询问数据集；语料库中含有客服所需的问答信息；将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集；
步骤二、对语料库中的语句进行预处理；预处理中包括中文分词，以得到词汇表；
步骤三、模型建立和训练
3-1.搭建相似度识别模块
相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层；所述的预处理层用于对用户输入的提问语句S1进行包括中文分词在内的预处理操作；所述的特征提取模块包括语义特征模块和词形特征模块；语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到语义特征矩阵；特征融合层将语句对的词形特征矩阵和语义特征矩阵横向拼接，形成融合特征矩阵；分类层用于根据融合特征矩阵进行相似度判断，获得提问语句S1与语料库语句S2是否同义的判断结果；
3-2.模型训练
将用户询问数据集输入到步骤3-1记载的相似度识别模块中进行训练；使得训练后的相似度识别模块能够对用户输入的语句与语料库中的各个语句进行相似度计算；
步骤四、使用者将需要解答的用户提问语句S1输入到相似度识别模块中；并逐个将语料库内的语句作为语料库语句S2输入训练后的相似度识别模块中各自进行相似度计算；并根据所得相似度判断用户提问语句S1与各个语料库语句S2是否同义；当语料库内的一个语句与用户提问语句S1同义时，将该语句对应的答复信息推送给使用者。


2.根据如权利要求1所述的一种基于多特征融合的智能客服方法，其特征在于：步骤3-1中，语义特征模块获取语义特征矩阵的过程如下：所述的语义特征模块包括词向量嵌入层、网络编码层、注意力交互层、语义特征融合层；用户提问语句S1和一个语料库语句S2分别经过词向量嵌入层将语句中的各个词映射为对应的词向量，每个词向量均对应一个位置向量；位置向量表示对应的词在词库中的位置；词向量与对应的位置向量的维度相同；将各个词向量分别与对应的位置向量横向拼接在一起，得到带位置信息的特征词向量；
所述的网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络；由用户提问语句S1和一个语料库语句S2得到的带位置信息的特征词向量进入网络编码层后，各自在LSTM网络和Bi-LSTM网络中进行全局语义特征编码；将用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘后，送入CNN网络提取用户提问语句S1与语料库语句S2之间的相似特征信息，得到CNN相似矩阵；
运用多头注意力机制分别获得用户提问语句S1、语料库语句S2的多头注意力；用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度和曼哈顿相似度两个特征提取方法获取深层语义特征，获得余弦相似矩阵和曼哈顿相似矩阵；将用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法、最大值特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵；
将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接，获得语义特征矩阵。


3.根据如权利要求2所述的一种基于多特征融合的智能客服方法，其特征在于：步骤3-1中获取语句的多头注意力的过程如下：语句的多头注意力计算过程如式(1)、(2)、(3)所示；
MultiHead(Q,K,V)＝Concat(head1…headh)W0(1)
其中；MultiHead(Q,K,V)为被计算语句的多头注意力；headi为第i个子空间的注意力，其表达式如式(2)所示；W0为参数矩阵，Concat(·)为拼接矩阵函数；dmodel为词向量的维度；



其中；矩阵Q、K、V相同，均为LSTM网络的语义基础矩阵；Attention(·,·,·)表示注意...

【专利技术属性】
技术研发人员：李美玲，李秀梅，孙军梅，任亚伟，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：浙江;33