智能客服问题匹配方法及装置制造方法及图纸

本发明专利技术提供了一种智能客服问题匹配方法及装置，属于智能客服技术领域。方法包括：将句子1、句子2的初始词向量输入强化自注意力模型中，得到句子向量1、句子向量2；将句子1、句子2输入BiLSTM模型得到句子向量3、句子向量4；根据句子向量1、句子向量2、句子向量3、句子向量4得到句子1与句子2各个词、句子2与句子1各个词之间的关联得分，将关联得分输入BILSTM模型得到句子1、句子2的最终句子向量1、最终句子向量2；将最终句子向量1、最终句子向量2与句子向量1、句子向量2得到句子1与句子2之间的相似度；根据相似度确定与用户问题匹配的答案。本发明专利技术的技术方案能够提升智能客服系统搜索结果的准确度。

【技术实现步骤摘要】
智能客服问题匹配方法及装置
本专利技术涉及智能客服
，特别是指一种智能客服问题匹配方法及装置。
技术介绍
随着新一轮科技革命的萌发，大数据的形成、理论算法的革新、计算能力的提升和网络设施的演进，人工智能发展进入新的阶段。大量深度学习算法的落地使得人工智能领域开始了产业链式的大规模发展。智能化成为技术和产业发展的重要方向。自动驾驶、智能医疗、智能制造、智能客服机器人等大量智能化服务实现产业化发展并开始在人们的生活中显露出重要的作用。随着智能化服务的普及，人们对智能交互的接受程度越来越高，对自动化流程的适应能力越来越强，这使得从互联网渠道进行智能化产品推广、销售、以及客户服务的市场变得十分可观。大量智能客服机器人如雨后春笋般涌现。无论是基于商品售后的淘宝机器人“小蜜”，还是基于知识搜索的搜狗机器人“汪仔”，甚至基于用户喜好与闲聊的微软机器人“小冰”，都使得智能客服的概念深入人心。各种智能客服机器人基于各自领域与特定功能进行算法设计与迭代，包括问题匹配、情感分析、自动生成回答等方法，并基于面向客户群体的类别与产品自身定位进行合适回复的筛本文档来自技高网...

【技术保护点】
1.一种智能客服问题匹配方法，其特征在于，包括：/n将候选问答库中的句子1、句子2的初始词向量输入预先预训练好的强化自注意力模型中，分别得到句子向量1、句子向量2；/n将所述候选问答库中的句子1、句子2输入基于注意力交互的多层双向BiLSTM模型分别得到句子向量3、句子向量4；/n根据句子向量1、句子向量2、句子向量3、句子向量4得到句子1与句子2各个词之间的关联得分，以及句子2与句子1各个词之间的关联得分；将所述关联得分输入BILSTM模型分别得到句子1、句子2的最终句子向量1、最终句子向量2；/n将所述最终句子向量1、最终句子向量2与所述句子向量1、所述句子向量2得到句子1与句子2之间的相...

【技术特征摘要】
1.一种智能客服问题匹配方法，其特征在于，包括：
将候选问答库中的句子1、句子2的初始词向量输入预先预训练好的强化自注意力模型中，分别得到句子向量1、句子向量2；
将所述候选问答库中的句子1、句子2输入基于注意力交互的多层双向BiLSTM模型分别得到句子向量3、句子向量4；
根据句子向量1、句子向量2、句子向量3、句子向量4得到句子1与句子2各个词之间的关联得分，以及句子2与句子1各个词之间的关联得分；将所述关联得分输入BILSTM模型分别得到句子1、句子2的最终句子向量1、最终句子向量2；
将所述最终句子向量1、最终句子向量2与所述句子向量1、所述句子向量2得到句子1与句子2之间的相似度；
根据句子之间的相似度确定与用户问题匹配的答案。


2.根据权利要求1所述的智能客服问题匹配方法，其特征在于，还包括：
获取用户反馈；
将用户反馈为满意的问答存入所述候选问答库中。


3.根据权利要求1所述的智能客服问题匹配方法，其特征在于，还包括：
将所述候选问答库分成至少一个标准答案池，每个标准答案池中含有答案对应的标准问题以及多个用户问题；
将每个标准答案池作为一个类别，通过基于强化学习的自注意力模型进行多分类学习。


4.根据权利要求3所述的智能客服问题匹配方法，其特征在于，所述通过基于强化学习的自注意力模型进行多分类学习包括：
将所述候选问答库中的用户问题句子一分为二，将句子前半段和后半段分别进行wordembedding映射，并分别通过所述强化自注意力模型生成句子向量A和句子向量B；
连接句子向量A，B，A+B以及A⊙B，通过全连接层和softmax，以所述用户问题句子所属标准答案池作为标签label，优化多分类交叉熵目标函数。


5.根据权利要求1所述的智能客服问题匹配方法，其特征在于，利用所述强化自注意力模型输出句子向量包括：
输入经过embeeding映射的句子向量x＝[x1,...,xn]；
通过预设概率分布采样分别得到两个由1和0构成的长度为n的向量生成mask矩阵：



将向量x各个元素之间的得分f(xi,xj)构成的矩阵与mask矩阵Mijrss按元素加和，得到自注意力得分frss(xi,xj)，对每一个xj进行softmax操作，
得到
得到上下文向量通过融合门将s与x结合，得到最终句子向量u；
其中，F＝sigmoid(W(f)[x；s]+b(f)),u＝F⊙x+(1-F)⊙s。


6.根据权利要求1所述的智能客服问题匹配方法，其特征在于，所述多层双向BiLSTM模型由4层结合注意力attention的BiLSTM组成，每一层BiLSTM的输入都由上一层隐层输出，上一层注意力模型的输出，以及上一层的输入三者连接而成；每一层的隐层输入都由当前输入和上一时刻当前层的隐层输出构成。


7.根据权利要求6所述的智能客服问题匹配方法，其特征在于，所述将候选问答库中的句子1、句子2输入基于注意力交互的多层双向BiLSTM模型分别得到句子向量3、句子向量4包括：
将所述候选问答库中的句子1、句子2的词向量、字向量、词性标注POS向量、命名实体识别NER向量、精确匹配EM向量输入所述多层双向BiLSTM模型，得到句子1中每个词与句子2的关联矩阵；
将得到的关联矩阵输入自编码层，进行预设的特征降维，通过max-pooling层得到句子向量3和句子向量4。


8.根据权利要求1所述的智能客服问题匹配方法，其特征在于，所述根据句子向量1、句子向量2、句子向量3、句子向量4得到句子1与句子2各个词之间的关联得分，以及句子2与句子1各个词之间的关联得分；将所述关联得分输入BILSTM模型分别得到句子1、句子2的最终句子向量1、最终句子向量2包括：
将句子向量1、句子向量2、句子向量3、句子向量4连结得到相似矩阵；
根据所述相似矩阵计算句子1中每个词对句子2中每个词产生的关联得分；
将所述关联得分输入一层BiLSTM模型中，得到句子1、句子2的最终句子向量1、最终句子向量2。


9.根据权利要求1所述的智能客服问题匹配方法，其特征在于，所述将所述最终句子向量1、最终句子向量2与所述句子向量1、所述句子向量2得到句子1与句子2之间的相似度包括：
将所述最终句子向量1、最终句子向量2与所述句子向量1、所述句子向量2连接，构成向量[最终句子向量1；最终句子向量2；最终句子向量1⊙最终句子向量2；句子向量1⊙句子向量2]；
通过全连接层和softmax，得到句子1与句子2之间的相似度。


10.一种智能客服问题匹配装置，其特征在于，包括：
第一处理...

【专利技术属性】
技术研发人员：殷丹平，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11