Rasa框架下的智能问答方法、系统、装置及存储介质制造方法及图纸

本申请公开了一种Rasa框架下的智能问答方法、系统、装置及计算机可读存储介质，利用意图分类和实体识别联合模型分析语句，得到语句的实体信息以及用户意图；使用新的意图分类和实体识别联合模型，能够整体加快语句分析速度，提高问答效率，利用采用相对位置编码的transformer模型，打破了特征之间的位置关系，不再有位置之间的约束关系，能够更加深入的发现更多的隐形信息，提高了模型的分析精准度，提升了智能问答的准确度，最后基于Rasa框架中的Rasa对话管理模块根据实体信息与用户意图，反馈给用户相匹配的对话，完成智能问答过程。完成智能问答过程。完成智能问答过程。

【技术实现步骤摘要】
Rasa框架下的智能问答方法、系统、装置及存储介质


[0001]本专利技术涉及人工智能领域，特别涉及一种Rasa框架下的智能问答方法、系统、装置及计算机可读存储介质。

技术介绍

[0002]近年来消费金融的快速发展在推动金融机构信贷业务增长的同时，也会无法避免的遇到一个问题：坏账率的提高。如何降低信贷业务的风险，降低坏账率的问题是一个亟待解决的问题。一般情况下：可分为人工催收和机器人催收。人工催收精准率高，但是催收流程复杂和被催收人员的情况复杂，决定了催收专员需要经历一定时间的专业培养才能有能力胜任这一职责，同时催收岗位的人员流动性比较高，导致了人力资源不足且人力成本逐年增加，增加了企业的人力成本，同时如何去考虑人工催收是否违规等问题。机器人催收相对来说减少了企业的人力成本，但是如何正确理解用户的意图，特别是方言、口语化、ASR识别错误等问题是机器人催收亟待解决的问题。同时这两种催收方式有一个共同的问题，都是用户在被动的去回答问题。而如何去调动用户的主观能动性，不仅有利于更好地去解决催收问题，同时也能减少催收成本(催收电话的接通率很低)。
[0003]对话机器人在近几年内有着飞速的发展，技术的种类也层出不穷，例如北京大学的gAnswer，百度的基于检索的AnyQ框架，Google的DeepQA，Facebook的DrQA。但是这个开源框架总的来说只是为了完成对话系统中的某一部分，而Rasa系统是多种技术的混合集成框架，使用文本编辑器配置相关文件，就可以得到一个灵活高效，专有的上下文对话机器人。提供了多种语言，单一或多种意图，以及预训练和自定义实体等功能。Rasa的core提供了多轮对话管理机制，再结合Policy更加高效获取当前意图信息，具备了更好的灵活性。
[0004]Rasa的框架图如图2所示，消息传入后，会被Interpreter(解释器)接收，将消息转换成字典(tokenizer)并转换成特征(features)，提取消息中的实体，意图以及对话的特征数据一起传给Tracker。Tracker是用来追踪对话状态的对象，记录当前的特征、意图、实体和历史状态信息，一起传给Policy。Policy将当前状态以及历史状态一起特征化，使用预测模型预测下一个动作(Action)。Action完成实际动作后，将结果通知给tracker，成为历史状态，同时Action将结果返回给用户。
[0005]部分聊天机器人只是针对意图识别和槽填充任务进行了分析，却未能考虑到在聊天中上轮对话信息可能对下轮对话有直接关联，即指部分专利只考虑分析了单轮对话。而多轮对话与单轮对话有着非常明显的区别，在多轮对话中前轮历史对话信息决定了本轮的回答，所以需要对多轮对话进行对话管理。
[0006]在使用针对多轮对话进行管理的Rasa系统时，现在有技术中，只是单纯地使用Rasa系统自带的工具进行分词、意图识别、槽填充、分类、对话管理等任务，而没有针对其中的不足进行改进，致使现有技术中的Rasa系统无法满足所有场景，准确度有限。
[0007]为此，需要一种准确度更高的智能问答方法。

技术实现思路

[0008]有鉴于此，本专利技术的目的在于提供一种Rasa框架下的智能问答方法、系统、装置及计算机可读存储介质，提高准确度。其具体方案如下：
[0009]一种Rasa框架下的智能问答方法，包括：
[0010]接收用户输入的语句；
[0011]利用意图分类和实体识别联合模型分析所述语句，得到所述语句的实体信息以及用户意图；其中，所述意图分类和实体识别联合模型包括依次相连的ALBERT预训练模型、transformer模型、Bi
‑
LSTM模型和softmax模型；
[0012]利用Rasa对话管理模块接收所述实体信息和所述用户意图；
[0013]根据所述用户意图，所述Rasa对话管理模块选择相应的对话模式；
[0014]所述Rasa对话管理模块利用所述实体信息从与所述对话模式对应的数据库中匹配相应的回答对话，并反馈给所述用户；
[0015]其中，所述transformer模型中采用相对位置编码。
[0016]可选的，所述利用意图分类和实体识别联合模型分析所述语句，得到所述语句的实体信息以及用户意图的过程，包括：
[0017]利用所述ALBERT预训练模型将所述语句转换为向量化矩阵；
[0018]利用所述transformer模型分析所述向量化矩阵，得到第一输出；
[0019]利用所述Bi
‑
LSTM模型分析所述第一输出，得到第二输出；
[0020]利用所述softmax模型分析所述第二输出，得到所述语句的实体信息以及用户意图。
[0021]可选的，所述利用所述ALBERT预训练模型将所述语句转换为向量化矩阵的过程，包括：
[0022]利用所述ALBERT预训练模型对所述语句进行向量化表示，得到embedding参数矩阵。
[0023]可选的，所述利用所述transformer模型分析所述向量化矩阵，得到第一输出的过程，包括：
[0024]所述transformer模型利用多层transformer结构实现repeat操作多次分析所述向量化矩阵，得到所述第一输出。
[0025]可选的，所述利用所述ALBERT预训练模型对所述语句进行向量化表示，得到embedding参数矩阵之后，还包括：
[0026]利用所述embedding参数矩阵与所述transformer模型输出的原始第一输出进行做比较计算残差值，进行恒等映射，得到所述第一输出。
[0027]可选的，所述transformer模型中的self
‑
attention的new_attention函数表达式为：
[0028][0029]式中，new_attention(Q,K,V)表示new_attention函数，random(Q)表示增加随机值后，并保持向量维度不变的query向量，Q表示self
‑
attention中的query向量，K表示
self
‑
attention中的key向量，V表示self
‑
attention中的value向量，d
k
表示Q、K和V三个矩阵的维度，T表示矩阵转置。
[0030]本专利技术还公开了一种Rasa框架下的智能问答系统，包括：
[0031]语句接收模块，用于接收用户输入的语句；
[0032]联合分析模块，用于利用意图分类和实体识别联合模型分析所述语句，得到所述语句的实体信息以及用户意图；其中，所述意图分类和实体识别联合模型包括依次相连的ALBERT预训练模型、transformer模型、Bi
‑
LSTM模型和softmax模型；
[0033]对话管理模块，用于利用Rasa对话管理模块接收所述实体信息和所述用户意图；...

【技术保护点】

【技术特征摘要】
1.一种Rasa框架下的智能问答方法，其特征在于，包括：接收用户输入的语句；利用意图分类和实体识别联合模型分析所述语句，得到所述语句的实体信息以及用户意图；其中，所述意图分类和实体识别联合模型包括依次相连的ALBERT预训练模型、transformer模型、Bi
‑
LSTM模型和softmax模型；利用Rasa对话管理模块接收所述实体信息和所述用户意图；根据所述用户意图，所述Rasa对话管理模块选择相应的对话模式；所述Rasa对话管理模块利用所述实体信息从与所述对话模式对应的数据库中匹配相应的回答对话，并反馈给所述用户；其中，所述transformer模型中采用相对位置编码。2.根据权利要求1所述的Rasa框架下的智能问答方法，其特征在于，所述利用意图分类和实体识别联合模型分析所述语句，得到所述语句的实体信息以及用户意图的过程，包括：利用所述ALBERT预训练模型将所述语句转换为向量化矩阵；利用所述transformer模型分析所述向量化矩阵，得到第一输出；利用所述Bi
‑
LSTM模型分析所述第一输出，得到第二输出；利用所述softmax模型分析所述第二输出，得到所述语句的实体信息以及用户意图。3.根据权利要求2所述的Rasa框架下的智能问答方法，其特征在于，所述利用所述ALBERT预训练模型将所述语句转换为向量化矩阵的过程，包括：利用所述ALBERT预训练模型对所述语句进行向量化表示，得到embedding参数矩阵。4.根据权利要求3所述的Rasa框架下的智能问答方法，其特征在于，所述利用所述transformer模型分析所述向量化矩阵，得到第一输出的过程，包括：所述transformer模型利用多层transformer结构实现repeat操作多次分析所述向量化矩阵，得到所述第一输出。5.根据权利要求4所述的Rasa框架下的智能问答方法，其特征在于，所述利用所述ALBERT预训练模型对所述语句进行向量化表示，得到embedding参数矩阵之后，还包括：利用所述embedding参数矩阵与所述transformer模型输出的原始第一输出进行做比较计算残差值，进行恒等映射，得到所述第一输出。6.根据权利要求1至5任一项所述的Rasa框架下的智能问答方法，其特征在于，所述transformer模型中的self
‑
attention的new_attention函数表达式...

【专利技术属性】
技术研发人员：李电祥，毛骏，陈学珉，
申请(专利权)人：上海畅圣计算机科技有限公司，
类型：发明
国别省市：