基于Transformer模型的问答方法、问答装置及存储装置制造方法及图纸

本发明专利技术涉及自然语言处理技术领域，具体公开了一种基于Transformer模型的问答方法、问答装置及存储装置。该问答方法包括：获取用户输入的问句文本，对问句文本进行处理，得到问句序列；对问句序列进行解码，获得与问句序列相关的多个候选回答；将问句序列与每个候选回答进行拼接；对每个拼接结果进行打分，选取最高得分对应的候选回答作为问句序列的最优回答。通过上述方式，本发明专利技术能够解决回答问题意图识别不够准确，回复答案不够人性化以及对话过程中的上下文联系不够紧密的问题。

【技术实现步骤摘要】
基于Transformer模型的问答方法、问答装置及存储装置
本专利技术涉及自然语言处理
，特别是涉及一种基于Transformer模型的问答方法、问答装置及存储装置。
技术介绍
传统的线上问答系统的搭建方式是基于流水线的。在单轮问答或领域性知识问答的前提下，通过预先设置好知识库以及知识库内问题对应的答案，当用户提问的时候，首先通过意图识别模块，对用户问句的实际意图进行识别，经过意图识别，缩小知识库的筛选范围，对问题进行召回，再通过深度学习模型进行深度语义的相似度匹配，最终将返回匹配度较高的文本答案。除了基于流水线的方式，当前还有基于端对端的对话系统也正在快速发展。但是基于端对端的问答模型系统相比于传统知识库问答，存在以下弊端：1.回答问题意图识别不够准确。2.回复答案不够人性化。3.对话过程中的上下文联系不够紧密，更像是单轮对话的简单问答。
技术实现思路
本专利技术提供一种基于Transformer模型的问答方法、问答装置及存储装置，能够解决回答问题意图识别不够准确，回复答案不够人性化以及对话过程中的上下文联系不够紧本文档来自技高网...

【技术保护点】
1.一种基于Transformer模型的问答方法，其特征在于，所述问答方法包括：/n获取用户输入的问句文本，对所述问句文本进行处理，得到问句序列；/n对所述问句序列进行解码，获得与所述问句序列相关的多个候选回答；/n将所述问句序列与每个所述候选回答进行拼接；/n对每个所述拼接结果进行打分，选取最高得分对应的所述候选回答作为所述问句序列的最优回答。/n

【技术特征摘要】
1.一种基于Transformer模型的问答方法，其特征在于，所述问答方法包括：
获取用户输入的问句文本，对所述问句文本进行处理，得到问句序列；
对所述问句序列进行解码，获得与所述问句序列相关的多个候选回答；
将所述问句序列与每个所述候选回答进行拼接；
对每个所述拼接结果进行打分，选取最高得分对应的所述候选回答作为所述问句序列的最优回答。


2.根据权利要求1所述的问答方法，其特征在于，所述Transformer模型的网络结构包括解码层和设于所述解码层之后的互信息层，所述对所述问句序列进行解码，获得与所述问句序列相关的多个候选回答的步骤包括：
将所述问句序列输入到解码层中，输出与所述问句序列相关的一个所述候选回答；
循环将所述问句序列与所述解码层的输出结果进行拼接后，再次输入到所述解码层中，获得多个所述候选回答。


3.根据权利要求2所述的问答方法，其特征在于，所述解码层包括：依次设置的自注意力机制模块、前馈网络模块以及归一化处理模块；所述将所述问句序列输入到所述解码层中，输出与所述问句序列相关的一个所述候选回答的步骤包括：
采用所述自注意力机制模块对所述问句序列进行特征提取；
采用所述前馈网络模块对特征提取结果进行非线性变换；
采用所述归一化处理模块对非线性变换结果进行归一化处理。


4.根据权利要求1所述的问答方法，其特征在于，所述获取用户输入的问句文本，对所述问句文本进行处理，得到问句序列的步骤还包括：
获取用户输入的问句文本，所述问句文本包括问句以及包含所述问句的对话句子；
对所述问句和所述对话句子插入标签；
对插入标签后的所述问句进行编码和词嵌入处理，得到所述问句序列，所述问句序列包括：序列编码和位置编码，所述位置编码为相对位置编码。


5.根据权利要求4所述的问答方法，其特征在于，所述对所述问句和所述对话句子插入标签的步骤包括；
在所述问句的开始处插入开始标签，在所述问句的结尾处插入结束标签，在所述对话句子中...

【专利技术属性】
技术研发人员：骆加维，吴信朝，周宸，周宝，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44