一种基于seq2seq架构的任务型对话系统和方法技术方案

本发明专利技术提供了一种基于seq2seq架构的任务型对话系统和方法，包括四部分，分别为意图和槽填充网络模块、数据库操作模块、信任追踪模块以及优化和生成网络模块；包括以下步骤：分类任务的bert输出以及输入标签的向量映射到同一个向量空间，槽值提取任务通过CRF层进行训练；数据库操作模块主要根据识别出的槽值，进行其他槽值查询，信任追踪层，将意图和槽值网络模块及数据库操作模块的输出作为输入，将该层的输出作为输入，将意图和生成网络的输入，优化和生成网络模块选择得分最高的作为本轮对话的答案An，并将答案进行后续预测。本发明专利技术将任务型对话系统和闲聊型对话系统相结合，内部结合任务型对话系统的模块，保证了上下文的作用又能够进行整体的优化。的作用又能够进行整体的优化。的作用又能够进行整体的优化。

【技术实现步骤摘要】
一种基于seq2seq架构的任务型对话系统和方法


[0001]本专利技术涉及一种基于seq2seq架构的任务型对话系统和方法，属于智能问答


技术介绍

[0002]传统任务型对话系统，采用pipeline结构。该结构由于采用模块化方式，上游任务参数的错误将传导到下游。闲聊型对话系统采用seq2seq结构，通过Encoder和Decoder模块，生产对应答案。但闲聊型对话系统未考虑上下文的作用，且生成式的NLG答案具有不可控制性。

技术实现思路

[0003]本专利技术目的是提供了一种基于seq2seq架构的任务型对话系统和方法，既考虑上下文影响，避免生成不确定性答案，同时又能进行整体优化。
[0004]本专利技术为实现上述目的，通过以下技术方案实现：
[0005]一种基于seq2seq架构的任务型对话系统，包括四部分，分别为意图和槽填充网络模块、数据库操作模块、信任追踪模块以及优化和生成网络模块；
[0006]所述意图和槽值网络模块，采用Bert+CRF结构进行搭建，Bert用于意图分类，CRF用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于seq2seq架构的任务型对话系统，其特征在于，包括四部分，分别为意图和槽填充网络模块、数据库操作模块、信任追踪模块以及优化和生成网络模块；所述意图和槽值网络模块，采用Bert+CRF结构进行搭建，Bert用于意图分类，CRF用于槽值抽取，该模块预训练三方面任务，分别为意图分类任务、槽值提取任务和Bert本身的掩盖词预测任务；所述数据库操作模块主要根据识别出的槽值，进行其他槽值查询；信任追踪模块，采用了Roberta模型，输出为包含从开始到本轮所有信息的向量S
n+1
；优化和生成网络模块采用分类算法，在已有动作中，选择得分最高的作为本轮对话的答案，并将答案作为信任追踪模块的输入进行后续预测。2.一种使用权利要求1所述的基于seq2seq架构的任务型对话方法，其特征在于，包括以下步骤：1)分类任务的bert输出__CLS__Token a
cls
以及输入标签的向量y
intent
映射到同一个向量空间，通过最大化预测值和标签正例的相似度S
I+
＝h
CLS
h
+intent
以及最小化预测值与标签负例的相似度S
I
‑
＝h
CLS
h
‑
intent
进行优化，具体公式如下：2)槽值提取任务通过CRF层进行训...

【专利技术属性】
技术研发人员：冯卫森，冯落落，李沛，李晓瑜，高明，王建华，尹青山，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：