【技术实现步骤摘要】
本申请实施例涉及对话状态跟踪，特别是涉及一种用于对话状态跟踪的预训练模型训练方法、电子设备、存储介质和计算机程序产品。
技术介绍
1、相关技术中，任务型对话(tod，task-oriented dialogues)在我们的日常生活中非常常见，比如我们预订酒店或餐厅的时候。对话状态跟踪(dst，dialogue statetracking)任务在当前的tod系统中至关重要。其目标是根据领域下的对话历史了解用户的需求。例如，图1中有一个餐厅预订。系统应找出用户对餐厅的要求。对话状态(beliefstate)就是对话历史中的域-槽-值三元组。
2、随着预训练语言模型(plms，pre-trained language models)的发展，许多研究工作已将plms应用在dst任务上。其中，许多工作试图利用大量的外部对话语料来帮助下游的dst任务。以tod-bert为例，它基于bert架构，在140万条对话语料上进行了预训练。此外，soloist还在766k对话语料上对gpt2进行了进一步的预训练。pptod采用t5作为骨干模型，使...
【技术保护点】
1.一种用于对话状态跟踪的预训练模型训练方法，包括：
2.根据权利要求1所述的方法，其中，所述模型的输入为所述对话历史和所述对话状态的拼接，所述模型的输出为被破坏部分的原始数据。
3.根据权利要求1所述的方法，其中，所述模型为序列到序列的生成式预训练语言模型。
4.根据权利要求1所述的方法，其中，所述多个辅助任务包括对话状态掩盖、对话历史掩盖、用户话语生成、前轮系统回复生成、用户对话排列和系统响应排列。
5.根据权利要求4所述的方法，其中，对于所述对话状态掩盖，随机掩盖对话状态中的域、槽和值，对话历史保持不变，使所述模型...
【技术特征摘要】
1.一种用于对话状态跟踪的预训练模型训练方法，包括：
2.根据权利要求1所述的方法，其中，所述模型的输入为所述对话历史和所述对话状态的拼接，所述模型的输出为被破坏部分的原始数据。
3.根据权利要求1所述的方法，其中，所述模型为序列到序列的生成式预训练语言模型。
4.根据权利要求1所述的方法，其中，所述多个辅助任务包括对话状态掩盖、对话历史掩盖、用户话语生成、前轮系统回复生成、用户对话排列和系统响应排列。
5.根据权利要求4所述的方法，其中，对于所述对话状态掩盖，随机掩盖对话状态中的域、槽和值，对话历史保持不变，使所述模型输出原始对话状态；
6.根据权利...
【专利技术属性】
技术研发人员：俞凯，陈露，刘韫聪，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。