【技术实现步骤摘要】
本申请实施例涉及对话状态跟踪，特别是涉及一种用于对话状态跟踪的预训练模型训练方法、电子设备、存储介质和计算机程序产品。
技术介绍
1、相关技术中，任务型对话(tod，task-oriented dialogues)在我们的日常生活中非常常见，比如我们预订酒店或餐厅的时候。对话状态跟踪(dst，dialogue statetracking)任务在当前的tod系统中至关重要。其目标是根据领域下的对话历史了解用户的需求。例如，图1中有一个餐厅预订。系统应找出用户对餐厅的要求。对话状态(beliefstate)就是对话历史中的域-槽-值三元组。
2、随着预训练语言模型(plms，pre-trained language models)的发展，许多研究工作已将plms应用在dst任务上。其中，许多工作试图利用大量的外部对话语料来帮助下游的dst任务。以tod-bert为例，它基于bert架构，在140万条对话语料上进行了预训练。此外，soloist还在766k对话语料上对gpt2进行了进一步的预训练。pptod采用t5作为骨干模型，使用了超过230万条对话语料。而galaxy则在约3600万条对话语料上训练unilm。
3、在外部大型对话语料库上进行预训练后，这些模型通常在dst任务中表现更好。因此，许多研究人员都在探索如何利用更多的外部数据。
技术实现思路
1、本专利技术实施例提供了一种用于对话状态跟踪的预训练模型训练方法、电子设备和存储介质，用于至少解决上述技术问
2、第一方面，本专利技术实施例提供了一种用于对话状态跟踪的预训练模型训练方法，包括：将预训练模型分别在多个辅助任务上训练，其中，所述多个辅助任务为具有去噪目标的标签感知辅助任务，对于每个辅助任务，对对话历史或对话状态加噪，所述每个辅助任务的目标是在剩余上下文的帮助下恢复被损坏的内容；以及将训练后的预训练模型在对话状态跟踪任务上微调。
3、第二方面，本专利技术实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术上述任一项用于对话状态跟踪的预训练模型训练方法。
4、第三方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述任一项用于对话状态跟踪的预训练模型训练方法。
5、第四方面，本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项用于对话状态跟踪的预训练模型训练方法。
6、本申请的方案提出了用于对话状态跟踪的标签感知辅助学习方法(laldst，label-aware auxiliary learning for dst)，该方法侧重于利用目标dst数据集丰富的内部信息来提高性能。专利技术人设计了标签感知辅助任务，在这些任务中，专利技术人对对话历史或对话状态标签应用噪声函数，并将它们拼接到一起作为输入。每个任务的目标都是恢复被破坏的上下文。在训练过程中，专利技术人首先在辅助任务上进一步训练大型预训练语言模型，然后在dst上对其进行微调。
本文档来自技高网...【技术保护点】
1.一种用于对话状态跟踪的预训练模型训练方法，包括：
2.根据权利要求1所述的方法，其中，所述模型的输入为所述对话历史和所述对话状态的拼接，所述模型的输出为被破坏部分的原始数据。
3.根据权利要求1所述的方法，其中，所述模型为序列到序列的生成式预训练语言模型。
4.根据权利要求1所述的方法，其中，所述多个辅助任务包括对话状态掩盖、对话历史掩盖、用户话语生成、前轮系统回复生成、用户对话排列和系统响应排列。
5.根据权利要求4所述的方法，其中，对于所述对话状态掩盖，随机掩盖对话状态中的域、槽和值，对话历史保持不变，使所述模型输出原始对话状态；
6.根据权利要求4所述的方法，其中，所述对话状态掩盖能够帮助所述模型更好地理解对话上下文和领域知识；
7.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述方法的步骤。
8.一种存储介质，其
9.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至6任一项所述方法的步骤。
...【技术特征摘要】
1.一种用于对话状态跟踪的预训练模型训练方法，包括：
2.根据权利要求1所述的方法，其中，所述模型的输入为所述对话历史和所述对话状态的拼接，所述模型的输出为被破坏部分的原始数据。
3.根据权利要求1所述的方法，其中，所述模型为序列到序列的生成式预训练语言模型。
4.根据权利要求1所述的方法，其中，所述多个辅助任务包括对话状态掩盖、对话历史掩盖、用户话语生成、前轮系统回复生成、用户对话排列和系统响应排列。
5.根据权利要求4所述的方法，其中，对于所述对话状态掩盖，随机掩盖对话状态中的域、槽和值，对话历史保持不变，使所述模型输出原始对话状态；
6.根据权利...
【专利技术属性】
技术研发人员：俞凯，陈露，刘韫聪，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。