一种训练分类模型、对文本分类的方法及装置制造方法及图纸

本申请提供了一种训练分类模型、对文本分类的方法及装置。使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型。可以提高分类模型对更多表述方式的文本分类的准确率、对具有更少量字符的文本分类的准确率以及对具有“输入文本以及模板文本”的文本中的输入文本以及提示文本预测用于在分类标签填写位上填写的输入文本的分类标签的准确率，如此，可增加的分类模型的鲁棒性以及健壮性等，进而可提高分类模型对文本分类的准确率。对文本分类的准确率。对文本分类的准确率。

【技术实现步骤摘要】
一种训练分类模型、对文本分类的方法及装置


[0001]本申请涉及计算机领域，特别涉及一种训练分类模型、对文本分类的方法及装置。

技术介绍

[0002]当前，网络上出现了越来越多的服务平台，服务平台可以为对用户提供服务，例如，购物平台为广大购物者提供购物服务，游戏平台为广大玩家提供游戏服务以及聊天平台为广大聊天者提供聊天服务等，为了更好地对为用户提供服务以提高服务平台的竞争力，可以搜集用户的偏好分类，以根据用户的偏好分类针对性地为用户提供服务，以实现在为用户提供服务的情况下尽可能地满足用户的核心需求，以增加用户对服务平台的粘性。

技术实现思路

[0003]本申请示出了一种训练分类模型、对文本分类的方法及装置。
[0004]第一方面，示出了一种训练分类模型的方法，包括：获取预训练的语言模型；获取原始训练文本以及原始训练文本的原始分类标签，原始训练文本中至少具有原始输入文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；原始训练文本的原始分类标签是至少根据原始输入文本的分类标签得到的；根据原始训练文本以及原始分类标签获取掩码训练文本以及掩码训练文本的掩码分类标签；掩码训练文本中至少具有掩码输入文本以及模板文本，掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，掩码分类标签是至少根据原始分类标签得到的和/或至少根据原始输入文本中的被掩码的至少一个字符得到的；根据原始训练文本以及原始分类标签获取一致性训练文本以及一致性训练文本的一致性分类标签；一致性训练文本中至少具有模板文本以及与原始输入文本语义相关的一致性输入文本；一致性输入文本中的字符与原始输入文本中的字符不全相同，一致性分类标签是至少根据原始分类标签得到的；至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型。
[0005]第二方面，示出了一种对文本分类的方法，包括：获取待处理文本，待处理文本中至少具有待分类文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；基于已训练出的分类模型，预测用于在待处理文本中的模板文本中的分类标签填写位上填写的待处理文本的分类标签；根据待处理文本的分类标签获取待分类文本的分类标签；其中，已训练出的分类模型是至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习后得到的；原始训练文本中至少具有原始输入文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；原始训练文本的原始分类标签是至少根据原始输入文本的分类标签得到的；掩码训练文本中至少具有掩码输入文本以及模板文本，掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，掩码分类标签是至少根据原始训练文本的原始分类标签得到的和/或至少根据原始输入文
本中的被掩码的至少一个字符得到的；一致性训练文本中具有模板文本以及与原始输入文本语义相关的一致性输入文本；一致性输入文本中的字符与原始输入文本中的字符不全相同，一致性分类标签是至少根据原始分类标签得到的。
[0006]第三方面，示出了一种训练分类模型的装置，包括：第一获取模块，用于获取预训练的语言模型；获取原始训练文本以及原始训练文本的原始分类标签，原始训练文本中至少具有原始输入文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；原始训练文本的原始分类标签是至少根据原始输入文本的分类标签得到的；第二获取模块，用于根据原始训练文本以及原始分类标签获取掩码训练文本以及掩码训练文本的掩码分类标签；掩码训练文本中至少具有掩码输入文本以及模板文本，掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，掩码分类标签是至少根据原始分类标签得到的和/或至少根据原始输入文本中的被掩码的至少一个字符得到的；第三获取模块，用于根据原始训练文本以及原始分类标签获取一致性训练文本以及一致性训练文本的一致性分类标签；一致性训练文本中至少具有模板文本以及与原始输入文本语义相关的一致性输入文本；一致性输入文本中的字符与原始输入文本中的字符不全相同，一致性分类标签是至少根据原始分类标签得到的；优化模块，用于至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型。
[0007]第四方面，示出了一种对文本分类的装置，包括：第四获取模块，用于获取待处理文本，待处理文本中至少具有待分类文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；预测模块，用于基于已训练出的分类模型，预测用于在待处理文本中的模板文本中的分类标签填写位上填写的待处理文本的分类标签；第五获取模块，用于根据待处理文本的分类标签获取待分类文本的分类标签；其中，已训练出的分类模型是至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习后得到的；原始训练文本中至少具有原始输入文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；原始训练文本的原始分类标签是至少根据原始输入文本的分类标签得到的；掩码训练文本中至少具有掩码输入文本以及模板文本，掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，掩码分类标签是至少根据原始训练文本的原始分类标签得到的和/或至少根据原始输入文本中的被掩码的至少一个字符得到的；一致性训练文本中具有模板文本以及与原始输入文本语义相关的一致性输入文本；一致性输入文本中的字符与原始输入文本中的字符不全相同，一致性分类标签是至少根据原始分类标签得到的。
[0008]第五方面，本申请示出了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行如前述的任一方面所示的方法。
[0009]第六方面，本申请示出了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前述的任一方面所示的方法。
[0010]第七方面，本申请示出了一种计算机程序产品，当计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如前述的任一方面所示的方法。
[0011]一方面，在对预训练的语言模型针对分类标签填写位的分类预测任务的优化学习
的场景中，具有一致性训练文本以及一致性训练文本的一致性分类标签。一致性训练文本中至少具有模板文本以及与原始输入文本语义相关的一致性输入文本。一致性输入文本中的字符与原始输入文本中的字符不全相同，一致性分类标签是至少根据原始分类标签得到的。并且也具有原始训练文本以及原始训练文本的原始分类标签。
[0012]如此可以支持根据原始训练文本、原始分类标签、一致性训练文本以及一致本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练分类模型的方法，其特征在于，所述方法包括：获取预训练的语言模型；获取原始训练文本以及原始训练文本的原始分类标签，原始训练文本中至少具有原始输入文本以及模板文本，模板文本中包括提示文本以及分类标签填写位；原始训练文本的原始分类标签是至少根据原始输入文本的分类标签得到的；根据原始训练文本以及原始分类标签获取掩码训练文本以及掩码训练文本的掩码分类标签；掩码训练文本中至少具有掩码输入文本以及模板文本，掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，掩码分类标签是至少根据原始分类标签得到的和/或至少根据原始输入文本中的被掩码的至少一个字符得到的；根据原始训练文本以及原始分类标签获取一致性训练文本以及一致性训练文本的一致性分类标签；一致性训练文本中至少具有模板文本以及与原始输入文本语义相关的一致性输入文本；一致性输入文本中的字符与原始输入文本中的字符不全相同，一致性分类标签是至少根据原始分类标签得到的；至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型。2.根据权利要求1所述的方法，其特征在于，所述至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型，包括：至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的至少一轮优化学习，得到分类模型；其中的任意一轮优化学习包括：根据原始训练文本、原始分类标签、一致性训练文本以及一致性分类标签获取语言模型的KL散度损失值；根据原始训练文本以及原始分类标签获取语言模型的原始交叉熵损失值；根据掩码训练文本以及掩码分类标签获取语言模型的掩码交叉熵损失值；至少根据KL散度损失值、原始交叉熵损失值以及掩码交叉熵损失值，对语言模型进行针对分类标签填写位的分类预测任务的优化学习。3.根据权利要求2所述的方法，其特征在于，所述掩码训练文本包括第一掩码训练文本以及第二掩码训练文本；第一掩码训练文本中至少具有第一掩码输入文本以及模板文本，第一掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，第一掩码训练文本的第一掩码分类标签是至少根据原始分类标签得到的；第二掩码训练文本中至少具有第二掩码输入文本以及模板文本，第二掩码输入文本是在原始训练文本中对原始输入文本中的至少一个字符掩码后得到的，第二掩码训练文本的第二掩码分类标签是至少根据原始输入文本中的被掩码的至少一个字符得到的；所述根据掩码训练文本以及掩码分类标签获取语言模型的掩码交叉熵损失值，包括：根据第一掩码训练文本以及第一掩码分类标签获取语言模型的第一掩码交叉熵损失值；以及，根据第二掩码训练文本以及第二掩码分类标签获取语言模型的第二掩码交叉熵
损失值。4.根据权利要求3所述的方法，其特征在于，所述至少根据KL散度损失值、原始交叉熵损失值以及掩码交叉熵损失值，对语言模型进行针对分类标签填写位的分类预测任务的优化学习，包括：至少根据KL散度损失值、原始交叉熵损失值、第一掩码交叉熵损失值以及第二掩码交叉熵损失值获取综合损失值；至少根据所述综合损失值，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习。5.根据权利要求4所述的方法，其特征在于，所述至少根据KL散度损失值、原始交叉熵损失值、第一掩码交叉熵损失值以及第二掩码交叉熵损失值获取综合损失值，包括：至少对KL散度损失值、原始交叉熵损失值、第一掩码交叉熵损失值以及第二掩码交叉熵损失值加权求和，得到所述综合损失值。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据原始训练文本以及原始分类标签获取干扰训练文本以及干扰训练文本的干扰分类标签；干扰训练文本中至少具有干扰文本、原始输入文本以及模板文本；干扰分类标签是至少根据原始分类标签得到的；相应地，所述至少使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本以及一致性分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型，包括：使用原始训练文本、原始分类标签、掩码训练文本、掩码分类标签、一致性训练文本、一致性分类标签、干扰训练文本以及干扰分类标签，对预训练的语言模型进行针对分类标签填写位的分类预测任务的优化学习，得到分类模型；以及，在...

【专利技术属性】
技术研发人员：赵磊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：