一种工单分类模型训练方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及计算机技术领域，尤其涉及人工智能技术领域，提供一种工单分类模型训练方法、装置、电子设备和存储介质，用以提高模型的准确性。其中，方法包括：获取工单样本集，工单样本包括：相应客服工单的类别标签及对话文本信息，对话文本信息是基于相应客服工单记录的客服会话得到的；基于各个工单样本的类别标签，从工单样本集中筛选出待扩展的参考工单样本；基于预设数据增广策略，对参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本；基于各个工单样本和获得的扩展工单样本进行模型训练，获得已训练的工单分类模型。本申请通过对客服工单的对话文本信息进行数据增广，均衡各类工单样本的数量，可有效提高模型准确性。高模型准确性。高模型准确性。

【技术实现步骤摘要】
一种工单分类模型训练方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，尤其涉及人工智能
，提供一种工单分类模型训练方法、装置、电子设备和存储介质。

技术介绍

[0002]在客服领域中，例如：归档业务、推荐相似工单、多轮对话意图分类等场景，都需要以客服工单作为原始数据进行模型训练。
[0003]以客服系统中的工单智能归档模型为例，在相关的归档系统中，主要通过大量人工归档的历史服务工单作为原始的训练数据，该过程中，训练数据主要是客服工单这种轮数较多、语境固定、诉求明确的长对话，可使用多轮对话模型作为原始模型进行多分类任务训练。
[0004]由于该场景涵盖业务繁杂，归档目录经常变动，在应用过程中产生了数以千计的归档路径、学习难度过大，且不同的归档路径使用率差异巨大，长尾问题严重(指少量类别占据了绝大多数样本，大量的类别仅有少量的样本)，导致模型效果达不到可用的预期。
[0005]因而，如何解决训练数据中长尾问题对模型训练带来的影响，进而提高模型的准确性亟待解决的。

技术实现思路

[0006]本申请实施例提供一种工单分类模型训练方法、装置、电子设备和存储介质，用以提高模型的准确性。
[0007]本申请实施例提供的一种工单分类模型训练方法，包括：
[0008]获取工单样本集，每个工单样本包括：相应客服工单的类别标签，以及所述相应客服工单的业务处理对象与业务服务对象之间的对话文本信息，所述对话文本信息是基于所述相应客服工单记录的客服会话得到的；r/>[0009]基于各个工单样本的类别标签，从所述工单样本集中筛选出至少一个待扩展的参考工单样本；
[0010]基于预设数据增广策略，分别对至少一个参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本，所述预设数据增广策略用于指示：对所述对话文本信息进行非关键信息替换，所述非关键信息为替换前后不改变所述对话文本信息的语义的信息；
[0011]基于各个工单样本和获得的扩展工单样本进行模型训练，获得已训练的工单分类模型，所述工单分类模型用于确定待分类客服工单所属的工单类别。
[0012]本申请实施例提供的一种工单分类模型训练装置，包括：
[0013]获取单元，用于获取工单样本集，每个工单样本包括：相应客服工单的类别标签，以及所述相应客服工单的业务处理对象与业务服务对象之间的对话文本信息，所述对话文本信息是基于所述相应客服工单记录的客服会话得到的；
[0014]筛选单元，用于基于各个工单样本的类别标签，从所述工单样本集中筛选出至少一个待扩展的参考工单样本；
[0015]增广单元，用于基于预设数据增广策略，分别对至少一个参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本，所述预设数据增广策略用于指示：对所述对话文本信息进行非关键信息替换，所述非关键信息为替换前后不改变所述对话文本信息的语义的信息；
[0016]训练单元，用于基于各个工单样本和获得的扩展工单样本进行模型训练，获得已训练的工单分类模型，所述工单分类模型用于确定待分类客服工单所属的工单类别。
[0017]可选的，所述预设数据增广策略包括以下至少一种：
[0018]用于对对话文本信息中的非关键信息进行同义词替换的同义词替换策略；
[0019]用于对话文本信息进行非关键信息交叉的段落交叉策略；
[0020]用于对对话文本信息中的非关键信息进行掩码重建的信息掩码重建策略。
[0021]可选的，所述预设数据增广策略包括同义词替换策略；
[0022]所述增广单元具体用于，对于所述至少一个参考工单样本中的部分或全部，分别执行以下操作：
[0023]对于一个参考工单样本，基于预设的同义词词表，对所述一个参考工单样本的对话文本信息中的至少一个业务相关词进行同义词替换，获得对应的扩展工单样本。
[0024]可选的，所述预设数据增广策略包括段落交叉策略；
[0025]所述增广单元具体用于，对于所述至少一个参考工单样本中的部分或全部，分别执行以下操作：
[0026]对于类别标签相同的两个参考工单样本，将所述两个参考工单样本的对话文本信息中，属于同一对话发表方所发表的对话文本进行对话交叉，获得对应的扩展工单样本；所述对话发表方为所述业务处理对象或所述业务服务对象。
[0027]可选的，所述对话文本信息包括：所述业务处理对象与所述业务服务对象之间的至少一轮对话文本；
[0028]所述增广单元具体用于通过以下至少一种方式进行对话交叉：
[0029]将所述两个参考工单样本中，属于同一对话发表方在同一对话轮数中所发表的对话文本进行平行交换；
[0030]将所述两个参考工单样本中，属于同一对话发表方在不同对话轮数中所发表的对话文本进行随机交换；
[0031]将所述两个参考工单样本中，其中一个参考工单样本中的对话文本，随机插入另一个参考工单样本中，同一对话发表方所发表的对话文本之间。
[0032]可选的，所述预设数据增广策略包括信息掩码重建策略；
[0033]所述增广单元具体用于，对于所述至少一个参考工单样本中的部分或全部，分别执行以下操作：
[0034]对于一个参考工单样本，通过词向量映射获得所述一个参考工单样本的对话文本信息中，各个分词的词向量；
[0035]分别基于所述各个分词的词向量，确定所述对话文本信息中各个目标信息各自的掩码概率，所述目标信息为分词或对话文本；
[0036]分别基于各个目标信息的掩码概率，对所述对话文本信息中的至少一个目标信息进行掩码重建，获得对应的扩展工单样本。
[0037]可选的，所述增广单元具体用于：
[0038]分别基于所述各个分词的词向量，确定各个目标信息各自的显著性系数，所述显著性系数用于表征所述目标信息对工单分类结果的重要度；
[0039]分别基于各个显著性系数，确定相应的掩码概率，所述掩码概率与相应的显著性系数成反比。
[0040]可选的，所述增广单元具体用于：
[0041]基于所述一个参考工单样本的分类概率，以及各个目标信息的信息向量，分别确定所述各个目标信息各自对应的显著性系数；所述分类概率是基于工单分类模型预测得到的；
[0042]其中，若所述目标信息为分词，所述信息向量为词向量；若所述目标信息为对话文本，所述信息向量为基于所述对话文本中各个分词的词向量确定的句向量。
[0043]可选的，所述增广单元还用于：
[0044]在所述分别基于所述各个分词的词向量，确定各个目标信息各自的显著性系数之后，基于所述各个目标信息的显著性系数，确定相应的显著性系数协方差矩阵；
[0045]基于所述显著性系数协方差矩阵，确定所述各个目标信息对应的更新后的显著性系数；
[0046]所述增广单元具体用于：
[0047]分别基于各个更新后的显著性系数，确定相应的掩码概本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工单分类模型训练方法，其特征在于，该方法包括：获取工单样本集，每个工单样本包括：相应客服工单的类别标签，以及所述相应客服工单的业务处理对象与业务服务对象之间的对话文本信息，所述对话文本信息是基于所述相应客服工单记录的客服会话得到的；基于各个工单样本的类别标签，从所述工单样本集中筛选出至少一个待扩展的参考工单样本；基于预设数据增广策略，分别对至少一个参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本，所述预设数据增广策略用于指示：对所述对话文本信息进行非关键信息替换，所述非关键信息为替换前后不改变所述对话文本信息的语义的信息；基于各个工单样本和获得的扩展工单样本进行模型训练，获得已训练的工单分类模型，所述工单分类模型用于确定待分类客服工单所属的工单类别。2.如权利要求1所述的方法，其特征在于，所述预设数据增广策略包括以下至少一种：用于对对话文本信息中的非关键信息进行同义词替换的同义词替换策略；用于对话文本信息进行非关键信息交叉的段落交叉策略；用于对对话文本信息中的非关键信息进行掩码重建的信息掩码重建策略。3.如权利要求2所述的方法，其特征在于，所述预设数据增广策略包括同义词替换策略；所述基于预设数据增广策略，分别对至少一个参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本时，对于所述至少一个参考工单样本中的部分或全部，分别执行以下操作：对于一个参考工单样本，基于预设的同义词词表，对所述一个参考工单样本的对话文本信息中的至少一个业务相关词进行同义词替换，获得对应的扩展工单样本。4.如权利要求2所述的方法，其特征在于，所述预设数据增广策略包括段落交叉策略；基于预设数据增广策略，分别对至少一个参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本时，对于所述至少一个参考工单样本中的部分或全部，分别执行以下操作：对于类别标签相同的两个参考工单样本，将所述两个参考工单样本的对话文本信息中，属于同一对话发表方所发表的对话文本进行对话交叉，获得对应的扩展工单样本；所述对话发表方为所述业务处理对象或所述业务服务对象。5.如权利要求4所述的方法，其特征在于，所述对话文本信息包括：所述业务处理对象与所述业务服务对象之间的至少一轮对话文本；所述将所述两个参考工单样本的对话文本信息中，属于同一对话发表方所发表的对话文本进行对话交叉，包括以下至少一种方式：将所述两个参考工单样本中，属于同一对话发表方在同一对话轮数中所发表的对话文本进行平行交换；将所述两个参考工单样本中，属于同一对话发表方在不同对话轮数中所发表的对话文本进行随机交换；将所述两个参考工单样本中，其中一个参考工单样本中的对话文本，随机插入另一个参考工单样本中，同一对话发表方所发表的对话文本之间。
6.如权利要求2所述的方法，其特征在于，所述预设数据增广策略包括信息掩码重建策略；基于预设数据增广策略，分别对至少一个参考工单样本中的对话文本信息进行数据增广，获得对应的扩展工单样本时，对于所述至少一个参考工单样本中的部分或全部，分别执行以下操作：对于一个参考工单样本，通过词向量映射获得所述一个参考工单样本的对话文本信息中，各个分词的词向量；分别基于所述各个分词的词向量，确定所述对话文本信息中各个目标信息各自的掩码概率，所述目标信息为分词或对话文本；分别基于各个目标信息的掩码概率，对所述对话文本信息中的至少一个目标信息进行掩码重建，获得对应的扩展工单样本。7.如权利要求6所述的方法，其特征在于，所述分别基于所述各个分词的词向量，确定各个目标信息各自的掩码概率，包括：分别基于所述各个分词的词向量，确定各个目标信息各自的显著性系数，所述显著性系数用于表征所述目标信息对工单分类结果的重要度；分别基于各个显著性系数，确定相应的掩码概率，所述掩码概率与相应的显著性系数成反比。8.如权利要求7所述的方法，其特征在于，所述分别基于所述各个分词的词向量，确定各个目标信息各自的显著性系数，包括：基于所述一个参考工单样本的分类概率，以及各个目标信息的信息向量，分别确定所述各个目标信息各自对应的显著性系数；所述分类概率是基于工单分类模型预测得到的；其中，若所述目标信息为分词，所述信息向量为词向量；若所述目标信息为对话文本，所述信息向量为基于所述对话文本中各个分词的词向量确定的句向量。9.如权利要求7所述的方法，其特征在于，在所述分别基于所述各个分词的词向量，确定各个目标信息各自的显著性系数之后，还包括：基于所述各个目标信息的显著性系数，确定...

【专利技术属性】
技术研发人员：郭超，杨念民，雷植程，童丽霞，吴俊江，林俊镖，吴启辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：