模型训练制造技术

本申请实施例提供了一种模型训练

【技术实现步骤摘要】
模型训练、意图识别方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，特别是涉及一种模型训练
、
意图识别方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着自然语言处理相关技术的日益成熟，多轮会话系统已广泛应用于客户服务
、
业务咨询
、
在线购物等众多场景中
。
基于客户服务场景的多轮会话系统中文本数据存在用户表达的相关服务需求和产品需求，因此，通过对这些文本进行标签分类可以理解用户的意图，帮助客服人员挖掘用户的潜在需求，并及时进行产品优化和服务改进，从而更有效地处理业务和提升服务质量
。
然而，客户服务场景的多轮会话系统中用户的意图通常涉及多个，因此，该任务属于多标签文本分类问题
。
多标签文本分类不同于多类别文本分类任务中每条文本仅存在一个类别标签，多标签文本分类提供了更加详细的文本信息，更具意义和价值
。
[0003]目前，多标签文本分类方法主要分为问题转化和算法自适应两种思路
。
问题转化法是将多标签分类问题转化成多个简单的单标签分类问题，然而该种方法进行单标签处理，忽略了标签之间的相关性问题，因此准确性较差
。
算法自适应法是将多类别分类方法进行调整以适应多标签分类问题，然而该种方法通常只考虑了单条文本的多个标签之间相关性的情况，忽略了多轮会话中各文本之间的关系，因此准确性较差
>。

技术实现思路

[0004]鉴于上述问题，本申请实施例提出了一种模型训练
、
意图识别方法
、
装置
、
电子设备及存储介质，用以提高意图识别的准确性
。
[0005]根据本申请的实施例的一个方面，提供了一种模型训练方法，所述方法包括：
[0006]获取历史多轮会话文本集合，分别对各历史多轮会话文本进行拼接处理，得到基于相对位置编码的历史样本集合；
[0007]创建包含至少一个分类器的待训练多意图理解模型，从所述历史样本集合中获取各分类器对应的历史样本子集合；所述分类器为多标签分类器；
[0008]针对每个分类器，利用所述分类器对应的历史样本子集合，对所述分类器进行训练，在全部分类器训练完成后，得到多意图理解模型
。
[0009]可选地，针对任意一个历史多轮会话文本，对所述历史多轮会话文本进行拼接处理，包括：
[0010]步骤1，初始化
i
＝
j
＝1，初始化所述历史多轮会话文本对应的第
j
个历史拼接序列
d
j
为空，初始化所述历史多轮会话文本对应的历史样本为空；
[0011]步骤2，判断所述历史多轮会话文本中第
i
条历史会话文本
s
i
与所述
d
j
的长度总和是否小于等于预设阈值；若是，则执行步骤3；若否，执行步骤4；
[0012]步骤3，在所述
d
j
的尾部拼接所述
s
i
，并在所述
s
i
之后添加位置标识符，令
i
＝
i+1
，
并执行步骤5；
[0013]步骤4，在所述
d
j
的首部添加语义标识符，尾部添加文本分隔符，在所述历史样本的尾部添加所述
d
j
，令
j
＝
j+1
，初始化
d
j
为空，并执行步骤5；
[0014]步骤5，判断
i
和
j
是否均小于等于所述历史多轮会话文本中的历史会话文本总条数；若是，则执行步骤2；若否，则得到所述历史多轮会话文本对应的历史样本
。
[0015]可选地，所述从所述历史样本集合中获取各分类器对应的历史样本子集合，包括：按照分类器总个数，将所述历史样本集合划分为所述总个数的历史样本辅助集合；针对每个分类器，选取一个历史样本辅助集合作为所述分类器对应的验证样本集合，将剩余的历史样本辅助集合作为所述分类器对应的训练样本集合，将所述训练样本集合和所述验证样本集合作为所述分类器对应的历史样本子集合；其中，不同分类器对应的验证样本集合不同
。
[0016]可选地，所述利用所述分类器对应的历史样本子集合，对所述分类器进行训练，包括：将所述分类器对应的历史样本子集合中的历史样本输入所述分类器，在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别；根据所述历史样本的预测意图类别和预设的所述历史样本的实际意图类别，计算模型损失值；在所述模型损失值满足预设条件时，确定所述分类器训练完成
。
[0017]可选地，所述历史样本包括至少一个历史拼接序列，所述历史拼接序列中包括至少一条历史会话文本，每条历史会话文本之后添加有位置标识符；所述在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别，包括：在所述分类器中依次针对所述历史样本中的每个历史拼接序列，基于所述历史拼接序列中的所述位置标识符对应的嵌入向量，获取所述历史拼接序列的预测候选意图类别；基于各所述历史拼接序列的预测候选意图类别，确定所述历史样本的预测意图类别
。
[0018]可选地，所述利用所述分类器对应的历史样本子集合，对所述分类器进行训练，包括：基于所述分类器对应的历史样本子集合，利用指数移动平均操作和对抗训练操作，对所述分类器进行训练
。
[0019]根据本申请的实施例的另一方面，提供了一种意图识别方法，所述方法包括：
[0020]获取待分析多轮会话文本，对所述待分析多轮会话文本进行拼接处理，得到基于相对位置编码的待分析样本；
[0021]获取预先训练的多意图理解模型，所述多意图理解模型包含至少一个分类器，所述分类器为多标签分类器；所述多意图理解模型通过如上任一项所述的方法训练得到；
[0022]利用所述多意图理解模型中的各分类器分别对所述待分析样本进行识别，基于各分类器的识别结果确定所述待分析多轮会话文本的意图类别
。
[0023]可选地，所述待分析样本包括至少一个待分析拼接序列，所述待分析拼接序列中包括至少一条待分析会话文本，每条待分析会话文本之后添加有位置标识符；所述利用所述多意图理解模型中的各分类器分别对所述待分析样本进行识别，基于各分类器的识别结果确定所述待分析多轮会话文本的意图类别，包括：针对每个分类器，将所述待分析样本输入所述分类器，在所述分类器中依次针对所述待分析样本中的每个待分析拼接序列，基于所述待分析拼接序列中的所述位置标识符对应的嵌入向量，获取所述待分析拼接序列的候选意图类别，基于各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，其特征在于，所述方法包括：获取历史多轮会话文本集合，分别对各历史多轮会话文本进行拼接处理得到基于相对位置编码的历史样本集合；创建包含至少一个分类器的待训练多意图理解模型，从所述历史样本集合中获取各分类器对应的历史样本子集合；所述分类器为多标签分类器；针对每个分类器，利用所述分类器对应的历史样本子集合，对所述分类器进行训练，在全部分类器训练完成后，得到多意图理解模型
。2.
根据权利要求1所述的方法，其特征在于，针对任意一个历史多轮会话文本，对所述历史多轮会话文本进行拼接处理，包括：步骤1，初始化
i
＝
j
＝1，初始化所述历史多轮会话文本对应的第
j
个历史拼接序列
d
j
为空，初始化所述历史多轮会话文本对应的历史样本为空；步骤2，判断所述历史多轮会话文本中第
i
条历史会话文本
s
i
与所述
d
j
的长度总和是否小于等于预设阈值；若是，则执行步骤3；若否，执行步骤4；步骤3，在所述
d
j
的尾部拼接所述
s
i
，并在所述
s
i
之后添加位置标识符，令
i
＝
i+1
，并执行步骤5；步骤4，在所述
d
j
的首部添加语义标识符，尾部添加文本分隔符，在所述历史样本的尾部添加所述
d
j
，令
j
＝
j+1
，初始化
d
j
为空，并执行步骤5；步骤5，判断
i
和
j
是否均小于等于所述历史多轮会话文本中的历史会话文本总条数；若是，则执行步骤2；若否，则得到所述历史多轮会话文本对应的历史样本
。3.
根据权利要求1所述的方法，其特征在于，所述从所述历史样本集合中获取各分类器对应的历史样本子集合，包括：按照分类器总个数，将所述历史样本集合划分为所述总个数的历史样本辅助集合；针对每个分类器，选取一个历史样本辅助集合作为所述分类器对应的验证样本集合，将剩余的历史样本辅助集合作为所述分类器对应的训练样本集合，将所述训练样本集合和所述验证样本集合作为所述分类器对应的历史样本子集合；其中，不同分类器对应的验证样本集合不同
。4.
根据权利要求1所述的方法，其特征在于，所述利用所述分类器对应的历史样本子集合，对所述分类器进行训练，包括：将所述分类器对应的历史样本子集合中的历史样本输入所述分类器，在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别；根据所述历史样本的预测意图类别和预设的所述历史样本的实际意图类别，计算模型损失值；在所述模型损失值满足预设条件时，确定所述分类器训练完成
。5.
根据权利要求4所述的方法，其特征在于，所述历史样本包括至少一个历史拼接序列，所述历史拼接序列中包括至少一条历史会话文本，每条历史会话文本之后添加有位置标识符；所述在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别，包括：在所述分类器中依次针对所述历史样本中的每个历史拼接序列，基于所述历史拼接序列...

【专利技术属性】
技术研发人员：张蕾，冉猛，郭子滔，赵进，秦蛟禹，危枫，王晨子，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：