训练要素分类模型的方法和装置制造方法及图纸

本说明书实施例提供一种训练要素分类模型的方法和装置，要素分类模型用于针对句子进行要素识别，方法包括：获取样本集合中的样本句子及对应的要素分类标签；利用已训练的教师语言模型，预测样本句子在各要素分类上的第一概率分布，教师语言模型的层数为N；利用待训练的要素分类模型，预测样本句子在各要素分类上的第二概率分布，要素分类模型的层数为M，M<N；根据第二概率分布和第一概率分布，得到第一预测损失；根据第二概率分布和要素分类标签，得到第二预测损失；将第一预测损失与第二预测损失进行组合，得到总损失；以总损失最小为训练目标，对要素分类模型进行训练。能够提高要素识别的准确率。

Method and device of training element classification model

【技术实现步骤摘要】
训练要素分类模型的方法和装置
本说明书一个或多个实施例涉及计算机领域，尤其涉及训练要素分类模型的方法和装置。
技术介绍
人工智能(artificialintelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。深度学习(deeplearning)是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。当前，在机器人客服代替人工客服解答用户问题的过程中，常常要针对用户问句进行要素识别，要素识别即对用户文本提取出业务和诉求等相关词作为对话中的要素，用于对用户表达内容的粗粒度理解。
技术实现思路
本说明书一个或多个实施例描述了一种训练要素分类模型的方法和装置，能够在要素分类模型结构简单的情况下，提高要素识别的准确率。第一方面，提供了一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，方法包括：获取样本集合中的样本句子以及所述样本句子对应的要素分类标签；利用已本文档来自技高网...

【技术保护点】
1.一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，所述方法包括：/n获取样本集合中的样本句子以及所述样本句子对应的要素分类标签；/n利用已训练的教师语言模型，预测所述样本句子在各个要素分类上的第一概率分布，其中所述教师语言模型的层数为N；利用待训练的要素分类模型，预测所述样本句子在各个要素分类上的第二概率分布，其中，所述要素分类模型的层数为M，M<N；/n根据所述第二概率分布和所述第一概率分布，得到第一预测损失；/n根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失；/n将所述第一预测损失与所述第二预测损失进行组合，得到总损失；/n以所述总损失...

【技术特征摘要】
1.一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，所述方法包括：
获取样本集合中的样本句子以及所述样本句子对应的要素分类标签；
利用已训练的教师语言模型，预测所述样本句子在各个要素分类上的第一概率分布，其中所述教师语言模型的层数为N；利用待训练的要素分类模型，预测所述样本句子在各个要素分类上的第二概率分布，其中，所述要素分类模型的层数为M，M<N；
根据所述第二概率分布和所述第一概率分布，得到第一预测损失；
根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失；
将所述第一预测损失与所述第二预测损失进行组合，得到总损失；
以所述总损失最小为训练目标，对所述要素分类模型进行训练，得到训练后的要素分类模型。


2.如权利要求1所述的方法，其中，所述要素分类模型用于针对第一领域的句子进行要素识别；所述教师语言模型通过以下方式预先训练：
将从第二领域中获取的句子以及该句子对应的要素分类标签作为一组训练样本，对所述教师语言模型进行训练，得到所述已训练的教师语言模型。


3.如权利要求1所述的方法，其中，所述根据所述第二概率分布和所述第一概率分布，得到第一预测损失，包括：
将所述第二概率分布除以预定参数后，经过归一化处理，得到所述样本句子的第一输出分布；
根据所述样本句子的第一输出分布和所述第一概率分布，得到第一预测损失；所述第一概率分布为除以所述预定参数，并经过归一化处理后得到的。


4.如权利要求1所述的方法，其中，所述根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失，包括：
将所述第二概率分布经过归一化处理，得到所述样本句子的第二输出分布；
根据所述样本句子的第二输出分布和所述样本句子的要素分类标签，得到第二预测损失。


5.如权利要求1所述的方法，其中，所述将所述第一预测损失与所述第二预测损失进行组合，得到总损失，包括：
将所述第一预测损失乘以第一权重，将所述第二预测损失乘以第二权重，对二者求和，得到所述总损失。


6.如权利要求5所述的方法，其中，所述总损失为第一总损失或第二总损失，当所述第一权重大于所述第二权重时，得到所述第一总损失，当所述第一权重小于所述第二权重时，得到所述第二总损失；所述以所述总损失最小为训练目标，对所述要素分类模型进行训练，包括：
在训练的第一阶段，以所述第一总损失最小为训练目标，对所述要素分类模型进行训练；
在训练的第二阶段，以所述第二总损失最小为训练目标，对所述要素分类模型进行训练。


7.如权利要求1所述的方法，其中，所述样本句子为用户与机器人客服对话中的用户问句。


8.如权利要求7所述的方法，其中，所述用户与机器人客服对话属于交互式语音应答IVR。


9.如权利要求1所述的方法，其中，所述方法还包括：
将目标用户问句输入训练后的要素分类模型，通过所述要素分类模型输出目标要素；
根据所述目标要素，输出反问问句；
获取用户针对所述反问问句的补充信息；
根据所述补充信息，确定所述目标用户问句对应的标准问句。


10.一种训练要素分类模型的装置，所述要素分类模型用于针对句子进行要素识别，所述装置包括：
获取单元，用于获取样本集合中的样本句子以及所述样本句子对应的要素分类标签；
预测单元，用于利用已训练的教师语言模型，预测所述获取单元获...

【专利技术属性】
技术研发人员：张杰，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33