目标对话模型的训练方法及装置、电子装置制造方法及图纸

本申请公开了一种目标对话模型的训练方法及装置、电子装置，涉及智慧家庭技术领域，该目标对话模型的训练方法包括：获取训练样本集合，其中，训练样本集合中的每个训练样本包括：意图标签集合，槽位类别标签集合，目标文本；目标文本为待进行意图识别和待进行槽位填充的文本；意图标签集合与槽位类别标签集合是通过意图识别和槽位填充的场景确定的标签集合；使用训练样本集合对待训练的对话模型进行训练，直到待训练的对话模型对应的目标损失函数的取值满足预设的收敛条件，结束训练，将结束训练时的待训练的对话模型确定为目标对话模块。采用上述技术方案，解决了现有对话模型对文本进行意图识别和槽位填充的效果较差的问题。进行意图识别和槽位填充的效果较差的问题。进行意图识别和槽位填充的效果较差的问题。

【技术实现步骤摘要】
目标对话模型的训练方法及装置、电子装置


[0001]本申请涉及智慧家庭
，具体而言，涉及一种目标对话模型的训练方法及装置、电子装置。

技术介绍

[0002]随着智能对话系统的发展，口语理解(Speech Language Understanding，简称为SLU)成为系统重要技术支撑之一。口语理解包括意图识别(Intent Detection，简称为ID)和槽位填充(Slot Filling，简称为SF)两个子任务，其中意图识别是一类短文本分类任务，而槽位填充是将一类序列标注任务。目前，基于预训练模型和联合任务成为SLU任务新的模型范式，其中，预训练可以利用丰富的语义特征，联合任务可以充分利用任务间的信息交互。因此，近年来，信息交互方案层出不穷。但是，子任务的性能提升反而被忽视了，而子任务本身的性能是基础，也应该成为重点技术发展的方向。而目前的对话模型均是直接使用文本进行训练，导致训练后的对话模型对文本进行意图识别和槽位填充的效果较差。
[0003]针对相关技术中，现有对话模型对文本进行意图识别和槽位填充的效果较差的问题，目前尚未本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标对话模型的训练方法，其特征在于，包括：获取训练样本集合，其中，所述训练样本集合中的每个训练样本包括：意图标签集合，槽位类别标签集合，目标文本；所述目标文本为待进行意图识别和待进行槽位填充的文本；所述意图标签集合与所述槽位类别标签集合是通过所述意图识别和所述槽位填充的场景确定的标签集合；使用所述训练样本集合对待训练的对话模型进行训练，直到所述待训练的对话模型对应的目标损失函数的取值满足预设的收敛条件，结束训练，将结束训练时的所述待训练的对话模型确定为目标对话模块，其中，所述待训练的对话模型包括用于对所述目标文本进行意图识别的待训练的意图识别模块、和用于对所述目标文本进行槽位填充的待训练的槽位填充模块；在所述目标损失函数的取值不满足预设的所述收敛条件的情况下，所述待训练的对话模型中的参数被调整；其中，所述目标损失函数的取值是根据意图标签表征向量、槽位类别标签表征向量、文本表征向量确定得到的取值；所述意图标签表征向量、所述槽位类别标签表征向量、所述文本表征向量均是根据输入的训练样本中的所述意图标签集合、所述槽位类别标签集合以及所述目标文本共同确定得到的向量。2.根据权利要求1所述的方法，其特征在于，所述使用所述训练样本集合对待训练的对话模型进行训练，包括：通过以下步骤执行第i轮训练，其中，i为大于或等于1的正整数，经过第0轮训练的对话模型是未经过训练的所述待训练的对话模型：从所述训练样本集合中获取第i轮使用的训练样本，其中，所述第i轮使用的训练样本包括第i轮使用的意图标签集合，第i轮使用的槽位类别标签集合，第i轮使用的目标文本；根据所述第i轮使用的意图标签集合，所述第i轮使用的槽位类别标签集合，所述第i轮使用的目标文本，确定第i轮使用的意图标签表征向量、第i轮使用的槽位类别标签表征向量、第i轮使用的文本表征向量；将第i轮确定的意图标签输出向量、第i轮确定的槽位类别输出向量、所述第i轮使用的文本表征向量输入到经过第i
‑
1轮训练得到的对话模型中的经过第i
‑
1轮训练得到的槽位填充模块，得到第i轮训练确定的槽位输出向量，并根据第i轮训练确定的槽位输出向量，确定第i轮训练的预测槽位填充结果，其中，所述第i轮确定的意图标签输出向量是根据所述第i轮使用的意图标签集合确定得到的向量，所述第i轮确定的槽位类别输出向量是根据所述第i轮使用的槽位类别标签表征向量确定得到的向量；将所述第i轮使用的意图标签表征向量、所述第i轮确定的槽位类别输出向量、所述第i轮训练确定的槽位输出向量输入到所述经过第i
‑
1轮训练得到的对话模型中的经过第i
‑
1轮训练得到的意图识别模块，得到第i轮训练的预测意图识别结果；根据所述第i轮训练的预测意图识别结果、所述第i轮使用的槽位类别标签表征向量、所述第i轮使用的文本表征向量，确定第i轮训练的所述目标损失函数的取值；在所述第i轮训练的所述目标损失函数的取值满足所述收敛条件的情况下，结束训练；在所述第i轮训练的所述目标损失函数的取值不满足所述收敛条件的情况下，调整所述经过第i
‑
1轮训练得到的对话模型中的参数，得到所述经过第i轮训练得到的对话模型。3.根据权利要求2所述的方法，其特征在于，所述将第i轮确定的意图标签输出向量、第
i轮确定的槽位类别输出向量、所述第i轮使用的文本表征向量输入到经过第i
‑
1轮训练得到的对话模型中的经过第i
‑
1轮训练得到的槽位填充模块，得到第i轮训练确定的槽位输出向量，包括：对所述第i轮确定的槽位类别输出向量和所述第i轮使用的文本表征向量执行注意力处理，得到第一注意力处理向量；对所述第i轮确定的意图标签输出向量和所述第i轮使用的文本表征向量执行注意力处理，得到第二注意力处理向量；根据所述第一注意力处理向量、所述第二注意力处理向量以及所述第i轮使用的文本表征向量，确定所述第i轮训练确定的槽位输出向量。4.根据权利要求3所述的方法，其...

【专利技术属性】
技术研发人员：窦方正，刘朝振，李华刚，张旭，区波，
申请(专利权)人：青岛海尔科技有限公司海尔智家股份有限公司，
类型：发明
国别省市：