意图识别模型的训练方法、装置、模型及电子设备制造方法及图纸

本申请公开了一种意图识别模型的训练方法、装置、模型及电子设备，所述方法包括：获取原始意图识别模型，其中，原始意图识别模型包括第一语义识别模型和第二语义识别模型，第一语义识别模型和第二语义识别模型分别连接全连接网络，其中，第一语义识别模型通过领域训练数据集预训练得到；在原始意图识别模型中输入通用训练数据进行训练，将第一语义识别模型的输出的内容与第二语义识别模型的输出的内容融合，得到融合向量；并使融合向量进入全连接网络，以获取通用训练数据的相似概率，并根据相似概率对所述原始意图识别模型进行参数调整，得到最终的意图识别模型。本申请对特定领域文本的意图识别更加准确，提高了人机对话时用户的使用体验感。时用户的使用体验感。时用户的使用体验感。

【技术实现步骤摘要】
意图识别模型的训练方法、装置、模型及电子设备


[0001]本申请涉及人工智能
，具体涉及一种意图识别模型的训练方法、装置、模型及电子设备。

技术介绍

[0002]随着近几年电话场景下的智能客服越来越广泛的应用，人们在日常生活中与智能客服之间的交集越来越大。
[0003]智能对话中，识别客户意图的模型也经过了好几轮的迭代，从最初的TF
‑
IDF(term frequency
–
inverse document frequency，业内暂无统一中文名)，到词向量(Word embedding，又称Word嵌入式自然语言处理)，又到LSTM(Long short
‑
term memory,长短期记忆)以及最近以BERT(Bidirectional Encoder Representation from Transformers,一个预训练的语言表征模型)为代表的预训练模型。
[0004]这些方法的目标只有一个，就是提升意图识别的准确率，不过由于预训练模型是在维基百科等通过的中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种意图识别模型的训练方法，其特征在于，所述方法包括：获取原始意图识别模型，其中，所述原始意图识别模型包括第一语义识别模型和第二语义识别模型，所述第一语义识别模型和第二语义识别模型分别连接全连接网络，其中，所述第一语义识别模型通过领域训练数据集预训练得到；在所述原始意图识别模型中输入通用训练数据进行训练，将所述第一语义识别模型的输出的内容设置为第一语义向量，将所述第二语义识别模型的输出的内容设置为第二语义向量；将所述第一语义向量和所述第二语义向量融合，得到融合向量；并使所述融合向量进入所述全连接网络，以获取所述通用训练数据的相似概率，并根据所述相似概率对所述原始意图识别模型进行参数调整，得到最终的意图识别模型。2.根据权利要求1所述的方法，其特征在于，所述第一语义识别模型包括第一BERT模型和第一神经网络；所述第一语义识别模型通过领域训练数据集预训练得到，包括：在所述第一语义识别模型的所述第一神经网络的输出层后设置有后置Embeding层；对所述领域训练数据集中的第一预设比例语料进行随机遮盖处理；采用处理后的领域训练数据集，基于自监督方法对所述第一语义识别模型进行训练；在训练结束后，去掉后置Embeding层，将更新后的第一BERT模型和第一神经网络作为所述第一语义识别模型。3.根据权利要求1所述的方法，其特征在于，所述第一语义识别模型包括第一BERT模型和第一神经网络；所述第二语义识别模型包括第二BERT模型和第二神经网络；所述在所述原始意图识别模型中输入通用训练数据集进行训练，将所述第一语义识别模型的输出的内容设置为第一语义向量，将所述第二语义识别模型的输出的内容设置为第二语义向量，包括：从所述通用训练数据集中随机选取两句语料，得到目标训练语料；将所述目标训练语料分别输入所述第一语义识别模型和所述第二语义识别模型，将所述第一神经网络输出的内容设置为第一语义向量，以及将所述第二神经网络输出的内容设置为第二语义向量；其中，所述第一语义向量表征所述目标训练语料在领域内的语义特征，所述第二语义向量表征所述目标训练语料通用的语义特征。4.根据权利要求1所述的方法，其特征在于，所述将所述第一语义向量和所述第二语义向量融合，得到融合向量，包括：若所述第一语义向量和所述第二语义向量为一维向量，则将所述第二语义向量的各元素按照原始顺序连接到所述第一语义向量的最后一个元素之后，得到融合向量；若所述第一语义向量和所述第二语义向量为矩阵，则根据指定拼接形式，将所述第二语义向量的各元素按照原始顺序放置到所述第一...

【专利技术属性】
技术研发人员：沈佳，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：