模型的训练方法、装置以及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种模型的训练方法、装置以及计算机可读存储介质，该方法包括：获取当前批次的第一样本数据；将第一样本数据输入目标模型，得到每个样本话语的第一预测情感标签；屏蔽第一样本数据中的上下文表征向量或者外部知识表征向量，得到第二样本数据；将第二样本数据输入目标模型，得到每个样本话语的第二预测情感标签；针对每个样本话语，根据样本话语的第一预测情感标签与第二预测情感标签是否相同，设置对应的第一目标标签；根据每个样本话语的话语表征向量以及每个样本话语的第一目标标签进行有监督对比损失计算；根据得到的第一损失值，对目标模型进行训练。本申请的方法能够提升模型的性能。方法能够提升模型的性能。方法能够提升模型的性能。

【技术实现步骤摘要】
模型的训练方法、装置以及计算机可读存储介质


[0001]本申请属于自然语言处理领域，特别是涉及一种模型的训练方法、装置以及计算机可读存储介质。

技术介绍

[0002]现有的类似情感分析的训练工具有百度AI开发平台的EasyDL，以及竹间智能科技的自然语言处理平台NLP。这些平台主要面向通用的情感分析方法，而并不是针对对话情境下的句子级情感分析方法，这些模型在训练过程中，不会考虑上下文信息以及外部知识的嵌入，更不会考虑优化模型在训练过程中对无关上下文和无关外部知识的鲁棒性，会导致对当前话语的情感识别帮助较小的上下文和外部知识作为“噪声”起到消极作用。

技术实现思路

[0003]本申请提供一种模型的训练方法、装置以及计算机可读存储介质，能够充分考虑样本话语的上下文或外部知识的嵌入，能够提升模型的性能。
[0004]为解决上述技术问题，本申请实施例第一方面提供一种模型的训练方法，所述方法包括：获取当前批次的第一样本数据，所述第一样本数据包括至少一个样本话语的表征向量、每个所述样本话语的上下文表征向量以及每个所述样本话语的外部知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的训练方法，其特征在于，所述方法包括：获取当前批次的第一样本数据，所述第一样本数据包括至少一个样本话语的话语表征向量、每个所述样本话语的上下文表征向量以及每个所述样本话语的外部知识表征向量；将所述第一样本数据输入目标模型，得到每个所述样本话语的第一预测情感标签；屏蔽所述第一样本数据中每个所述样本话语的所述上下文表征向量，或者，屏蔽所述第一样本数据中每个所述样本话语的所述外部知识表征向量，得到第二样本数据；将所述第二样本数据输入所述目标模型，得到每个所述样本话语的第二预测情感标签；针对每个所述样本话语，若所述样本话语的所述第一预测情感标签与所述第二预测情感标签相同，将所述样本话语对应的第一目标标签设置于第一标签值，否则设置为第二标签值；根据每个所述样本话语的话语表征向量以及每个所述样本话语的所述第一目标标签进行有监督对比损失计算，得到第一损失值；根据所述第一损失值，对所述目标模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述第二样本数据是屏蔽所述第一样本数据中每个所述样本话语的所述上下文表征向量而得到的；所述根据所述第一损失值，对所述目标模型进行训练的步骤，包括：屏蔽所述第一样本数据中每个所述样本话语的所述外部知识表征向量，得到第三样本数据；将所述第三样本数据输入所述目标模型，得到每个所述样本话语的第三预测情感标签；针对每个所述样本话语，若所述样本话语的所述第一预测情感标签与所述第三预测情感标签相同，将所述样本话语对应的第二目标标签设置于第三标签值，否则设置为第四标签值；根据每个所述样本话语的话语表征向量以及每个所述样本话语的所述第二目标标签进行有监督对比损失计算，得到第二损失值；根据所述第一损失值以及所述第二损失值，得到总损失值；根据所述总损失值，对所述目标模型进行训练。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失值，对所述目标模型进行训练的步骤，包括：根据每个所述样本话语的真实情感标签以及每个所述样本话语的所述第一预测情感标签进行损失计算，得到第三损失值；根据所述第一损失值以及所述第三损失值，得到总损失值；根据所述总损失值，对所述目标模型进行训练。4.根据权利要求3所...

【专利技术属性】
技术研发人员：徐睿峰，梁兴伟，涂耿，梁斌，杨波，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：