情感预测模型的训练方法及装置制造方法及图纸

公开了一种情感预测模型的训练方法及装置。该训练方法包括：获取多个无监督语料；对所述无监督语料中的至少一个情感表述进行掩盖，将掩盖前的语料和掩盖后的语料作为训练样本输入给情感预测模型；其中，所述情感预测模型用于：针对所述训练样本中的被掩盖的情感表述进行词预测任务及词情感预测任务，并根据词预测任务结果、词情感预测任务结果以及所述掩盖前的语料计算任务误差，并基于所述任务误差修正所述情感预测模型的权重系数。该方法通过对情感表述进行掩盖操作构建训练样本，利用这样的训练样本对待训练的情感预测模型进行训练，不但可以提高情感预测分析任务的准确率，也可以提高模型的稳定性，大大减少训练样本的数目。目。目。

【技术实现步骤摘要】
情感预测模型的训练方法及装置


[0001]本公开涉及自然语言处理领域，具体而言，涉及一种情感预测模型的训练方法及装置。

技术介绍

[0002]近些年，预训练的语言模型在多领域情感分析中得到了广泛的应用，并取得了很好的效果。然而，由于不同领域上用户表达情感的差异性，在源领域对模型进行微调很容易过拟合，从而导致当将模型从源领域迁移到目标领域时,在目标领域表现很差。而且由于预训练模型的参数较大，微调在训练速度和空间上都消耗较大，对训练样本的数目也要求更高。

技术实现思路

[0003]有鉴于此，本公开的目的是提供一种情感预测模型的训练方法及装置，使得得到的预训练模型从源领域迁移到目标领域时权重参数无需调整或者只需很少资源就可完成调整。
[0004]第一方面，本公开实施例提供一种情感预测模型的训练方法，包括：
[0005]获取多个无监督语料；
[0006]对所述无监督语料中的至少一个情感表述进行掩盖，将掩盖前的语料和掩盖后的语料作为训练样本输入给情感预测模型；
[0007]其中，所述情感预测模型用于：针对所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感预测模型的训练方法，包括：获取多个无监督语料；对所述无监督语料中的至少一个情感表述进行掩盖，将掩盖前的语料和掩盖后的语料作为训练样本输入给情感预测模型；其中，所述情感预测模型用于：针对所述训练样本中的被掩盖的情感表述进行词预测任务及词情感预测任务，并根据词预测任务结果、词情感预测任务结果以及所述掩盖前的语料计算任务误差，并基于所述任务误差修正所述情感预测模型的权重系数。2.根据权利要求1所述的训练方法，其中，所述情感表述包括：和领域无关的情感词、表情符中的至少一种；在所述无监督语料中，所述情感表述被掩盖的概率高于非情感表述。3.根据权利要求1所述的训练方法，其中，所述掩盖操作包括：将被掩盖内容替换为特殊字符；和/或，将被掩盖内容替换为其他词。4.根据权利要求1所述的训练方法，其中，所述情感预测模型还用于：针对所述掩盖后的语料进行句子级情感预测任务；以及根据句子级情感预测任务结果和所述掩盖前的语料计算任务误差，并基于所述任务误差修正所述情感预测模型的权重系数。5.根据权利要求4所述的训练方法，其中，所述无监督语料包括评论打分，所述针对所述掩盖后的语料进行句子级情感预测任务包括：根据评论打分和所述掩盖后的语料的情感信息进行句子级情感预测任务。6.根据权利要求4所述的训练方法，其中，所述情感预测模型还用于：根据句子级情感预测任务结果和词情感预测任务结果得到所述无监督语料的情感预测结果。7.根据权利要求2所述的训练方法，其中，在所述掩盖操作中，利用通用的情感字典在所述无监督语料中确定所述情感词，和/或，利用正则表达式在所述无监督语料中确定所述表情符。8.一种情感预测模型的训练装置，包括：数据获取模块，用于获取多个无监督语料；样本准备模块，用于对所述无监督语料中的至少一个情感表述进行掩盖，将掩盖前的语料和掩盖后的语料作为训练样本输入给情感预测模型；模型训练模块，用于...

【专利技术属性】
技术研发人员：周杰，肖文明，田俊峰，王睿，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：