【技术实现步骤摘要】
自然语言处理模型的训练方法、装置、设备及存储介质
本申请涉及计算机
，尤其涉及基于人工智能的自然语言处理领域，具体涉及一种自然语言处理模型的训练方法、装置、设备及存储介质。
技术介绍
在自然语言处理(NaturalLanguageProcessing；NLP)任务中，存在着大量指代消解任务的需求。例如，在阅读理解中，需要知道每个代词指代的名词是什么，才可以做到对文章的准确全面理解；在机器翻译中，土耳其语的代词中并不区分男他和女她，在翻译成英语时如果无法对代词的意思进行准确的解析，将严重影响机器翻译效果。如何更好的对指代消解任务建模，提升自然语言处理模型对指代消解任务的处理能力，是一种亟需解决的技术问题。
技术实现思路
为了解决上述问题，本申请提供了一种自然语言处理模型的训练、装置、电子设备及存储介质。根据本申请的一方面，提供了一种自然语言处理模型的训练方法，其中，所述方法包括：基于预设的语料集，构建指代消解任务的各条训练语料对，各所述训练语料对中包括正样本和负样本；采...
【技术保护点】
1.一种自然语言处理模型的训练方法，其中，所述方法包括：/n基于预设的语料集，构建指代消解任务的各条训练语料对，各所述训练语料对中包括正样本和负样本；/n采用各所述训练语料对，训练所述自然语言处理模型，使其学习识别对应的所述正样本和所述负样本的能力；/n采用各所述训练语料对的正样本，训练所述自然语言处理模型，使其学习指代消解任务的能力。/n
【技术特征摘要】 【专利技术属性】
1.一种自然语言处理模型的训练方法，其中，所述方法包括：
基于预设的语料集，构建指代消解任务的各条训练语料对，各所述训练语料对中包括正样本和负样本；
采用各所述训练语料对，训练所述自然语言处理模型，使其学习识别对应的所述正样本和所述负样本的能力；
采用各所述训练语料对的正样本，训练所述自然语言处理模型，使其学习指代消解任务的能力。
2.根据权利要求1所述的方法，其中，基于预设的语料集，构建指代消解任务的各条训练语料对，包括：
对于所述预设的语料集中的各条语料，将对应的所述语料中非首次出现的目标名词替换为代词，作为训练语料；
从所述训练语料中获取其他名词；
将所述训练语料以及所述代词指代所述目标名词的指代关系，作为所述训练语料对的正样本；
将所述训练语料以及所述代词指代所述其他名词的指代关系，作为所述训练语料对的负样本。
3.根据权利要求1或者2所述的方法，其中，采用各所述训练语料对，训练所述自然语言处理模型，使其学习识别对应的所述正样本和所述负样本的能力，包括：
将各所述训练语料对输入至所述自然语言处理模型中，使得所述自然语言处理模型学习分别预测所述正样本和所述负样本中的指代关系是否正确；
在预测错误时，调整所述自然语言处理模型的参数，使得所述自然语言处理模型朝向预测所述正样本和所述负样本中的指代关系正确的方向调整。
4.根据权利要求1或者2所述的方法，其中，采用各所述训练语料对的正样本，训练所述自然语言处理模型，使其学习指代消解任务的能力，包括：
将各所述训练语料对的所述正样本的训练语料中的代词遮掩；
将所述代词遮掩后的所述训练语料输入至所述自然语言处理模型中，使得所述自然语言处理模型预测所述代词属于所述训练语料中各名词的概率；
基于所述自然语言处理模型预测所述代词属于所述训练语料中各名词的概率、以及所述正样本中标识的所述代词指代的目标名词，生成目标损失函数；
判断所述目标损失函数是否收敛；
若未收敛，基于梯度下降法调整所述自然语言处理模型的参数。
5.根据权利要求4所述的方法，其中，基于所述自然语言处理模型预测所述代词属于所述训练语料中各名词的概率、以及所述正样本中标识的所述代词指代的目标名词，生成目标损失函数，包括：
基于所述正样本中标识的所述代词指代的目标名词，获取所述自然语言处理模型预测所述代词属于所述目标名词的概率；
基于所述自然语言处理模型预测所述代词属于所述目标名词的概率，构建第一损失函数；
基于所述自然语言处理模型预测所述代词属于所述目标名词之外的其他名词的概率，构建第二损失函数；
基于所述第一损失函数和所述第二损失函数，生成所述目标损失函数。
6.一种自然语言处理模型的训练装置，其中，所述装置包括：
构建模块，用于基于预设的语料集，构建指代消解任务的各条训练语料对，各所述训练语料对中包括正样本和负样本；
技术研发人员：欧阳轩，王硕寰，孙宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。