模型训练方法、设备及存储介质技术

技术编号:38992005 阅读:21 留言:0更新日期:2023-10-07 10:22
本申请实施例提供一种模型训练方法、设备及存储介质。其中,通过训练样本对中第一文本与正样本对应的相关性的预测分数,和采样样本集合内的各样本的最大预测分数的配对损失,相当于采样样本集内所有样本都跟正样本进行了配对,因此,可提高训练出的文本匹配模型区别top1和top1接近的负样本的准确度,进而有助于提高文本匹配时top1的准确度。另一方面,在模型训练时,还引入了训练样本对的相关性的比较配对损失,继承了配对法的排序关系,针对候选文本包含彼此部分重合的分类或者具有层级关系问题,可提高对本包含彼此部分重合的分类或者具有层级关系的候选文本之间的排序的准确度,进而提高文本匹配时topk的准确度。进而提高文本匹配时topk的准确度。进而提高文本匹配时topk的准确度。

【技术实现步骤摘要】
模型训练方法、设备及存储介质


[0001]本申请涉及数据处理
,尤其涉及一种模型训练方法、设备及存储介质。

技术介绍

[0002]在人们日常生活、工作和学习过程中,经常涉及文本匹配的场景。例如,在政务处理场景中,市民可以通过多个渠道(例如群众热线、线上平台或者寄信等)向各个政务部门提出诉求,政务系统需要根据市民诉求信息与事件类型进行匹配,以快速准确地确定该事件应该属于哪个政务部门管辖。
[0003]又例如,在文献整理分类场景中,文献整理系统可根据文献内容与文献类目进行匹配,以快速准确地确定文献所属的类目等。又例如,在信息检索过程中,搜索引擎需要根据用户提供的关键词与数据库内容进行匹配,以快速准确地确定用户待查询信息等。
[0004]无论哪种文本匹配场景,文本匹配的准确度越高,使用者体验越好。因此,如何提高文本匹配的准确度是本领域技术人员持续研究的技术问题。

技术实现思路

[0005]本申请的多个方面提供一种模型训练方法、设备及存储介质,用以提高利用文本匹配模型进行文本匹配的准确度。/>[0006]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法,其特征在于,包括:获取多个训练样本对;所述多个训练样本对包括:多个第一文本及所述多个第一文本各自对应的采样样本集;所述采样样本集包括:所述第一文本的正样本和负样本;获取所述多个训练样本对的相关性之间的比较关系;所述多个训练样本对中任一训练样本对的相关性是指:所述任一训练样本对包含的第一文本与所述任一训练样本对包含的第一文本的正样本或负样本之间的相关性;利用待训练的文本匹配模型,计算第一文本与所述正样本之间的相关性的第一预测分数、及第一文本与所述负样本之间的相关性的第二预测分数;利用所述待训练的文本匹配模型,分别计算第一训练样本对的相关性的第三预测分数、及第二训练样本对的相关性的第四预测分数,所述第一训练样本对和所述第二训练样本对是同一比较关系关联的两个训练样本对;根据所述第一预测分数与所述采样样本集对应的最大预测分数之间的第一差值,及所述同一比较关系对应的第三预测分数与第四预测分数之间的第二差值,调整所述待训练的文本匹配模型的模型参数,以得到目标文本匹配模型;其中,采样样本集对应的最大预测分数为所述第一预测分数和所述第二预测分数中的最大值。2.根据权利要求1所述的方法,其特征在于,所述采样样本集的负样本包括:与正样本属于同一类目同层级的第一负样本、与所述正样本属于同一类目不同层级的第二负样本、及与所述正样本属于不同类目的第三负样本;所述训练样本对的相关性的比较关系包括:同层级的训练样本对的相关性的比较关系及跨层级的训练样本对的相关性的比较关系;所述同层级的训练样本对的相关性的比较关系,包括:所述正样本和所述第一文本之间的相关性,与所述第一负样本和所述第一文本之间的相关性的比较关系;以及,所述第二负样本和所述第三负样本中处于同层级的各负样本,分别与所述第一文本之间的相关性的比较关系;所述跨层级的训练样本对的相关性的比较关系,包括:所述正样本和所述第一文本之间的相关性,与所述第二负样本和所述第一文本之间的相关性的比较关系。3.根据权利要求1或2所述的方法,其特征在于,根据所述第一预测分数与所述采样样本集对应的最大预测分数之间的第一差值,及所述同一比较关系对应的第三预测分数与第四预测分数之间的第二差值,调整所述待训练的文本匹配模型的模型参数,以得到目标文本匹配模型,包括:根据设定的第一差值阈值与所述第一差值之间的差值,确定第一损失值;所述第一损失值大于或等于0;根据设定的第二差值阈值与所述第二差值之间的差值,确定第二损失值;所述第二损失值大于或等于0;以所述第一损失值和所述第二损失值的和最小化为目标,调整所述待训练的文本匹配模型的模型参数,以得到所述目标文本匹配模型。4.根据权利要求3所述的方法,其特征在于,所述根据设定的第一差值阈值与所述第一差值之间的差值,确定第一损失值,包括:若所述设定的第一差值阈值与所述第一差值之间的差值大于0,则所述第一损失值等
于设定的第一差值阈值与所述第一差值之间的差值;若所述设定的第一差值阈值与所述第一差值之间的差值小于或等于0,则所述第一损失值等于0;所述根据设定的第二差值阈值与所述第二差值之间的差值,确定第二损失值,包括:若所述设定的第二差值阈值与所述第二差值之间的差值大于0,则所述...

【专利技术属性】
技术研发人员:冯文锋张跃伟
申请(专利权)人:阿里云计算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1