System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,尤其涉及模型训练方法、装置、设备及存储介质。
技术介绍
1、随着计算机技术的不断发展,网络中所包含的信息种类与个数也快速增长。为了使用户能够在短时间内得到想要的信息,关键词搜索功能越来越重要。数据检索模型会根据输入的关键词或用户特征从庞大的数据库中找出相关的数据结果,常被应用于关键词搜索和个性推荐等领域。
2、目前,数据检索模型的训练方式主要为利用正样本以及负样本通过对比学习的方式进行训练,使模型获取到正样本与负样本之间的差异,从而具备数据检索功能。在这种训练方式中,正样本通常是根据查询词以及匹配结果确定的,而负样本则是根据查询词以及未匹配结果随机生成的。随机生成的负样本复杂度较低,基于这种负样本训练得到的数据检索模型处理复杂查询词的能力较差,模型检索得到的结果准确度较低。
技术实现思路
1、本申请实施例提供了一种模型训练方法、装置、设备及存储介质,可以生成复杂度较高的负样本,使根据该负样本训练得到的数据检索模型有较强的复杂查询词处理能力,且模型检索得到的结果准确度较高。
2、一方面,本申请实施例提供了一种模型训练方法,所述方法包括:
3、获取训练正样本集,所述训练正样本集包括第一查询以及所述第一查询对应的匹配结果;
4、利用所述第一查询以及所述匹配结果确定所述训练正样本集对应的训练负样本集,所述训练负样本集包括第一训练负样本,所述第一训练负样本是利用第二查询以及所述匹配结果构建的,所述第二查询是对所述第一查询进行处
5、根据所述训练正样本集以及所述训练负样本集对初始化的神经网络进行模型训练,得到数据检索模型。
6、一方面,本申请实施例提供了一种模型训练装置,所述装置包括:
7、获取单元,用于获取训练正样本集,所述训练正样本集包括第一查询以及所述第一查询对应的匹配结果;
8、处理单元,用于利用所述第一查询以及所述匹配结果确定所述训练正样本集对应的训练负样本集,所述训练负样本集包括第一训练负样本,所述第一训练负样本是利用第二查询以及所述匹配结果构建的,所述第二查询是对所述第一查询进行处理得到的;
9、所述处理单元,还用于根据所述训练正样本集以及所述训练负样本集对初始化的神经网络进行模型训练,得到数据检索模型。
10、一方面,本申请实施例提供了一种计算机设备,包括:处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,实现本申请实施例提供的模型训练方法。
11、相应地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机实现本申请实施例提供的模型训练方法。
12、相应地,本申请实施例还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备实现本申请实施例提供的模型训练方法。
13、本申请中,首先获取训练正样本集,该训练正样本集中包含第一查询以及匹配结果,再对第一查询进行处理得到第二查询,并利用第二查询以及匹配结果构建第一训练负样本。最后利用训练正样本集以及包含第一训练负样本的训练负样本集对初始化的神经网络进行模型训练,得到数据检索模型。与随机生成的负样本相比,基于第一查询生成的第一训练负样本更加复杂,对于数据检索模型来说训练难度更大。通过这种训练方式,数据检索模型能更好地处理复杂查询词的任务,得到更加准确的检索结果。
本文档来自技高网...【技术保护点】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述利用所述第一查询以及所述匹配结果确定所述训练正样本集对应的训练负样本集,包括:
3.根据权利要求2所述的方法,其特征在于,所述训练负样本集还包括第二训练负样本,所述方法还包括:
4.根据权利要求2或3所述的方法,其特征在于,所述对所述第一查询进行替换处理,得到第二查询,包括:
5.根据权利要求4所述的方法,其特征在于,所述对所述K个关键词中的至少一个关键词进行替换处理,得到所述第二查询,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述待选词集合,对所述K个关键词中的至少一个关键词进行替换处理,得到所述第二查询,包括:
7.根据权利要求1~3中任一项所述的方法,其特征在于,所述获取训练正样本集,包括:
8.根据权利要求1或3所述的方法,其特征在于,所述根据所述训练正样本集以及所述训练负样本集对初始化的神经网络进行模型训练,得到数据检索模型,包括:
9.一种模型训练装置,其特征在于
10.一种计算机设备,其特征在于,包括:处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,实现如权利要求1-8中任一项所述的模型训练方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1-8中任一项所述的模型训练方法。
...【技术特征摘要】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述利用所述第一查询以及所述匹配结果确定所述训练正样本集对应的训练负样本集,包括:
3.根据权利要求2所述的方法,其特征在于,所述训练负样本集还包括第二训练负样本,所述方法还包括:
4.根据权利要求2或3所述的方法,其特征在于,所述对所述第一查询进行替换处理,得到第二查询,包括:
5.根据权利要求4所述的方法,其特征在于,所述对所述k个关键词中的至少一个关键词进行替换处理,得到所述第二查询,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述待选词集合,对所述k个关键词中的至少一个关键词进行替换处理,得到所述第二查询,包括:
7...
【专利技术属性】
技术研发人员:钱一成,高龑,金磊,汤旭,
申请(专利权)人:行吟信息科技上海有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。