System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本说明书涉及人工智能领域,尤其涉及一种模型训练方法、装置、存储介质及电子设备。
技术介绍
1、目前,随着技术的发展和与业务融合的需要,人工智能技术在多个领域实现了愈发广泛的应用。其中,使用模型来执行业务是人工智能技术最为常见的应用场景之一。
2、一般的,使用模型来执行业务的前提为预先训练得到用于执行业务的模型。基于此,本说明书提供一种模型训练方法。
技术实现思路
1、本说明书提供一种模型训练方法、系统、装置、存储介质及电子设备,以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案:
3、本说明书提供一种模型训练方法,包括:
4、根据目标样本集中的样本及其标注,以及无标注样本集中的样本,对待训练的第一模型进行半监督训练;
5、根据半监督训练后的第一模型,通过主动学习算法,在无标注样本集中选择指定数量的样本,作为目标样本添加至所述目标样本集中,并确定所述目标样本集中各样本的标注;
6、根据重新确定出的目标样本集中的样本和标注,以及所述无标注样本集中的样本,继续对所述第一模型进行半监督训练,直至达到预设的迭代终止条件。
7、可选地,所述方法还包括:
8、获取无标注样本集;
9、根据待训练的第一模型,从所述无标注样本集中选择目标样本,并添加至目标样本集;
10、获得所述目标样本的标注。
11、可选地,根据目标样本集中的样本及其标注,以及无标注样本
12、从所述无标注样本集中,确定指定数量的指定样本,所述指定样本为用于训练所述第一模型的无标注样本;
13、针对每个指定样本,根据该指定样本和所述目标样本集中各样本的相似度,以及所述目标样本集中各样本的标注,确定该指定样本的伪标注;
14、通过待训练的所述第一模型,确定所述目标样本集中各样本分别对应的输出结果,以及各指定样本分别对应的输出结果;
15、根据所述目标样本集中各样本的输出结果及其标注之间的差距,以及所述各指定样本的输出结果及其伪标注之间的差距,对所述第一模型进行训练。
16、可选地,根据所述目标样本集中各样本的输出结果及其标注之间的差距,以及所述各指定样本的输出结果及其伪标注之间的差距,对所述第一模型进行训练,包括:
17、针对所述目标样本集中的每个样本,根据该样本的样本特征和其他样本的样本特征之间的第一相关度、该样本的标注类型和所述第一模型对应的第一任务的任务类型之间的第二相关度中的至少一种,确定该样本和所述第一模型的相关度;
18、根据所述相关度,确定该样本的权重,所述权重和所述相关度正相关;
19、根据所述目标样本集中各样本的输出结果及其标注之间的差距,以及所述目标样本集中各样本分别对应的权重,确定第一损失;
20、根据所述各指定样本的输出结果及其伪标注之间的差距,确定第二损失;
21、根据所述第一损失和第二损失确定总损失,并以所述总损失最小化为训练目标对所述第一模型进行训练。
22、可选地,所述第一模型对应于第一任务;
23、所述方法还包括:
24、接收第二模型对应的训练请求,并确定所述第二模型对应的第二任务;
25、当所述第一任务和所述第二任务相关时,将所述第一模型的模型参数作为所述第二模型的初始模型参数;
26、确定用于训练所述第二模型的参考样本集中的样本及其标注,并通过所述参考样本集,对待训练的所述第二模型进行训练。
27、可选地,确定用于训练所述第二模型的参考样本集中的样本及其标注,并通过所述参考样本集,对待训练的所述第二模型进行训练,包括:
28、根据待训练的所述第二模型,通过主动学习算法,从所述无标注样本集中确定指定数量的样本,作为参考样本添加至参考样本集,以及从所述目标样本集中确定指定数量的目标样本,作为参考样本添加至所述参考样本集中;
29、确定所述参考样本集中各样本分别对应的标注;
30、根据所述参考样本集中的样本和标注,对所述待训练的第二模型进行训练。
31、本说明书提供一种模型训练系统,所述系统包括样本确定单元和训练单元;其中:
32、所述样本确定单元,用于确定无标注样本集、目标样本集以及所述目标样本集中各样本的标注;根据半监督训练后的第一模型,通过主动学习算法,重新确定目标样本集中的样本及其标注;
33、所述训练单元,用于根据所述无标注样本集中的样本,以及所述目标样本集中的样本及其标注,对所述第一模型进行半监督训练,直至满足迭代终止条件。
34、本说明书提供一种模型训练装置,包括:
35、第一确定模块,用于根据目标样本集中的样本及其标注,以及无标注样本集中的样本,对待训练的第一模型进行半监督训练;
36、训练模块,用于根据半监督训练后的第一模型,通过主动学习算法,在无标注样本集中选择指定数量的样本,作为目标样本添加至所述目标样本集中,并确定所述目标样本集中各样本的标注;
37、第二确定模块,用于根据重新确定出的目标样本集中的样本和标注,以及所述无标注样本集中的样本,继续对所述第一模型进行半监督训练,直至达到预设的迭代终止条件。
38、本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练方法。
39、本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述模型训练方法。
40、本说明书采用的上述至少一个技术方案能够达到以下有益效果:
41、通过无标注样本集和目标样本集对第一模型进行半监督训练,并在半监督训练完成后,通过主动学习算法,从无标注样本集中重新确定目标样本,加入目标样本集中,进而基于无标注样本集和重新确定出的目标样本集对第一模型继续进行半监督训练,直至达到预设的迭代终止条件。
42、本说明书提供的该模型训练方法,可通过主动学习算法,确定出对模型训练效果提升较高的目标样本,来添加到目标样本集中,从而更好地指导该第一模型进行训练,在保证训练得到的第一模型的准确性的同时,兼顾了样本确定效率和模型训练效率。
本文档来自技高网...【技术保护点】
1.一种模型训练方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
3.如权利要求1所述的方法,其特征在于,根据目标样本集中的样本及其标注,以及无标注样本集中的样本,对待训练的第一模型进行半监督训练,包括:
4.如权利要求3所述的方法,其特征在于,根据所述目标样本集中各样本的输出结果及其标注之间的差距,以及所述各指定样本的输出结果及其伪标注之间的差距,对所述第一模型进行训练,包括:
5.如权利要求1所述的方法,其特征在于,所述第一模型对应于第一任务;
6.如权利要求5所述的方法,其特征在于,确定用于训练所述第二模型的参考样本集中的样本及其标注,并通过所述参考样本集,对待训练的所述第二模型进行训练,包括:
7.一种模型训练系统,其特征在于,所述系统包括样本确定单元和训练单元;其中:
8.一种模型训练装置,其特征在于,所述装置包括:
9.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述权利要求1~
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~6任一项所述的方法。
...【技术特征摘要】
1.一种模型训练方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
3.如权利要求1所述的方法,其特征在于,根据目标样本集中的样本及其标注,以及无标注样本集中的样本,对待训练的第一模型进行半监督训练,包括:
4.如权利要求3所述的方法,其特征在于,根据所述目标样本集中各样本的输出结果及其标注之间的差距,以及所述各指定样本的输出结果及其伪标注之间的差距,对所述第一模型进行训练,包括:
5.如权利要求1所述的方法,其特征在于,所述第一模型对应于第一任务;
6.如权利要求5所述的方法,其特征在于,...
【专利技术属性】
技术研发人员:请求不公布姓名,
申请(专利权)人:摩尔线程智能科技北京有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。