System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于计算机,尤其涉及一种获取样本的方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着机器学习和边缘计算技术的不断发展,移动设备上的联邦学习成为一种重要的模型训练方法。在实际应用中,模型训练样本数据源为联邦学习的模型训练提供样本数据,这些模型训练样本数据源可能是客户端,客户端将本地数据提供给待训练模型以作为模型训练的样本数据。然而,客户端的本地数据集分布通常是非平衡的,一些客户端的数据样本量较大,而另一些客户端的本地数据样本量较小。
2、此外,模型训练是一个多回合迭代优化的过程,需要合理选取每一个回合的客户端,即数据源,从而优化模型训练的效率与最终的模型测试精度。
技术实现思路
1、本申请实施例提供了一种获取样本的方法、装置、设备及计算机可读存储介质,能够提供模型训练效率。
2、第一方面,本申请实施例提供了一种获取样本的方法,包括:
3、根据待训练模型的训练回合数信息,确定每个训练回合对应的模型训练样本数据源的目标数量;在每个训练回合,利用目标数量个模型训练样本数据源提供的模型训练样本,对待训练模型进行优化;
4、针对每个训练回合,根据目标数量和预设规则,在多个模型训练样本数据源中,确定提供模型训练样本的目标数据源;
5、获取目标数据源提供的模型训练样本;
6、使用模型训练样本,训练待训练模型。
7、第二方面,本申请实施例提供了一种获取样本的装置,包括:
8、目标数量模块,用
9、目标数据源模块,用于针对每个训练回合,根据目标数量,在多个模型训练样本数据源中,确定提供模型训练样本的目标数据源;
10、训练样本模块,用于获取目标数据源提供的模型训练样本;
11、训练模块,用于使用模型训练样本,训练待训练模型。
12、第三方面,本申请实施例提供了一种电子设备,包括:包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现如本申请任意一项实施例所提供的方法。
13、根据本申请的又一方面,提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面的相关实施例提供的方法。
14、由上可见,本申请实施例对模型训练样本非平衡分布的数据源进行采样,通过设计对多个模型训练样本数据源进行抽样的策略,实现有针对性地选择模型训练样本数据源,对待训练模型进行训练,从而能够使得模型训练过程具有更高的针对性,提高模型训练效率。
本文档来自技高网...【技术保护点】
1.一种获取样本的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,每个训练回合对应的模型训练样本数据源的数量,随着所述训练回合累计数量的增加而增加。
3.根据权利要求2所述的方法,其特征在于,所述根据待训练模型的训练回合数信息,确定每个训练回合对应的模型训练样本数据源的目标数量,包括:
4.根据权利要求1所述的方法,其特征在于,所述预设规则为:针对每个训练回合,优先选择模型训练样本数据量多且被选为目标数据源的次数少的模型训练样本数据源,为所述训练回合的目标数据源。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述针对所述每个训练回合,根据所述目标数量和预设规则,在多个模型训练样本数据源中,确定提供模型训练样本的目标数据源,包括:
6.根据权利要求5所述的方法,其特征在于,所述确定所述多个模型训练样本数据源中,每个模型训练样本数据源与所述训练回合对应的排序权重,包括:
7.根据权利要求5所述的方法,其特征在于,所述根据排序前所述目标数量的模型训练样本数据源,确定所述目标数据源,包
8.根据权利要求7所述的方法,其特征在于,所述筛除条件包括:所述模型训练样本数据源为上一个训练回合中的目标数据源。
9.一种获取样本的装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任意一项所述的方法。
...【技术特征摘要】
1.一种获取样本的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,每个训练回合对应的模型训练样本数据源的数量,随着所述训练回合累计数量的增加而增加。
3.根据权利要求2所述的方法,其特征在于,所述根据待训练模型的训练回合数信息,确定每个训练回合对应的模型训练样本数据源的目标数量,包括:
4.根据权利要求1所述的方法,其特征在于,所述预设规则为:针对每个训练回合,优先选择模型训练样本数据量多且被选为目标数据源的次数少的模型训练样本数据源,为所述训练回合的目标数据源。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述针对所述每个训练回合,根据所述目标数量和预设规则,在多个模型训练样本数据源中,确定提供模型训练样本的目标数据源,包括:
6.根据权利要求5所述的方法,其特征在于,所述确定...
【专利技术属性】
技术研发人员:杨海良,崔来中,明中行,
申请(专利权)人:人工智能与数字经济广东省实验室深圳,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。