一种建模方法、装置、电子设备和可读介质制造方法及图纸

技术编号:28625275 阅读:22 留言:0更新日期:2021-05-28 16:21
本申请提供了一种建模方法、装置、电子设备和可读介质,属于模型构建技术领域。方法包括:将初始化种群的信息和协同器发送的目标标识输入生成器中,得到生成器输出的当前种群的信息;将当前种群的信息和第二数据方提供的第二数据发送至协同器,得到协同器构建的多个第一模型,并确定第一模型的样本个体的适应度值;在第一模型不满足预设停止条件的情况下,根据适应度值确定目标个体的目标标识,其中,目标个体为被选取的有效个体;将目标标识反馈至生成器,直至第一模型满足预设停止条件,则停止反馈操作并将第一模型作为第二模型。本申请降低了模型构建的复杂度。

【技术实现步骤摘要】
一种建模方法、装置、电子设备和可读介质
本申请涉及模型构建
,尤其涉及一种建模方法、装置、电子设备和可读介质。
技术介绍
随着机器学习的发展,越来越多的机器学习技术被应用于各行各业,数据的数量和质量往往决定了机器学习模型效果的上限。但是随着人们对于数据安全和隐私保护越来越重视,形成数据孤岛现象,在这样的场景下,联邦学习应运而生,它可以让参与方在不共享数据的基础上联合训练,解决数据孤岛的难题。在联邦学习的模型构建过程中,在节点分裂时,业务方和数据提供方需要同步样本空间和最优分裂特征等信息,即各参与方之间通信信息包含主键信息、特征编号、模型梯度信息等敏感内容,为了提高数据安全性,需要对传输的数据进行加密,这样就提高了模型构建的复杂度。
技术实现思路
本申请实施例的目的在于提供一种建模方法、装置、电子设备和可读介质,以解决模型构建复杂度高的问题。具体技术方案如下:第一方面,提供了一种建模方法,所述方法包括:将初始化种群的信息和协同器发送的目标标识输入生成器中,得到所述生成器输出的当前种群的信息,其中,所述当前种群中包括多个样本个体,每个所述样本个体为包含第一数据方提供的第一数据的一个人工智能模型;将所述当前种群的信息和第二数据方提供的第二数据发送至所述协同器,得到所述协同器构建的多个第一模型,并确定所述第一模型的样本个体的适应度值,所述适应度值用于指示所述第一模型的样本个体的有效概率;在所述第一模型不满足预设停止条件的情况下,根据所述适应度值确定目标个体的目标标识;将所述目标标识反馈至所述生成器,直至所述第一模型满足预设停止条件,则停止所述反馈操作并将得到的第一模型作为第二模型。可选地,所述初始化种群中包括多个初始化个体,每个所述初始化个体具有对应的标识,所述得到所述生成器输出的当前种群的信息包括:从所述多个初始化个体中选取出标识为所述目标标识的有效个体;将多个所述有效个体利用遗传操作算子进行处理;将所述第一数据输入进行遗传处理后的每个所述有效个体中,得到多个样本个体,并利用所述多个样本个体构成所述当前种群;将所述当前种群的信息从所述生成器中输出。可选地,所述得到所述协同器构建的多个第一模型包括:将所述第二数据输入每个所述样本个体中,得到多个第一模型,其中,每个所述第一模型指示含有所述第一数据和所述第二数据的一个中间个体;所述确定所述第一模型的样本个体的适应度值包括:确定所述中间个体的适应度值。可选地,所述目标个体包括第一个体和第二个体,所述根据所述适应度值确定目标个体的目标标识包括:采用遗传算法确定所述多个中间个体中是否存在第一个体,其中,所述第一个体为具有有效概率大于预设概率阈值的个体,所述遗传算法中运用到所述适应度值;在确定所述多个中间个体中存在第一个体的情况下,确定所述第一个体的标识为所述目标标识;在确定所述多个中间个体中不存在第一个体的情况下,选取适应度值高于预设阈值的中间个体作为所述第二个体,并确定所述第二个体的标识为所述目标标识。可选地,所述选取适应度值高于预设阈值的中间个体作为所述第二个体包括:将每个所述中间个体的适应度值按照由大到小的顺序进行排序;选取排序位置位于预设位置之前的中间个体作为所述第二个体,其中,所述预设位置是根据所述预设阈值确定的。可选地,将协同器发送的目标标识输入生成器之前,所述方法还包括:在所述协同器为首次发送目标标识的情况下,确定所述目标标识为所述初始化种群中全部初始化个体的标识;在所述协同器为非首次发送目标标识的情况下,确定所述目标标识为所述第一个体的标识或所述第二个体的标识。可选地,所述生成器的数量为多个,将初始化种群的信息和协同器发送的目标标识输入生成器之后,所述方法还包括:若确定所述协同器在预设时长内没有接收到目标生成器发送的当前种群的信息,则确定所述目标生成器出现故障;控制所述协同器停止与所述目标生成器之间的信息交互,并保持与所述多个生成器中非故障的生成器之间的信息交互。可选地,将初始化种群的信息和协同器发送的目标标识输入生成器之前,所述方法还包括:接收所述第二数据方提供的推理请求,其中,所述推理请求中携带有样本主键,所述样本主键用于指示所述第一数据方需要提供的第一数据的标识;将所述样本主键发送至所述第一数据方,以使所述第一数据方根据所述样本主键从多个数据中选取出所述第一数据。可选地,所述将多个所述有效个体利用遗传操作算子进行处理包括:通过对每个所述有效个体进行编码,生成多个编码体,其中,每个所述编码体对应一个有效个体;根据第一有效个体的第一编码体和第二有效个体的第二编码体生成一个交叉概率;在所述交叉概率不大于预设交叉阈值的情况下,交换所述第一有效个体的位置信息和所述第二有效个体的位置信息。第二方面,提供了一种基于联邦学习的建模装置,所述装置包括:输入模块,用于将初始化种群的信息和协同器发送的目标标识输入生成器中,得到所述生成器输出的当前种群的信息,其中,所述当前种群中包括多个样本个体,每个所述样本个体为包含第一数据方提供的第一数据的一个人工智能模型;发送模块,用于将所述当前种群的信息和第二数据方提供的第二数据发送至所述协同器,得到所述协同器构建的多个第一模型,并确定所述第一模型的所述样本个体的适应度值,其中,所述适应度值用于指示所述第一模型的样本个体的有效概率;确定模块,用于在所述第一模型不满足预设停止条件的情况下,根据所述适应度值确定目标个体的目标标识,其中,所述目标个体为被选取的有效个体;反馈模块,用于将所述目标标识反馈至所述生成器,直至所述第一模型满足预设停止条件,则停止所述反馈操作并将得到的第一模型作为第二模型。第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现任一所述的一种基于联邦学习的建模的方法步骤。第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一所述的一种基于联邦学习的建模的方法步骤。本申请实施例有益效果:本申请在构建第二模型的过程中,将第一数据融合在样本个体中,将第二数据融合在第一模型中,由于每个个体是一个人工智能模型,第二模型构建的过程中实质暴露的是人工智能模型参数和种群信息,因此也无需对第一数据和第二数据进行加密,降低了模型构建的复杂度。当然,实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不本文档来自技高网...

【技术保护点】
1.一种建模方法,其特征在于,所述方法包括:/n将初始化种群的信息和协同器发送的目标标识输入生成器中,得到所述生成器输出的当前种群的信息,其中,所述当前种群中包括多个样本个体,每个所述样本个体为包含第一数据方提供的第一数据的一个人工智能模型;/n将所述当前种群的信息和第二数据方提供的第二数据发送至所述协同器,得到所述协同器构建的多个第一模型,并确定所述第一模型的样本个体的适应度值,所述适应度值用于指示所述第一模型的样本个体的有效概率;/n在所述第一模型不满足预设停止条件的情况下,根据所述适应度值确定目标个体的目标标识,其中,所述目标个体为被选取的有效个体;/n将所述目标标识反馈至所述生成器,直至所述第一模型满足预设停止条件,则停止所述反馈操作并将得到的第一模型作为第二模型。/n

【技术特征摘要】
1.一种建模方法,其特征在于,所述方法包括:
将初始化种群的信息和协同器发送的目标标识输入生成器中,得到所述生成器输出的当前种群的信息,其中,所述当前种群中包括多个样本个体,每个所述样本个体为包含第一数据方提供的第一数据的一个人工智能模型;
将所述当前种群的信息和第二数据方提供的第二数据发送至所述协同器,得到所述协同器构建的多个第一模型,并确定所述第一模型的样本个体的适应度值,所述适应度值用于指示所述第一模型的样本个体的有效概率;
在所述第一模型不满足预设停止条件的情况下,根据所述适应度值确定目标个体的目标标识,其中,所述目标个体为被选取的有效个体;
将所述目标标识反馈至所述生成器,直至所述第一模型满足预设停止条件,则停止所述反馈操作并将得到的第一模型作为第二模型。


2.根据权利要求1所述的方法,其特征在于,所述初始化种群中包括多个初始化个体,每个所述初始化个体具有对应的标识,所述得到所述生成器输出的当前种群的信息包括:
从所述多个初始化个体中选取出标识为所述目标标识的有效个体;
将多个所述有效个体利用遗传操作算子进行处理;
将所述第一数据输入进行遗传处理后的每个所述有效个体中,得到多个样本个体,并利用所述多个样本个体构成所述当前种群;
将所述当前种群的信息从所述生成器中输出。


3.根据权利要求1所述的方法,其特征在于,
所述得到所述协同器构建的多个第一模型包括:将所述第二数据输入每个所述样本个体中,得到多个第一模型,其中,每个所述第一模型指示含有所述第一数据和所述第二数据的一个中间个体;
所述确定所述第一模型的样本个体的适应度值包括:确定所述中间个体的适应度值。


4.根据权利要求3所述的方法,其特征在于,所述目标个体包括第一个体和第二个体,所述根据所述适应度值确定目标个体的目标标识包括:
采用遗传算法确定所述多个中间个体中是否存在第一个体,其中,所述第一个体为具有有效概率大于预设概率阈值的个体,所述遗传算法中运用到所述适应度值;
在确定所述多个中间个体中存在第一个体的情况下,确定所述第一个体的标识为所述目标标识;
在确定所述多个中间个体中不存在第一个体的情况下,选取适应度值高于预设阈值的中间个体作为所述第二个体,并确定所述第二个体的标识为所述目标标识。


5.根据权利要求4所述的方法,其特征在于,所述选取适应度值高于预设阈值的中间个体作为所述第二个体包括:
将每个所述中间个体的适应度值按照由大到小的顺序进行排序;
选取排序位置位于预设位置之前的中间个体作为所述第二个体,其中,所述预设位置是根据所述预设阈值确定的。


6.根据权利要求4所述的方法,其特征在于,将协同器发送的目标标识输入生成器之前,所述方法还包括:
在所述协同器为首次发送目标标识的情况下,确定所述目标标识为所述初始化种群中全部初始化个...

【专利技术属性】
技术研发人员:陈忠冯泽瑾王虎黄志翔彭南博
申请(专利权)人:京东数字科技控股股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1