一种基于联合学习的数据对象处理方法和装置制造方法及图纸

技术编号:38319185 阅读:18 留言:0更新日期:2023-07-29 09:01
本公开涉及联合学习技术领域,提供了一种基于联合学习的数据对象处理方法和装置。该方法包括:获取联合学习训练中心的配置信息;建立联合学习训练中心与仿真主体的通信通道,仿真主体为联合学习的参与方;基于配置信息和通信通道,生成以数据结构表示联合学习训练中心的仿真对象;添加仿真对象到预设的仿真环境中,并按预设的仿真时间步产生并输出仿真对象在仿真环境下的仿真结果。本公开实现了对联合学习训练中心进行各种联合学习任务过程中可能出现的各种仿真结果,从而为联合学习训练中心实时执行联合学习任务提供有用的指导信息。心实时执行联合学习任务提供有用的指导信息。心实时执行联合学习任务提供有用的指导信息。

【技术实现步骤摘要】
一种基于联合学习的数据对象处理方法和装置


[0001]本公开涉及联合学习
,尤其涉及一种基于联合学习的数据对象处理方法和装置、电子设备及计算机可读存储介质。

技术介绍

[0002]联合学习训练中心作为联合学习的联盟主体,可以执行各种联合学习任务。然而由于一些客观因素的影响,导致联合学习训练中心在进行一些联合学习任务过程中会出现各种问题,而这些事先是无法预知。目前,本
还没有预测联合学习训练中心在实际学习任务中可能存在的各种情况和结果的技术手段。

技术实现思路

[0003]有鉴于此,本公开实施例提供了一种基于联合学习的数据对象处理方法和装置、电子设备及计算机可读存储介质,以解决联合学习训练中心如何进行联合学习仿真的问题。
[0004]本公开实施例的第一方面,提供了一种基于联合学习的数据对象处理方法,包括:获取联合学习训练中心的配置信息;建立联合学习训练中心与仿真主体的通信通道,仿真主体为联合学习的参与方;基于配置信息和通信通道,生成以数据结构表示联合学习训练中心的仿真对象;添加仿真对象到预设的仿真环境中,并按预设的仿真时间步产生并输出仿真对象在仿真环境下的仿真结果。
[0005]本公开实施例的第二方面,提供了一种基于联合学习的数据对象处理装置,包括:获取模块,被配置为获取联合学习训练中心的配置信息;构建模块,被配置为建立联合学习训练中心与仿真主体的通信通道,仿真主体为联合学习的参与方;生成模块,被配置为基于配置信息和通信通道,生成以数据结构表示联合学习训练中心的仿真对象;仿真模块,被配置为添加仿真对象到预设的仿真环境中,并按预设的仿真时间步产生并输出仿真对象在仿真环境下的仿真结果。
[0006]本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
[0007]本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
[0008]本公开实施例与现有技术相比存在的有益效果是:获取联合学习训练中心的配置信息;建立联合学习训练中心与仿真主体的通信通道,仿真主体为联合学习的参与方;基于配置信息和通信通道,生成以数据结构表示联合学习训练中心的仿真对象;添加仿真对象到预设的仿真环境中,并按预设的仿真时间步产生并输出仿真对象在仿真环境下的仿真结果,实现了对联合学习训练中心进行各种联合学习任务过程中可能出现的各种仿真结果,从而为联合学习训练中心实时执行联合学习任务提供有用的指导信息。
附图说明
[0009]为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
[0010]图1是本公开实施例的应用场景的场景示意图;
[0011]图2是本公开实施例提供的一种基于联合学习的数据对象处理方法的流程示意图;
[0012]图3是本公开实施例提供的一种基于联合学习的数据对象处理装置的结构示意图;
[0013]图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0014]以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
[0015]联合学习是指在确保数据安全及用户隐私的前提下,综合利用多种AI(Artificial Intelligence,人工智能)技术,联合多方合作共同挖掘数据价值,催生基于联合建模的新的智能业态和模式。联合学习至少具有以下特点:
[0016](1)参与节点控制自有数据的弱中心化联合训练模式,确保共创智能过程中的数据隐私安全。
[0017](2)在不同应用场景下,利用筛选和/或组合AI算法、隐私保护计算,建立多种模型聚合优化策略,以获取高层次、高质量的模型。
[0018](3)在确保数据安全及用户隐私的前提下,基于多种模型聚合优化策略,获取提升联合学习引擎的效能方法,其中效能方法可以是通过解决包括计算架构并行、大规模跨域网络下的信息交互、智能感知、异常处理机制等,提升联合学习引擎的整体效能。
[0019](4)获取各场景下多方用户的需求,通过互信机制,确定合理评估各联合参与方的真实贡献度,进行分配激励。
[0020]基于上述方式,可以建立基于联合学习的AI技术生态,充分发挥行业数据价值,推动垂直领域的场景落地。
[0021]下面将结合附图详细说明根据本公开实施例的一种基于联合学习的数据对象处理方法和装置。
[0022]图1是本公开实施例的一种联合学习的架构示意图。如图1所示,联合学习的架构可以包括服务器(联合学习训练中心)101以及参与方102、参与方103和参与方104。
[0023]在联合学习过程中,基本模型可以通过服务器101建立,服务器101将该模型发送至与其建立通信连接的参与方102、参与方103和参与方104。基本模型还可以是任一参与方建立后上传至服务器101,服务器101将该模型发送至与其建立通信连接的其他参与方。参与方102、参与方103和参与方104根据下载的基本结构和模型参数构建模型,利用本地数据
进行模型训练,获得更新的模型参数,并将更新的模型参数加密上传至服务器101。服务器101对参与方102、参与方103和参与方104发送的模型参数进行聚合,获得全局模型参数,并将全局模型参数传回至参与方102、参与方103和参与方104。参与方102、参与方103和参与方104根据接收的全局模型参数对各自的模型进行迭代,直到模型最终收敛,从而实现对模型的训练。在联合学习过程中,参与方102、参与方103和参与方104上传的数据为模型参数,本地数据并不会上传至服务器101,且所有参与方可以共享最终的模型参数,因此可以在保证数据隐私的基础上实现共同建模。需要说明的是,参与方的数量不限于如上所述的三个,而是可以根据需要进行设置,本公开实施例对此不作限制。
[0024]在实际应用中,服务器101与参与联合学习的主体(即参与方)之间存在各种不确定因素,例如,参与方的数量无法达到联合学习任务的要求,或者网络通信存在障碍等,这些不确定因素可能会对联合学习任务造成相应影响,从而无法预知该联合学习任务的训练质量或其他信息。因此,本领域技术人员希望能够在进行联合学习任务前,对利用联合学习训练中心来联合学习任务进行仿真,通过仿真的结果来对充分认识和了解该联合学习任务,以提高联合学习的成效。
[0025]图2是本公开实施例提供本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于联合学习的数据对象处理方法,其特征在于,包括:获取联合学习训练中心的配置信息;建立所述联合学习训练中心与仿真主体的通信通道,所述仿真主体为联合学习的参与方;基于所述配置信息和通信通道,生成以数据结构表示所述联合学习训练中心的仿真对象;添加所述仿真对象到预设的仿真环境中,并按预设的仿真时间步产生并输出所述仿真对象在所述仿真环境下的仿真结果。2.根据权利要求1所述的方法,其特征在于,所述配置信息包括所述联合学习训练中心支持的模型类型和仿真时间步。3.根据权利要求2所述的方法,其特征在于,所述模型类型包括以下至少一种类型:线性回归、逻辑回归、SVM、XGBoost、神经网络。4.根据权利要求1所述的方法,其特征在于,在获取联合学习训练中心的配置信息之后,还包括:获取对模型训练精度与贡献方资源质量的设定关系,所述设定关系包括线性关系和多项式关系。5.根据权利要求4所述的方法,其特征在于,在获取联合学习训练中心的配置信息之后,还包括:获取对模型训练的时间和资源消耗的计算关系,所述计算关系包括计算复杂度高、数据扫描次数多的模型对应的计算资源消耗高,以及存储空间大的模型对应的存储和网络资源消耗高。6.根据权利要求5所述的方法,其特征在于,所述基于所述配置信息和通信通道,生成以数据结构表示所述联合学习训练中心的仿真对象,包括:在计算机内存中生成以数据结构表示所述联合学习训练中心的仿真对象;至少基于所述联合学习训练中心的配置信息、所述联合学习训练中心与仿真主体的通信通道、模型训练精度与贡献方资源质量的设定关系和模型...

【专利技术属性】
技术研发人员:刘嘉李增祥
申请(专利权)人:新智我来网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1