联合学习训练方法及装置制造方法及图纸

技术编号:32481538 阅读:13 留言:0更新日期:2022-03-02 09:45
本公开涉及人工智能技术领域,提供了一种联合学习训练方法、装置及计算机可读存储介质。该方法包括:基于参与方选取的应用场景,创建联合学习模型训练任务;根据参与方提供的参与方信息,建立联合学习模型训练策略;利用联合学习模型训练策略,确定联合学习模型训练任务中需要承载的模型训练数量;根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型;将目标联合学习模型存储到与所述应用场景对应的模型库中。采用上述技术手段,解决现有技术中,缺少一种可以根据自主选择的应用场景,采用对应的训练方法训练联合学习模型的方法的问题。合学习模型的方法的问题。合学习模型的方法的问题。

【技术实现步骤摘要】
联合学习训练方法及装置


[0001]本公开涉及人工智能
,尤其涉及一种联合学习训练方法及装置。

技术介绍

[0002]在现有的联合学习技术中,都是在某种应用场景有了联合学习模型的应用需求之后,才根据特定的应用场景,训练对应的联合学习模型。在该过程中,联合学习模型的训练过程或者训练方法只能针对一个应用场景,现有技术缺少一种可以根据自主选择的应用场景,采用对应的训练方法训练联合学习模型的方法。
[0003]在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下技术问题:缺少一种可以根据自主选择的应用场景,采用对应的训练方法训练联合学习模型的方法的问题。

技术实现思路

[0004]有鉴于此,本公开实施例提供了一种联合学习训练方法及装置,以解决现有技术中,缺少一种可以根据自主选择的应用场景,采用对应的训练方法训练联合学习模型的方法的问题。
[0005]本公开实施例的第一方面,提供了一种联合学习训练方法,包括:基于参与方选取的应用场景,创建联合学习模型训练任务;根据参与方提供的参与方信息,建立联合学习模型训练策略;利用联合学习模型训练策略,确定联合学习模型训练任务中需要承载的模型训练数量;根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型;将目标联合学习模型存储到与所述应用场景对应的模型库中。
[0006]本公开实施例的第二方面,提供了一种联合学习训练装置,包括:训练任务模块,用于基于参与方选取的应用场景,创建联合学习模型训练任务;训练策略模块,用于根据参与方提供的参与方信息,建立联合学习模型训练策略;确定模块,用于利用联合学习模型训练策略,确定联合学习模型训练任务中需要承载的模型训练数量;启动模块,用于根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型;模型库模块,用于将目标联合学习模型存储到与所述应用场景对应的模型库中。
[0007]本公开实施例与现有技术相比存在的有益效果是:基于参与方选取的应用场景,创建联合学习模型训练任务;根据参与方提供的参与方信息,建立联合学习模型训练策略;利用联合学习模型训练策略,确定联合学习模型训练任务中需要承载的模型训练数量;根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型;将目标联合学习模型存储到与所述应用场景对应的模型库中。采用上述技术手段,可以解决现有技术中,缺少一种可以根据自主选择的应用场景,采用对应的训练方法训练联合学习模型的方法的问题,进而提供一种新的联合学
习训练方法。
附图说明
[0008]为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
[0009]图1是本公开实施例的一种联合学习的架构示意图;
[0010]图2是本公开实施例提供的一种联合学习训练方法的流程示意图;
[0011]图3是本公开实施例提供的一种联合学习训练装置的结构示意图;
[0012]图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0013]以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
[0014]联合学习是指在确保数据安全及用户隐私的前提下,综合利用多种AI(Artificial Intelligence,人工智能)技术,联合多方合作共同挖掘数据价值,催生基于联合建模的新的智能业态和模式。联合学习至少具有以下特点:
[0015](1)参与节点控制自有数据的弱中心化联合训练模式,确保共创智能过程中的数据隐私安全。
[0016](2)在不同应用场景下,利用筛选和/或组合AI算法、隐私保护计算,建立多种模型聚合优化策略,以获取高层次、高质量的模型。
[0017](3)在确保数据安全及用户隐私的前提下,基于多种模型聚合优化策略,获取提升联合学习引擎的效能方法,其中效能方法可以是通过解决包括计算架构并行、大规模跨域网络下的信息交互、智能感知、异常处理机制等,提升联合学习引擎的整体效能。
[0018](4)获取各场景下多方用户的需求,通过互信机制,确定合理评估各联合参与方的真实贡献度,进行分配激励。
[0019]基于上述方式,可以建立基于联合学习的AI技术生态,充分发挥行业数据价值,推动垂直领域的场景落地。
[0020]下面将结合附图详细说明根据本公开实施例的一种联合学习训练方法和装置。
[0021]图1是本公开实施例的一种联合学习的架构示意图。如图1所示,联合学习的架构可以包括服务器(中心节点)101以及参与方102、参与方103和参与方104。
[0022]在联合学习过程中,基本模型可以通过服务器101建立,服务器101将该模型发送至与其建立通信连接的参与方102、参与方103和参与方104。基本模型还可以是任一参与方建立后上传至服务器101,服务器101将该模型发送至与其建立通信连接的其他参与方。参与方102、参与方103和参与方104根据下载的基本结构和模型参数构建模型,利用本地数据进行模型训练,获得更新的模型参数,并将更新的模型参数加密上传至服务器101。服务器
101对参与方102、参与方103和参与方104发送的模型参数进行聚合,获得全局模型参数,并将全局模型参数传回至参与方102、参与方103和参与方104。参与方102、参与方103和参与方104根据接收的全局模型参数对各自的模型进行迭代,直到模型最终收敛,从而实现对模型的训练。在联合学习过程中,参与方102、参与方103和参与方104上传的数据为模型参数,本地数据并不会上传至服务器101,且所有参与方可以共享最终的模型参数,因此可以在保证数据隐私的基础上实现共同建模。需要说明的是,参与方的数量不限于如上所述的三个,而是可以根据需要进行设置,本公开实施例对此不作限制。
[0023]图2是本公开实施例提供的一种联合学习训练方法的流程示意图。图2的联合学习训练方法可以由图1的服务器执行。如图2所示,该联合学习训练方法包括:
[0024]S201,基于参与方选取的应用场景,创建联合学习模型训练任务;
[0025]S202,根据参与方提供的参与方信息,建立联合学习模型训练策略;
[0026]S203,利用联合学习模型训练策略,确定联合学习模型训练任务中需要承载的模型训练数量;
[0027]S204,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种联合学习训练方法,其特征在于,包括:基于参与方选取的应用场景,创建联合学习模型训练任务;根据参与方提供的参与方信息,建立联合学习模型训练策略;利用联合学习模型训练策略,确定联合学习模型训练任务中需要承载的模型训练数量;根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型;将目标联合学习模型存储到与所述应用场景对应的模型库中。2.根据权利要求1所述的方法,其特征在于,根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型,包括:利用每个所述参与方的数据训练待训练的模型,得到每个所述参与方对应的第一联合学习模型;获取每个所述参与方对应的所述第一联合学习模型的网络模型参数,并对所述网络模型参数按照预设权重值进行模型参数聚合,得到全局网络模型参数;基于所述全局网络模型参数更新待训练的模型,得到所述目标联合学习模型。3.根据权利要求2所述的方法,其特征在于,基于所述全局网络模型参数更新待训练的模型,得到所述目标联合学习模型,所述方法包括:基于所述全局网络模型参数更新待训练的模型,得到第三联合学习模型;利用每个所述参与方的数据组成第一数据集合;将所述第一数据集合进行局部敏感哈希处理,以得到第二数据集合;根据所述第二数据集合训练所述第三联合学习模型,得到所述目标联合学习模型。4.根据权利要求1所述的方法,其特征在于,根据联合学习模型训练任务中需要承载的模型训练数量,启动联合学习模型训练任务中多个待训练的模型,以得到目标联合学习模型,包括:标注每个所述参与方的数据,以得到标注数据;根据所述标注数据,构建模型训练矩阵;基于所述模型训练矩阵训练待训练的模型,得到目标联合学习模型。5.根据权利要求4所述的方法,其特征在于,基于所述模型训练矩阵训练待训练的模型,得到目标联合学习模型,包括:根据所述应用场景,对所述模型训练矩阵进行划分计算,以得到划分计算的矩阵;利用所述划分计算的矩阵训练待...

【专利技术属性】
技术研发人员:张敏
申请(专利权)人:新智我来网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1