基于联邦学习的模型训练方法、装置、介质以及电子设备制造方法及图纸

本申请实施例公开了一种基于联邦学习的模型训练方法、装置、介质以及电子设备。方法由全局总模型的训练参与方执行，具体包括：利用本地数据集对本地子模型进行训练，以使本地子模型输出本地预测值；在全局总模型的训练参与组内分享本地预测值，并根据训练参与组内其他参与方分享的本地预测值，确定全局总模型的联合预测值；根据联合预测值，确定全局总模型的全局损失值；基于全局总模型的全局损失值，确定本地子模型的最新梯度值，并基于最新梯度值更新本地子模型以训练所述全局总模型。本申请技术方案简化了基于联邦学习的模型训练方法，降低了模型训练方法的计算复杂度和通信复杂度，提高了模型训练方法的实用性。提高了模型训练方法的实用性。提高了模型训练方法的实用性。

【技术实现步骤摘要】
基于联邦学习的模型训练方法、装置、介质以及电子设备


[0001]本申请涉及计算机
，尤其涉及一种基于联邦学习的模型训练方法、装置、介质以及电子设备。

技术介绍

[0002]联邦学习是一种分布式机器学习技术，核心思想是通过在多个拥有本地数据集的数据源之间进行分布式模型训练，在不需要交换本地数据集的前提下，仅通过交换模型参数相关中间结果的方式，构建基于虚拟融合数据下的全局总模型，实现数据隐私保护和数据价值共享计算的平衡。联邦学习可被分为横向联邦学习、纵向联邦学习和迁移联邦学习。
[0003]纵向联邦学习的重点在于保护模型训练阶段中训练参与方的本地数据集及本地子模型的子模型参数（如梯度等）。相关技术中，基于联邦学习的模型训练方法，其计算复杂度和通信复杂度较高，在实际应用中的性能较差。

技术实现思路

[0004]本申请提供了一种基于联邦学习的模型训练方法、装置、介质以及电子设备，适用于基于联邦学习对无中心协调方的回归模型进行模型训练的情况，可以达到简化基于联邦学习的模型训练方法，降低模型训练方法的计算复杂度和通信复杂度，提高模型训练方法的实用性的目的。
[0005]根据本申请的第一方面，提供了基于联邦学习的模型训练方法，由全局总模型的训练参与方执行，所述方法包括：
[0006]利用本地数据集对本地子模型进行训练，以使所述本地子模型输出本地预测值；
[0007]在全局总模型的训练参与组内分享本地预测值，并根据所述训练参与组内其他参与方分享的本地预测值，确定所述全局总模型的联合预测值；
[0008]根据所述联合预测值，确定所述全局总模型的全局损失值；
[0009]基于所述全局总模型的全局损失值，确定本地子模型的最新梯度值，并基于所述最新梯度值更新本地子模型以训练所述全局总模型。
[0010]根据本申请的第二方面，提供了基于联邦学习的模型训练装置，配置于全局总模型的训练参与方，所述装置包括：
[0011]本地预测值确定模块，用于利用本地数据集对本地子模型进行训练，以使所述本地子模型输出本地预测值；
[0012]联合预测值确定模块，用于在全局总模型的训练参与组内分享本地预测值，并根据所述训练参与组内其他参与方分享的本地预测值，确定所述全局总模型的联合预测值；
[0013]全局损失值确定模块，用于根据所述联合预测值，确定所述全局总模型的全局损失值；
[0014]本地子模型更新模块，用于基于所述全局总模型的全局损失值，确定本地子模型的最新梯度值，并基于所述最新梯度值更新本地子模型以训练所述全局总模型。
[0015]根据本专利技术的第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的基于联邦学习的模型训练方法。
[0016]根据本专利技术的第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的基于联邦学习的模型训练方法。
[0017]本申请技术方案，利用本地数据集对本地子模型进行训练，以使所述本地子模型输出本地预测值；在全局总模型的训练参与组内分享本地预测值，并根据所述训练参与组内其他参与方分享的本地预测值，确定所述全局总模型的联合预测值；根据所述联合预测值，确定所述全局总模型的全局损失值；基于所述全局总模型的全局损失值，确定本地子模型的最新梯度值，并基于所述最新梯度值更新本地子模型以训练所述全局总模型。保证了训练参与方的数据隐私安全，避免了训练参与方的本地数据集以及子模型参数等泄露，同时简化了基于联邦学习的模型训练方法，降低了模型训练方法的计算复杂度和通信复杂度，提高了模型训练方法的实用性。
[0018]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是根据实施例一提供的基于联邦学习的模型训练方法的流程图；
[0021]图2是根据实施例二提供的基于联邦学习的模型训练方法的流程图；
[0022]图3是根据实施例三提供的基于联邦学习的模型训练方法的流程图；
[0023]图4是本申请实施例四提供的基于联邦学习的模型训练装置的结构示意图；
[0024]图5是本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0026]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备
不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027]实施例一
[0028]图1是根据实施例一提供的基于联邦学习的模型训练方法的流程图，本实施例可适用于基于联邦学习对无中心协调方的回归模型进行模型训练的情况，该方法可以配置于由基于联邦学习的模型训练装置来执行，基于联邦学习的模型训练装置可以配置于全局总模型的训练参与方，采用硬件和/或软件的形式实现，并可集成于运行此系统的电子设备中。
[0029]如图1所示，该方法包括：
[0030]S110、利用本地数据集对本地子模型进行训练，以使所述本地子模型输出本地预测值；
[0031]其中，本地子模型配置在训练参与方，由训练参与方利用本地数据集进行训练。本地子模型与训练参与方相对应，将训练参与方的本地子模型进行聚合可以得到全局总模型。全局总模型的训练参与方为多个。训练参与方的具体数量在这里不作限定，可以根据实际情况确定。
[0032]本地数据集用于对本地子模型进行训练，本地数据集为训练参与方隐私保存，不对外公开的。可选的，基于纵向联邦学习进行模型训练。不同训练参与方的本地数据集中存在相同用户。针对同一用户，不同训练参与方的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，由全局总模型的训练参与方执行，所述方法包括：利用本地数据集对本地子模型进行训练，以使所述本地子模型输出本地预测值；在全局总模型的训练参与组内分享本地预测值，并根据所述训练参与组内其他参与方分享的本地预测值，确定所述全局总模型的联合预测值；根据所述联合预测值，确定所述全局总模型的全局损失值；基于所述全局总模型的全局损失值，确定本地子模型的最新梯度值，并基于所述最新梯度值更新本地子模型以训练所述全局总模型。2.根据权利要求1所述的方法，其特征在于，根据所述联合预测值，确定所述全局总模型的全局损失值，包括：对所述联合预测值进行分片处理，将所述联合预测值分为联合分享值和联合保留值；在全局总模型的训练参与组内分享所述联合分享值，并获取所述训练参与组内其他参与方的联合分享值；根据所述联合保留值和所述其他参与方的联合分享值，确定全局总模型的损失值碎片；根据所述全局总模型的损失值碎片以及从所述训练参与组内其他参与方获取到的损失值碎片，确定全局总模型的全局损失值。3.根据权利要求2所述的方法，其特征在于，根据所述全局总模型的损失值碎片以及从所述训练参与组内其他参与方获取到的损失值碎片，确定全局总模型的全局损失值，包括：对所述全局总模型的损失值碎片进行加密处理，得到损失值密文；在所述训练参与组内分享所述损失值密文，并获取所述训练参与组内其他参与方的损失值密文；对所述全局总模型的损失值碎片，以及从所述训练参与组内其他参与方处获取到的损失值密文进行计算，得到全局总模型的全局损失值。4.根据权利要求1所述的方法，其特征在于，基于所述全局总模型的全局损失值，确定本地子模型的最新梯度值，包括：根据所述全局总模型的全局损失值以及本地数据集的样本特征值，确定训练参与方的梯度左因子；根据所述本地子模型的子模型系数以及本地数据集的样本特征值，确定训练参与方的梯度右因子；根据所述梯度右因子和所述梯度左因子，确定本地子模型的最新梯度值。5.根据权利要求4所述的方法，其特征在于，根据所述梯度右因子和所述梯度左因子，确定本地子模型的最新梯度值，包括：若所述训练参与方的梯度左因子为密文形式的，则对所述梯度左因子进行解...

【专利技术属性】
技术研发人员：马平，兰春嘉，
申请(专利权)人：上海零数众合信息科技有限公司，
类型：发明
国别省市：