确定超参的方法、训练联邦学习模型的方法及电子设备技术

本申请公开了一种确定超参的方法、训练联邦学习模型的方法及电子设备，其中，确定超参的方法包括：通过训练联邦学习模型，确定出第一耗时和第二耗时；基于第一耗时、第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，第一耗时表征训练节点计算一个样本的梯度消耗的时长；第二耗时表征第一时刻至第二时刻的时长；第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。代次数间隔。代次数间隔。

【技术实现步骤摘要】
确定超参的方法、训练联邦学习模型的方法及电子设备


[0001]本申请涉及人工智能
，尤其涉及一种确定超参的方法、训练联邦学习模型的方法及电子设备。

技术介绍

[0002]联邦学习旨在不共享数据样本的情况下，建立一个基于分布数据集的联邦学习模型。相关技术中，基于联邦平均(FedAvg，Federated Averaging)算法进行横向联邦学习的情况下，需要人工调节超参来调整训练时长，但人工设置的超参不合适，导致联邦学习模型的训练时间过长。其中，横向联邦学习的训练节点拥有的数据样本不同。超参是指在模型训练前，人为设定的参数。

技术实现思路

[0003]有鉴于此，本申请实施例提供确定超参的方法、训练联邦学习模型的方法及电子设备，以解决相关技术中因人工设置的超参不合适，导致联邦学习模型的训练时间过长的技术问题。
[0004]为达到上述目的，本申请的技术方案是这样实现的：
[0005]本申请实施例提供了一种确定超参的方法，包括：
[0006]通过训练联邦学习模型，确定出第一耗时和第二耗时；
[0007]基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，
[0008]所述第一耗时表征训练节点计算一个样本的梯度消耗的时长；所述第二耗时表征第一时刻至第二时刻的时长；所述第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；所述第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。
[0009]上述方案中，所述基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参，包括：
[0010]基于设定损失函数对应的设定梯度精度以及第一参数，确定出总迭代次数的限制条件；所述限制条件表征设定梯度精度、参与训练所述联邦学习模型的训练节点的总数、第一超参以及第二超参之间的相关关系；
[0011]基于确定出的限制条件，以及基于训练总耗时与所述第一耗时、所述第二耗时、总迭代次数、第一超参以及第二超参之间的相关关系，确定出训练总耗时最小时对应的第一超参和/或第二超参。
[0012]上述方案中，所述方法还包括：
[0013]通过设定的第一系数调整所述第一超参和/或所述第二超参，得到调整后的第一超参和/或调整后的第二超参。
[0014]所述通过设定的第一系数调整所述第一超参和/或所述第二超参时，所述方法还包括：
[0015]基于调整后的第一超参和/或调整后的第二超参，对联邦学习模型进行再次训练；
[0016]在再次训练至联邦学习模型未收敛且满足第一设定条件的情况下，调整所述第一系数；所述第一设定条件表征达到设定的总迭代次数或达到设定训练总耗时。
[0017]上述方案中，所述确定出第一超参和/或第二超参时，所述方法还包括：
[0018]基于至少一个第一训练总耗时对应的第一超参和/或第二超参，确定出最小的第一训练总耗时对应的第一超参和/或第二超参；其中，
[0019]第一训练总耗时表征在联邦学习模型收敛的情况下对应的训练总耗时。
[0020]本申请实施例还提供了一种训练联邦学习模型的方法，包括：
[0021]基于第一超参和/或第二超参，对联邦学习模型进行训练；其中，
[0022]所述第一超参和/或所述第二超参为采用上述任一种技术方案所述的确定超参的方法确定出的超参。
[0023]本申请实施例还提供了一种电子设备，包括：
[0024]第一确定单元，用于通过训练联邦学习模型，确定出第一耗时和第二耗时；
[0025]第二确定单元，用于基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，
[0026]所述第一耗时表征训练节点计算一个样本的梯度消耗的时长；所述第二耗时表征第一时刻至第二时刻的时长；所述第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；所述第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。
[0027]本申请实施例还提供了一种电子设备，包括：
[0028]训练单元，用于基于第一超参和/或第二超参，对联邦学习模型进行训练；其中，所述第一超参和/或所述第二超参为采用上述任一种技术方案所述的确定超参的方法确定出的超参。
[0029]本申请实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
[0030]其中，所述处理器用于运行所述计算机程序时，至少执行以下之一：
[0031]上述任一技术方案提供的确定超参的方法的步骤；
[0032]上述训练联邦学习模型的方法的步骤。
[0033]本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，至少实现以下之一：
[0034]上述任一技术方案提供的确定超参的方法的步骤；
[0035]上述训练联邦学习模型的方法的步骤。
[0036]在本申请实施例中，通过训练联邦学习模型，确定出第一耗时和第二耗时；基于第一耗时、第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参。由于第一耗时和第二耗时与联邦学习模型的训练环境(网络环境和训练节点的硬件环境等)有关，并且第一超参或第二超参为影响训练速度的关键超参，基于第一耗时
和第二耗时确定出第一超参和/或第二超参，综合考虑了训练环境和关键超参对联邦学习模型的训练速度的影响，相对于现有技术中人工调整超参的方式，本方案可以确定出训练总时长最小时对应的最优超参，提高了寻找最优超参的效率，采用最优超参进行训练时，可以缩短训练时长，加快训练速度。
附图说明
[0037]图1为相关技术提供的横向联邦学习的系统架构图；
[0038]图2为本申请实施例提供的确定超参的方法的实现流程示意图；
[0039]图3为本申请实施例提供的确定超参的方法中调整设定的第一系数的实现流程示意图；
[0040]图4为本申请实施例提供的训练联邦学习模型的方法的实现流程示意图；
[0041]图5为本申请实施例提供的电子设备的结构示意图；
[0042]图6为本申请另一实施例提供的电子设备的结构示意图；
[0043]图7为本申请实施例电子设备的硬件组成结构示意图。
具体实施方式
[0044]相关技术中，根据多个训练节点之间数据分布的不同，把联邦学习分为三类:横向联邦学习、纵向联邦学习和联邦迁移学习。其中，横向联邦学习也称按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定超参的方法，其特征在于，包括：通过训练联邦学习模型，确定出第一耗时和第二耗时；基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，所述第一耗时表征训练节点计算一个样本的梯度消耗的时长；所述第二耗时表征第一时刻至第二时刻的时长；所述第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；所述第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参，包括：基于设定损失函数对应的设定梯度精度以及第一参数，确定出总迭代次数的限制条件；所述限制条件表征设定梯度精度、参与训练所述联邦学习模型的训练节点的总数、第一超参以及第二超参之间的相关关系；基于确定出的限制条件，以及基于训练总耗时与所述第一耗时、所述第二耗时、总迭代次数、第一超参以及第二超参之间的相关关系，确定出训练总耗时最小时对应的第一超参和/或第二超参。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：通过设定的第一系数调整所述第一超参和/或所述第二超参，得到调整后的第一超参和/或调整后的第二超参。4.根据权利要求3所述的方法，其特征在于，所述通过设定的第一系数调整所述第一超参和/或所述第二超参时，所述方法还包括：基于调整后的第一超参和/或调整后的第二超参，对联邦学习模型进行再次训练；在再次训练至联邦学习模型未收敛且满足第一设定条件的情况下，调整所述第一系数；所述第一设定条件表征达到设定的总迭代次数或超过设定训练总耗时。5.根据权利要求4所述的方法，其特征在于，所述确定出第一超参和/或第二超参时，所述方法...

【专利技术属性】
技术研发人员：王哲，杨恺，王虎，黄志翔，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：