异步联合学习训练方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，提供了一种异步联合学习训练方法、装置、计算机设备及存储介质。该方法包括：执行第一计算步骤，根据节点学习信息计算对应的样本权重和参数权重；执行修正步骤，基于该样本权重和该参数权重，对节点上传的梯度进行修正，得到修正后梯度；执行更新步骤，基于该修正后梯度对全局参数进行更新，得到更新后参数；执行比较步骤，对该更新后参数和历史参数进行比较，计算得到目标阈值；执行压缩步骤，基于该目标阈值对该节点上传的梯度进行压缩，得到压缩后梯度。本发明专利技术提高了边缘侧计算效率，且不泄露用户数据隐私。且不泄露用户数据隐私。且不泄露用户数据隐私。

【技术实现步骤摘要】
异步联合学习训练方法、装置、计算机设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种异步联合学习训练方法、装置、计算机设备及存储介质。

技术介绍

[0002]传统联合学习可以保护用户数据隐私进行联合模型训练，中心节点、本地参与方不断更新模型，上传下发模型参数来完成联合训练，横向联合训练可以联合到更多的数据从而提高模型精度。联合学习是在不泄露或汇聚各方原始数据的前提下进行联合建模，保持训练数据的去中心化和分散化。
[0003]因为联合学习机制不需要把数据集中后进行模型训练，可以将数据在边缘侧进行计算后再上传相应参数。但是一个独立的边缘设备数据是有限的，单独训练时对每个参与者的模型会陷入局部最优，联合学习中的节点学习梯度数据也会间接反映训练样本信息，从而泄露用户数据隐私。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种异步联合学习训练方法、装置、计算机设备及存储介质，以解决现有技术中泄露用户数据隐私的问题。
[0005]本专利技术实施例的第一方面，提供了一种异步联合学习训练方法，包括：执行第一计算步骤，根据节点学习信息计算对应的样本权重和参数权重；执行修正步骤，基于样本权重和参数权重，对节点上传的梯度进行修正，得到修正后梯度；执行更新步骤，基于修正后梯度对全局参数进行更新，得到更新后参数；执行比较步骤，对更新后参数和历史参数进行比较，计算得到目标阈值；执行压缩步骤，基于目标阈值对节点上传的梯度进行压缩，得到压缩后梯度。
[0006]本专利技术实施例的第二方面，提供了一种异步联合学习训练装置，包括：计算模块，被配置为初始化模块，被配置为执行第一计算步骤，根据节点学习信息计算对应的样本权重和参数权重；修正模块，被配置为执行修正步骤，基于样本权重和参数权重，对节点上传的梯度进行修正，得到修正后梯度；更新模块，被配置为执行更新步骤，基于修正后梯度对全局参数进行更新，得到更新后参数；比较模块，被配置为执行比较步骤，对更新后参数和历史参数进行比较，计算得到目标阈值；压缩模块，被配置为执行压缩步骤，基于目标阈值对节点上传的梯度进行压缩，得到压缩后梯度。
[0007]本专利技术实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
[0008]本专利技术实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0009]本专利技术实施例与现有技术相比存在的有益效果是：通过执行第一计算步骤，根据
节点学习信息计算对应的样本权重和参数权重；执行修正步骤，基于样本权重和参数权重，对节点上传的梯度进行修正，得到修正后梯度；执行更新步骤，基于修正后梯度对全局参数进行更新，得到更新后参数；执行比较步骤，对更新后参数和历史参数进行比较，计算得到目标阈值；执行压缩步骤，基于目标阈值对节点上传的梯度进行压缩，得到压缩后梯度。本专利技术提高了边缘侧计算效率，且不泄露用户数据隐私。
附图说明
[0010]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0011]图1是本专利技术实施例的异步联合学习框架的框图；
[0012]图2是本专利技术实施例提供的一种异步联合学习训练方法的流程图；
[0013]图3是本专利技术实施例提供的另一种异步联合学习训练方法的流程图；
[0014]图4是本专利技术实施例提供的一种异步联合学习训练装置的框图；
[0015]图5是本专利技术实施例提供的一种计算机设备的示意图。
具体实施方式
[0016]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0017]本专利技术所指的联合学习是可用于支持多用户进行多方合作，并通过AI技术联合多方合作挖掘数据价值，建立智能联合建模。其中，智能联合建模包括：
[0018]1)参与节点控制自有数据的弱中心化联合训练模式，确保共创智能过程中的数据隐私安全；
[0019]2)在不同应用场景下，利用筛选和/或组合AI算法、隐私保护计算，建立多种模型聚合优化策略；以获取高层次、高质量的模型；
[0020]3)确保数据安全及用户隐私的前提下，基于多种模型聚合优化策略，获取提升联合学习引擎的效能方法，其中效能方法可以是通过解决包括计算架构并行、大规模跨域网络下的信息交互、智能感知、异常处理机制等，提升联合学习引擎的整体效能；
[0021]4)获取各场景下多方用户的需求，通过互信机制，确定合理评估各联合参与方的真实贡献度，进行分配激励；
[0022]基于上述方式，可以建立基于联合学习的AI技术生态，充分发挥行业数据价值，推动垂直领域的场景落地。
[0023]图1是本专利技术实施例的异步联合学习框架的框图。该异步联合学习框架可以包括中心节点层(也可以叫做参数服务器层)和边缘节点层。
[0024]其中阈值自适应模块处于边缘节点层，异步联合学习模块横跨中心节点层(也可以叫做参数服务器层)和边缘节点层。中心节点负责整合边缘节点的参数，然后对其进行更
新，再下发给边缘节点。边缘节点只与中心节点通信。
[0025]参数服务器层包括：异步联合学习模块，其中，异步联合学习模块包括：参数更新单元、梯度修正单元和双重权重计算单元；双重权重计算单元根据节点学习信息计算对应的样本权重和参数权重；梯度修正单元将节点上传的梯度根据双重权重进行修正；参数更新单元利用修正完的梯度进行全局参数更新；
[0026]边缘节点层包括：异步联合学习模块和阈值自适应模块，其中，异步联合学习模块包括：节点学习状态监控单元，阈值自适应模块包括：自适应阈值计算单元和梯度压缩单元；自适应阈值计算单元根据最新参数变化计算阈值；梯度压缩单元使用阈值对不符合梯度的通信进行压缩；节点学习状态监控单元负责监控节点学习状态如学习所处的轮数与样本数量。
[0027]下面将结合附图详细说明根据本专利技术实施例的一种异步联合学习训练方法和装置。
[0028]图2是本专利技术实施例提供的一种异步联合学习训练方法的流程图。图2的异步联合学习训练方法可以由服务器执行。如图2所示，该异步联合学习训练方法包括：
[0029]S201，执行第一计算步骤，根据节点学习信息计算对应的样本权重和参数权重；
[0030]S202，执行修正步骤，基于样本权重和参数权重，对节点上传的梯度进行修正，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异步联合学习训练方法，其特征在于，包括：执行第一计算步骤，根据节点学习信息计算对应的样本权重和参数权重；执行修正步骤，基于所述样本权重和所述参数权重，对节点上传的梯度进行修正，得到修正后梯度；执行更新步骤，基于所述修正后梯度对全局参数进行更新，得到更新后参数；执行比较步骤，对所述更新后参数和历史参数进行比较，计算得到目标阈值；执行压缩步骤，基于所述目标阈值对所述节点上传的梯度进行压缩，得到压缩后梯度。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：执行第二计算步骤，基于所述压缩后梯度，计算对应的样本权重和参数权重；继续执行所述修正步骤、所述更新步骤、所述比较步骤、所述压缩步骤和所述第二计算步骤，直至满足预设条件停止执行。3.根据权利要求1所述的方法，其特征在于，所述样本权重是通过以下步骤计算得到的：基于所述节点学习信息中的节点的样本数量和总样本数量的比值，确定所述样本权重。4.根据权利要求1所述的方法，其特征在于，所述执行压缩步骤，基于所述目标阈值对所述节点上传的梯度进行压缩，得到压缩后梯度，包括：基于所述目标阈值，生成判别条件；基于所述判别条件对所述节点上传的梯度进行压缩，得到压缩后梯度。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定目标节点是否符合目标条件；响应于确定目标节点不符合目标条件，所述目标节点在本地累计梯度信息；响应于所述目标节点的梯度信息的信息量满足目标值，将所述目标节点的梯度信息上传到所述中心节点。6.根据权利要求1所述的方法，其特征在于，所述节点自动适应模型通过以下步骤得到的：将所述节点学习信息输入节点自动适应模型，得到所述目标阈值。7.一种异步联合学习框架，其特征在于，包括：参数服务器层和边缘节点层；所述参数服务器层包...

【专利技术属性】
技术研发人员：赵蕾，
申请(专利权)人：新智数字科技有限公司，
类型：发明
国别省市：