联邦学习方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本公开提供了一种联邦学习方法、装置、电子设备和计算机可读存储介质，涉及人工智能技术领域，尤其涉及联邦学习、图像处理等领域。具体实现方案为：基于本设备的当前模型进行参数优化，得到本地更新模型；基于本设备的局部掩码对本地更新模型进行修剪，得到本地修剪模型；基于多个邻居模型中的各邻居模型对应的局部掩码以及本设备的局部掩码，对多个邻居模型以及本地修剪模型进行聚合，得到新的当前模型；向本设备的邻居设备发送当前模型的相关信息，其中，相关信息用于表征当前模型以及本设备的局部掩码。本公开降低了单一设备的工作量，且大幅减少了通信消耗。本公开降低了联邦学习中的通信开销。学习中的通信开销。学习中的通信开销。

【技术实现步骤摘要】
联邦学习方法、装置、电子设备和计算机可读存储介质


[0001]本公开涉及人工智能
，尤其涉及联邦学习、图像处理等领域。

技术介绍

[0002]近年来，联邦学习(Federated Learning，FL)取得了重大进展，它可以利用边缘设备上的分布式数据进行协作式模型训练。联邦学习通常利用分布式架构，在设备和集中式服务器之间传输梯度或模型，而不是原始数据，以解决安全或隐私问题。采用集中式服务器的分布式联邦学习会在服务器上产生严重的通信开销。

技术实现思路

[0003]本公开提供了一种联邦学习方法、装置、电子设备和计算机可读存储介质。
[0004]根据本公开的一方面，提供了一种联邦学习方法，包括：
[0005]基于本设备的当前模型进行参数优化，得到本地更新模型；
[0006]基于本设备的局部掩码对本地更新模型进行修剪，得到本地修剪模型；
[0007]基于多个邻居模型中的各邻居模型对应的局部掩码以及本设备的局部掩码，对多个邻居模型以及本地修剪模型进行聚合，得到新的当前模型；
[0008]向本设备的邻居设备发送当前模型的相关信息，其中，相关信息用于表征当前模型以及本设备的局部掩码。
[0009]根据本公开的另一方面，提供了一种联邦学习装置，包括：
[0010]本地更新模块，用于基于本设备的当前模型进行参数优化，得到本地更新模型；
[0011]修剪模块，用于基于本设备的局部掩码对本地更新模型进行修剪，得到本地修剪模型；
[0012]聚合模块，用于基于多个邻居模型中的各邻居模型对应的局部掩码以及本设备的局部掩码，对多个邻居模型以及本地修剪模型进行聚合，得到新的当前模型；
[0013]发送模块，用于向本设备的邻居设备发送当前模型的相关信息，其中，相关信息用于表征当前模型以及本设备的局部掩码。
[0014]根据本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与该至少一个处理器通信连接的存储器；其中，
[0017]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0018]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0019]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0020]本公开实施例的技术方案，各设备可对本地更新模型进行修剪后再与邻居模型进
行聚合，从而大幅降低了通信开销。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是本公开实施例的联邦学习方法的示例性应用场景的示意图；
[0024]图2是分散式联邦学习的一种可选方式的示意图；
[0025]图3是根据本公开一实施例的联邦学习方法的流程示意图；
[0026]图4A是本公开实施例中本地更新模型的示意图；
[0027]图4B是本公开实施例中局部掩码的示意图；
[0028]图4C是本公开实施例中本地修剪模型的示意图；
[0029]图5是本公开实施例中联邦学习方法的一个应用示例的示意图；
[0030]图6是本公开一实施例提供的联邦学习装置的示意性框图；
[0031]图7是本公开另一实施例提供的联邦学习装置的示意性框图；
[0032]图8是本公开另一实施例提供的联邦学习装置的示意性框图；
[0033]图9是本公开另一实施例提供的联邦学习装置的示意性框图；
[0034]图10是用来实现本公开实施例的联邦学习方法的电子设备的示意性框图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]为了便于理解本公开的技术方案，以下对本公开实施例的相关技术进行说明，以下相关技术作为可选方案与本公开实施例的技术方案可以进行任意结合，其均属于本公开实施例的保护范围。
[0037]分布式FL训练过程通常由多个边缘设备中的每个设备上的本地训练模型和服务器上的模型聚合组成。服务器可以选择可用的设备，并将全局模型广播给选定的设备。然后，每个选定设备根据设备内的本地数据更新模型，这被称为本地训练。在接收到来自选定设备的更新模型之后，服务器将其与全局模型汇总并生成一个新的全局模型，这被称为模型汇总或者模型聚合。
[0038]上述训练过程可以是同步的或异步的。在同步FL机制下，服务器在收到所有选定设备的更新模型后进行模型聚合。在异步FL机制下，服务器收到部分模型时，就可以进行模型聚合。由于边缘设备通常是异构的，具有不同的计算或通信能力，因此同步分布式FL的效率较低。而异步FL可能会导致较差的精度，甚至无法收敛在非独立同分布数据分布下。并且集中式FL在服务器上产生严重的通信或计算工作量，成为瓶颈，容易导致低效率和单点故障。特别是图像处理领域，图像或视频数据常分布在多个设备上，例如，用于目标检测的多个摄像头的视频数据分别由不同的边缘设备采集。通过FL协同训练图像处理模型，可使得
各设备无需上传图像或视频数据，减少通信成本并保护用户的隐私数据。然而受限于分布式FL在服务器端产生的瓶颈，实际并不能达到期望的通信成本降低效果。
[0039]本公开实施例的联邦学习方法，用于解决上述技术问题中的至少一个。图1是本公开实施例的联邦学习方法的一个示例性的应用场景的示意图。如图1所示，FL环境中包括多个用于协作训练的电子设备110，图1中以设备0～设备7作为示例。电子设备110可以是终端、服务器、服务器集群或其他处理设备。其中，终端可以为个人计算机、移动设备、个人数字助理(Personal Digital Assistant，PDA)、手持设备、车载设备、可穿戴设备等用户设备(User Equipment，UE)。服务器或服务器集群可以是云中心服务器或边缘服务器等。需要说明的是，在该FL环境中，各电子设备110在没有中央服务器的情况下实现协作训练过程。其中，各电子设备110可与邻居设备进行通信。例如图1的示例中，设备0可以向设备1、设备2或设备4传输信息；设备5可以向设备6、设备7或设备1传输信息。
[0040]可选地，在该FL环境中还包括协调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法，包括：基于本设备的当前模型进行参数优化，得到本地更新模型；基于本设备的局部掩码对所述本地更新模型进行修剪，得到本地修剪模型；基于多个邻居模型中的各邻居模型对应的局部掩码以及本设备的局部掩码，对所述多个邻居模型以及所述本地修剪模型进行聚合，得到新的当前模型；向本设备的邻居设备发送所述当前模型的相关信息，其中，所述相关信息用于表征所述当前模型以及本设备的局部掩码。2.根据权利要求1所述的方法，其中，所述基于本设备的当前模型进行参数优化，得到本地更新模型，包括：基于所述当前模型对样本图像进行处理，得到图像处理结果；基于所述图像处理结果，确定所述当前模型对应的损失；基于所述损失，对本设备的当前模型进行参数优化，得到所述本地更新模型。3.根据权利要求1或2所述的方法，还包括：基于所述各邻居模型的训练信息以及所述当前模型的训练信息，确定所述各邻居模型的权重以及所述当前模型的权重；基于所述各邻居模型的权重以及所述当前模型的权重，得到本设备的目标剪枝率；基于所述目标剪枝率，得到本设备的局部掩码。4.根据权利要求3所述的方法，其中，所述基于所述各邻居模型的权重以及所述当前模型的权重，得到本设备的目标剪枝率，包括：基于预设算法得到本设备的参考剪枝率；基于所述各邻居模型的权重以及所述当前模型的权重，对与所述多个邻居模型分别对应的多个目标剪枝率以及本设备的参考剪枝率进行计算，得到本设备的目标剪枝率。5.根据权利要求3或4所述的方法，其中，所述多个邻居模型中的第一邻居模型的训练信息包括以下至少之一：所述第一邻居模型的模型更新次数与所述当前模型的模型更新次数之间的差异；所述第一邻居模型对应的损失；所述第一邻居模型对应的样本数量。6.根据权利要求3
‑
5中任一项所述的方法，其中，所述基于所述各邻居模型的训练信息以及所述当前模型的训练信息，确定所述各邻居模型的权重以及所述当前模型的权重，包括：基于所述当前模型对应的损失，对控制变量进行更新；基于所述各邻居模型的训练信息、所述当前模型的训练信息以及所述控制变量，确定所述各邻居模型的权重以及所述当前模型的权重。7.根据权利要求3
‑
6中任一项所述的方法，其中，所述基于所述目标剪枝率，得到本设备的局部掩码，包括：确定当前模型的各参数对所述当前模型对应的损失的影响程度；基于所述影响程度，得到所述当前模型的各参数的次序；基于所述当前模型的各参数的次序以及所述目标剪枝率，确定待修剪的参数；基于所述待修剪的参数以及完整模型结构，得到本设备的局部掩码。
8.根据权利要求1
‑
7中任一项所述的方法，其中，所述基于多个邻居模型中的各邻居模型对应的局部掩码以及本设备的局部掩码，对所述多个邻居模型以及所述本地修剪模型进行聚合，包括：针对完整模型结构中的每个参数，基于所述各邻居模型的权重以及所述当前模型的权重，对所述各邻居模型中的对应参数以及所述本地修剪模型中的对应参数进行加权求和，得到所述每个参数的第一更新结果；基于各邻居模型对应的局部掩码以及本设备的局部掩码，在所述多个邻居模型以及所述本地修剪模型中确定出所述每个参数的相关模型；基于所述相关模型的权重以及所述每个参数的第一更新结果，得到所述每个参数的第二更新结果；基于所述每个参数的第二更新结果，得到新的当前模型。9.根据权利要求1
‑
8中任一项所述的方法，还包括：基于所述当前模型的参数、所述当前模型的训练信息以及本设备的局部掩码，得到所述当前模型的模型相关信息。10.一种联邦学习装置，包括：本地更新模块，用于基于本设备的当前模型进行参数优化，得到本地更新模型；修剪模块，用于基于本设备的局部掩码对所述本地更新模型进行修剪，得到本地修剪模型；聚合模块，用于基于多个邻居模型中的各邻居模型对应的局部掩码以及本设备的局部掩码，对所述多个邻居模型以...

【专利技术属性】
技术研发人员：刘吉，马北辰，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：