基于随机量化的联邦学习方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种基于随机量化的联邦学习方法、装置、电子设备及介质。通过应用本申请的技术方案，可以由客户端在将模型数据传输到服务器之前，首先由客户端对该模型数据进行随机量化处理，从而得到一个相对于模型数据来说数据量更小的量化数据。以使后续通过传输该量化数据至服务器来实现全局模型聚合的目的。从而一方面减少了相关技术的联邦学习中，客户端向服务器进行模型数据同步所生成的通信开销。另一方面也避免了传输原始模型数据所导致的，一旦被恶意用户截获而存在的用户隐私被泄露的问题。的问题。的问题。

【技术实现步骤摘要】
基于随机量化的联邦学习方法、装置、电子设备及介质


[0001]本申请中涉及数据处理技术，尤其是一种基于随机量化的联邦学习方法、装置、电子设备及介质。

技术介绍

[0002]联邦学习是一种流行的分布式机器学习范式，其中多个客户端可以通过仅交换中间学习结果来协作进行机器学习模型训练以保护数据隐私。由于其高效的去中心化模型训练和数据隐私等优势，联邦学习已被应用于各种隐私敏感领域，包括医疗保健、金融和智慧城市。
[0003]然而，相关技术中的联邦学习方法仍然存在有一定的弊端。例如在模型聚合过程中容易受到恶意用户的攻击。且由于分散的客户端需要频繁地将模型数据更新传输到服务器以实现全局收敛，这也导致增大了系统的通信开销。

技术实现思路

[0004]本申请实施例提供一种基于随机量化的联邦学习方法、装置、电子设备及介质。从而解决相关技术中出现的，联邦学习在模型聚合过程中存在有容易受到恶意用户攻击的问题。
[0005]其中，根据本申请实施例的一个方面，提供的一种基于随机量化的联邦学习方法，包括：
[0006]多个客户端分别对服务器下发的初始模型进行本地模型训练，得到训练完毕的模型数据；
[0007]所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据；
[0008]各个客户端分别将所述量化数据传输至所述服务器，以使所述服务器根据接收到的多个量化数据进行全局模型更新。
[0009]可选地，在基于本申请上述方法的另一个实施例中，所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据，包括：
[0010]所述客户端基于所述服务器下发的量化区间，利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据。
[0011]可选地，在基于本申请上述方法的另一个实施例中，所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据，包括：
[0012]所述客户端利用随机量化模块对模型参数进行随机量化处理，得到与所述模型参数相对应的第一离散格；
[0013]或，
[0014]所述客户端利用随机量化模块对梯度值进行随机量化处理，得到与所述梯度值相对应的第二离散格。
[0015]可选地，在基于本申请上述方法的另一个实施例中，所述服务器根据接收到的多个量化数据进行全局模型更新，包括：
[0016]所述服务器基于多个量化数据，计算得到量化数据平均值；
[0017]所述服务器基于所述量化数据平均值，对本地的模型进行全局模型更新。
[0018]可选地，在基于本申请上述方法的另一个实施例中，在所述服务器根据接收到的多个量化数据进行全局模型更新之后，还包括：
[0019]所述服务器利用所述客户端传输的量化数据，确定所述客户端对本地模型进行训练的准确率；
[0020]基于所述准确率与预设阈值的大小关系，生成更新量化区间，并将所述更新量化区间下发给所述客户端，以使所述客户端后续基于所述更新量化区间对模型数据进行随机量化处理。
[0021]其中，根据本申请实施例的又一个方面，提供的一种基于随机量化的联邦学习装置，包括：
[0022]发送模块，被配置为多个客户端分别对服务器下发的初始模型进行本地模型训练，得到训练完毕的模型数据；
[0023]处理模块，被配置为所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据；
[0024]聚合模块，被配置为各个客户端分别将所述量化数据传输至所述服务器，以使所述服务器根据接收到的多个量化数据进行全局模型更新。
[0025]根据本申请实施例的又一个方面，提供的一种电子设备，包括：
[0026]存储器，用于存储可执行指令；以及
[0027]显示器，用于与所述存储器执行所述可执行指令从而完成上述任一所述基于随机量化的联邦学习方法的操作。
[0028]根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述基于随机量化的联邦学习方法的操作。
[0029]本申请中，多个客户端分别对服务器下发的初始模型进行本地模型训练，得到训练完毕的模型数据；客户端利用随机量化模块对模型数据进行随机量化处理，得到与模型数据相对应的量化数据；各个客户端分别将量化数据传输至服务器，以使服务器根据接收到的多个量化数据进行全局模型更新。
[0030]通过应用本申请的技术方案，可以由客户端在将模型数据传输到服务器之前，首先由客户端对该模型数据进行随机量化处理，从而得到一个相对于模型数据来说数据量更小的量化数据。以使后续通过传输该量化数据至服务器来实现全局模型聚合的目的。从而一方面减少了相关技术的联邦学习中，客户端向服务器进行模型数据同步所生成的通信开销。另一方面也避免了传输原始模型数据所导致的，一旦被恶意用户截获而存在的用户隐私被泄露的问题。
[0031]下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
[0032]构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
[0033]参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
[0034]图1为本申请提出的一种基于随机量化的联邦学习方法示意图；
[0035]图2为本申请提出的相关技术中，联邦学习方法的系统架构图；
[0036]图3为本申请提出的一种基于随机量化的联邦学习方法的流程图；
[0037]图4为本申请提出的电子装置的结构示意图；
[0038]图5为本申请提出的电子设备的结构示意图。
具体实施方式
[0039]现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
[0040]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0041]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
[0042]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0043]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0044]另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
[0045]需要说明的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于随机量化的联邦学习方法，其特征在于，包括：多个客户端分别对服务器下发的初始模型进行本地模型训练，得到训练完毕的模型数据；所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据；各个客户端分别将所述量化数据传输至所述服务器，以使所述服务器根据接收到的多个量化数据进行全局模型更新。2.如权利要求1所述的方法，其特征在于，所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据，包括：所述客户端基于所述服务器下发的量化区间，利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据。3.如权利要求1或2所述的方法，其特征在于，所述客户端利用随机量化模块对所述模型数据进行随机量化处理，得到与所述模型数据相对应的量化数据，包括：所述客户端利用随机量化模块对模型参数进行随机量化处理，得到与所述模型参数相对应的第一离散格；或，所述客户端利用随机量化模块对梯度值进行随机量化处理，得到与所述梯度值相对应的第二离散格。4.如权利要求1所述的方法，其特征在于，所述服务器根据接收到的多个量化数据进行全局模型更新，包括：所述服务器基于多个量化数据，计算得到量化数据平均值；所述服务器基于所述量化数据平均值，对本地的模型进行全局模型更新。5...

【专利技术属性】
技术研发人员：吕昕晨，侯新赟，崔琪楣，陶小峰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：