一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法技术

本发明专利技术公开了一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法。该联邦学习方法主要包括五个阶段：系统初始化阶段、注册阶段、本地模型训练阶段、模型分发阶段、模型聚合阶段。本发明专利技术针对异步联邦学习中的数据隐私保护和模型性能问题，提出了一种基于本地数据集测试和余弦值检测的可验证的联邦学习方案。在进行本地模型更新前，通过模型验证方案筛选出有效的模型更新，舍弃在验证测试中表现较差的模型更新，以提高聚合模型的性能。同时，在方案中设计了一种结合本地差分隐私方法的隐私保护方法以保证用户数据的安全。本发明专利技术在异步联邦学习场景下，达到了高可靠性、高安全性、高性能的设计目标，具有较强的实际运用价值。值。值。

【技术实现步骤摘要】
一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法


[0001]本专利技术涉及信息安全领域，关于异步联邦学习中的隐私保护与模型质量验证的问题，更具体地，异步联邦学习的数据隐私保护、模型更新验证与聚合的方案；尤其涉及一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法。

技术介绍

[0002]伴随物联网技术的高速发展，产生了大量的用户应用数据，这些数据中常常包含一些用户的隐私数据。为了处理和分析体量越来越庞大的网络数据，机器学习方法已经被广泛运用于各个领域。然而，由于数据安全、用户隐私保护和监管办法的要求，已经很难通过传统的集中式机器学习方法，即由中心服务器收集数据并进行计算。《欧盟通用数据保护条例》声称，各组织不能将敏感数据共享给第三方用于数据训练，对数据资源保护提出了更高的要求。同时，单一设备或组织的数据量较小，训练得到的模型性能难以保证。
[0003]联邦学习是最近提出的一种分布式学习方法，它打破了数据集之间的障碍，使得数据所有者能够在本地训练数据集，保护数据所有者的隐私，并实现边缘智能。在联邦学习中，典型的架构是客户端
‑
服务器模式，它包括一个服务器(也称为聚合器)和一组具有自己数据集的客户端。在客户机
‑
服务器模式下，整个学习过程包括多轮训练，每个客户都会从服务器上获取全局模型，使用其本地数据集来训练模型，然后将更新后的模型发送到服务器上。然而，这种模式却面临着一些挑战。首先，服务器的可靠性非常重要，因为服务器是唯一一个执行聚合的节点。作为该模式下的系统核心，一旦服务器因外部攻击而瘫痪，学习过程就必须暂停。其次，这种模式并不适用于某些动态应用，比如在车载自组织网络中，车辆移动的特性使得服务器和车辆之间难以保持连续和稳定的通信，而客户端的退出可能会中断学习过程。第三，有时不存在能够作为服务器的可信任的第三方。
[0004]为了让联邦学习适应动态应用场景的要求，产生了基于对等网络环境下的异步联邦学习。与客户机
‑
服务器模式相比，该模式允许每个参与者直接交换更新模型，而无需借助第三方，并在客户端本地完成聚合。因此，它不需要一个可信的第三方，并且可以避免因个别客户端或聚合器发生故障导致的训练中止。同时，参与者的退出也不会中断训练过程。
[0005]然而，异步联邦学习仍然需要解决数据隐私和模型性能的问题。最近的研究已经发现，在参与联邦学习的用户之间交换模型更新的方式下仍然可能会受到各种类型的攻击，如梯度分析、成员推理攻击和重构攻击，半诚实用户或恶意用户可以从交换的更新中获得用户隐私数据。因此，需要在联邦学习中建立保护机制确保联邦学习过程中的数据隐私安全。对于模型性能，由于本地训练得到的模型质量差或是恶意客户端故意发布低质量的更新模型，聚合模型的精度会受到影响。设计一种验证方法，能够验证接收到的更新模型，以避免低质量的更新，将有效地提高最终模型的准确性。
[0006]为了提高联邦学习的安全性，人们提出了许多基于安全多方计算和差分隐私保护的隐私保护方案。对于安全多方计算方案，它们采用了秘密共享和同态加密等方法，但这些
方案需要多轮通信，计算成本高。同时，这些隐私保护方案要么计算成本高，通信成本高，要么限制了客户端的数量，要么需要额外的可信假设。并且，由于低质量的更新模型很容易影响聚合模型的准确性，因此人们提出了不同的方法来提高联邦学习的性能，比如使用异步模型更新来提高聚合效率，然而，他们并没有考虑到低质量模型更新的问题。

技术实现思路

[0007]为解决上述问题，本专利技术的目的是提出一种对等网络中基于可验证聚合和差分隐私的隐私保护异步联邦学习方法，以解决将异步联邦学习部署到协同驾驶等分布式场景的数据隐私和模型精度问题。
[0008]实现本专利技术的具体技术方案是：
[0009]一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法，该方法包括如下步骤：
[0010]1)系统初始化阶段：
[0011]a)客户端数据库初始化：在对等网络环境下参与异步联邦学习的第i个客户端用u
i
表示，每一个客户端u
i
分别维护自己的本地数据集D
i
＝{(x1,y1),...,(x
n
,y
n
)}，其中x
i
为该客户端数据集中第i个数据的特征值，y
i
为第i个数据的标签值；在系统初始化阶段，由客户端u
i
对自己的本地数据集D
i
进行划分，其中训练集用于模型训练，验证集用于在模型验证阶段对接收到的模型更新进行筛选；
[0012]b)通信参数初始化：模型更新通过建立可信信道进行传输；CA为可信第三方机构，参与可信信道的搭建；可信第三方CA在初始化阶段生成建立信道必要的系统参数；
[0013]2)注册阶段：
[0014]可信第三方CA首先生成一组公私密钥对，其中CA生成的公钥表示为mpk，私钥表示为msk，该组公私密钥对以(msk,mpk)进行表示，并指定签名方案∑，CA将使用签名方案∑为在联邦学习系统中的各个客户颁发签名证书以提供客户端的身份认证；签名方案∑和CA公私密钥对中的公钥mpk都由CA进行公开；系统中的每一个客户端都会生成自己的公私密钥对，其中，客户端u
i
生成的公钥用表示，私钥用表示，该组公私密钥对用表示，该公私密钥对与签名方案∑对应；客户端u
i
将它的公钥发送给可信第三方CA，由CA为每一个客户端生成用其私钥msk签名的成员证书，使得系统中客户端的身份都能够得到认证；
[0015]3)本地模型训练阶段：
[0016]客户端根据初始化阶段分割的训练集进行本地模型训练；首次训练时，生成初始化模型用表示，将作为训练的初始模型，对于进行第t轮模型训练的用户训练模型为设置最大训练轮次为T,当前训练轮次以t表示，客户端u
i
进行t轮训练得到的模型表示为设置第t轮训练中的隐私预算参数为ε
t
，隐私预算ε
t
用于实现本地差分隐私时控制添加的噪声干扰量，采用高斯机制添加噪声，噪声分布服从均值为0，标准差为的高
斯分布N(0,σ2)；为了抵抗来自半诚实的客户端或恶意客户端的推理攻击，引入本地差分隐私方法来保护隐私数据不受好奇或恶意客户端的影响，方法如下：客户端通过添加噪声进行扰乱，在保证模型精度的同时对数据隐私进行有效保护，对于进行第t轮模型训练的客户端u
i
，它的本地模型为在它将这个本地模型发送给其他客户端之前，客户端u
i
根据设置的隐私预算ε
t
控制添加的噪声量，通过计算添加噪声得到用于分发的模型实现本地差分隐私；
[0017]4)模型分发阶段：
[0018]当客户端完成本地模型训练后，进入模型分发与验证阶段；在异步联邦学习中，允许每个客户端进行的训练轮次不一致，也允许接收到来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法，其特征在于，所述方法包括如下步骤：1)系统初始化阶段：a)客户端数据库初始化：在对等网络环境下参与异步联邦学习的第i个客户端用u
i
表示，每一个客户端u
i
分别维护自己的本地数据集D
i
＝{(x1,y1),...,(x
n
,y
n
)}，其中x
i
为该客户端数据集中第i个数据的特征值，y
i
为第i个数据的标签值；在系统初始化阶段，由客户端u
i
对自己的本地数据集D
i
进行划分，其中训练集用于模型训练，验证集用于在模型验证阶段对接收到的模型更新进行筛选；b)通信参数初始化：模型更新通过建立可信信道进行传输；CA为可信第三方机构，参与可信信道的搭建；可信第三方CA在初始化阶段生成建立信道必要的系统参数；2)注册阶段：可信第三方CA首先生成一组公私密钥对，其中CA生成的公钥表示为mpk，私钥表示为msk，该组公私密钥对以(msk,mpk)进行表示，并指定签名方案∑，CA将使用签名方案∑为在联邦学习系统中的各个客户颁发签名证书以提供客户端的身份认证；签名方案∑和CA公私密钥对中的公钥mpk都由CA进行公开；系统中的每一个客户端都会生成自己的公私密钥对，其中，客户端u
i
生成的公钥用表示，私钥用表示，该组公私密钥对用表示，该公私密钥对与签名方案∑对应；客户端u
i
将它的公钥发送给可信第三方CA，由CA为每一个客户端生成用其私钥msk签名的成员证书，使得系统中客户端的身份都能够得到认证；3)本地模型训练阶段：客户端根据初始化阶段分割的训练集进行本地模型训练；首次训练时，生成初始化模型用表示，将作为训练的初始模型，对于进行第t轮模型训练的用户训练模型为设置最大训练轮次为T,当前训练轮次以t表示，客户端u
i
进行t轮训练得到的模型表示为设置第t轮训练中的隐私预算参数为ε
t
，隐私预算ε
t
用于实现本地差分隐私时控制添加的噪声干扰量，采用高斯机制添加噪声，噪声分布服从均值为0，标准差为的高斯分布N(0,σ2)；为了抵抗来自半诚实的客户端或恶意客户端的推理攻击，引入本地差分隐私方法来保护隐私数据不受好奇或恶意客户端的影响，方法如下：客户端通过添加噪声进行扰乱，在保证模型精度的同时对数据隐私进行有效保护，对于进行第t轮模型训练的客户端u
i
，其本地模型为在将这个本地模型发送给其他客户端之前，客户端u
i
根据设置的隐私预算ε
t
控制添加的噪声量，通过计算添加噪声得到用于分发的模型实现本地差分隐私；4)模型分发阶段：当客户端完成本地模型训练后，进入模型分发与验证阶段；在异步联邦学习中，允许每个客户端进行的训练轮次不一致，也允许接受到来自周围客户端的模型个数不一致；
模型分发阶段中：客户端u
i
将选择周围通信条件好的m个客户端，并向选择的m个客户端发送本地训练得到的模型...

【专利技术属性】
技术研发人员：张磊，高圆圆，姚鑫，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：