【技术实现步骤摘要】
【国外来华专利技术】用于联邦学习的方法和系统
[0001]本公开总体上涉及用于在约束下最大化风险检测覆盖范围的系统和方法，特别的，涉及用于联邦学习的差分隐私(Differentially Private，DP)固有量化。
技术介绍
[0002]联邦学习(也称为协作学习)是一种机器学习技术，其可在多个去中心化的边缘设备上(例如，提供进入企业或服务提供商核心网络的进入点的设备)或保存有本地数据样本的服务器上训练算法，而不在边缘设备之间交换它们。在训练过程中，许多客户端在独立设备上对定制化的机器学习模型进行单独训练，然后将其本地更新(例如，模型梯度或模型参数)发送到可信任的服务器。然后，服务器聚合这些本地更新以计算全局更新，并将全局更新发送回客户端以进行模型同步。然而，现有的联邦学习面临着多重挑战。在第一个挑战的示例中，即使服务器是安全且可信任的，从服务器发送到客户端的全局更新可能泄漏其他客户端的数据的信息(也称为差分攻击)。客户端有可能在仅掌握从服务器发送的模型梯度的情况下，以高分辨率准确地重建其他客户端的训练数据。作为第二个挑战的另一个示例，随着...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：由终端设备获得本地模型的参数向量；由所述终端设备通过在所述本地模型的参数向量中加入多个噪声向量来更新所述本地模型的参数向量；由所述终端设备对所述更新后的参数向量进行量化，以获得量化后的参数向量，所述量化包括将所述更新后的参数向量中的坐标映射到一组离散有限值；以及由所述终端设备向服务器发送所述量化后的参数向量和所述多个噪声向量中的至少一个噪声向量，以供所述服务器更新全局模型。2.根据权利要求1所述的方法，其中，所述服务器耦接至多个终端设备中的每一个终端设备；所述多个终端设备包括所述终端设备；以及所述服务器和所述多个终端设备形成联邦学习网络。3.根据权利要求1所述的方法，其中，获得本地模型的参数向量包括：由所述终端设备从所述服务器接收所述全局模型的参数向量；针对所述终端设备的多条数据记录中的每条数据记录，基于所述本地模型的损失函数、所述全局模型的参数向量和所述多条数据记录中的每条数据记录，获得梯度；以及通过聚合与所述多条数据记录对应的多个梯度，获得所述本地模型的参数向量。4.根据权利要求3所述的方法，其中，获得本地模型的参数向量还包括：针对所述多条数据记录中的每条数据记录，利用裁剪参数对对应的梯度进行裁剪操作，以将所述对应的梯度映射到与所述裁剪参数对应的范围内。5.根据权利要求3所述的方法，其中，通过聚合多个梯度获得所述本地模型的参数向量包括：基于所述多条数据记录的数量和所述多个梯度的聚合，确定所述本地模型的参数向量。6.根据权利要求3所述的方法，其中，对所述更新后的参数向量进行量化包括：确定全局量化超参数；基于所述全局量化超参数和所述多条数据记录的数量，确定增量；以及基于根据所述增量确定的空间进行所述量化。7.根据权利要求6所述的方法，其中，基于根据所述增量确定出的空间进行所述量化包括：根据所述增量确定所述量化的级别数；以及根据所述范围和所述级别数进行所述量化。8.根据权利要求1所述的方法，其中，所述多个噪声向量包括第一噪声向量和第二噪声向量；所述第一噪声向量包括多个独立随机变量向量的和，所述多个独立随机变量向量中的每一个服从均匀分布；以及所述第二噪声向量包括随机化所述量化的量化误差的抖动向量。9.根据权利要求8所述的方法，其中，所述第二噪声向量服从均匀分布，并且独立于所述第一噪声向量和所述本地模型的参数向量。
10.根据权利要求8所述的方法，其中，发送所述量化后的参数向量和所述多个噪声向量中的至少一个噪声向量包括：将所述量化后的参数向量和所述第二噪声向量发送至所述服务器。11.根据权利要求1所述的方法，其中，获得本地模型的参数向量包括：对由所述终端设备收集的多条数据记录的子集进行采样；以及通过基于所述多条数据记录的所述子集训练所述本地模型，获得所述本地模型的参数向量。12.根据权利要求1所述的方法，其中，所述对多条数据记录的子集进行采样包括：基于泊松采样率对...
【专利技术属性】
技术研发人员：杜健，张本宇，
申请(专利权)人：支付宝实验室新加坡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。