基于自适应调整权重的数据隐私保护方法及系统技术方案

本发明专利技术提出一种基于自适应调整权重的数据隐私保护方法和系统，解决了面向非独立同分布数据带来的模型性能下降和收敛速度变慢的问题，属于联邦学习应用技术领域。包括：在每一轮联邦通信开始时，服务器端利用辅助数据集评估全局模型类别层面的可信度，将可信度矩阵和全局模型参数下发到参与该轮联邦的客户端中；客户端根据本地私有数据集评估全局模型样本层面的可信度，进行知识蒸馏时利用类别可信度和样本可信度进行加权，动态指导本地模型的训练过程，并上传更新后的本地模型参数至服务器端；服务器端加权聚合各本地模型参数更新全局模型。模型。模型。

【技术实现步骤摘要】
基于自适应调整权重的数据隐私保护方法及系统


[0001]本专利技术涉及联邦学习和数据安全
，基于客户端选择性知识蒸馏的联邦学习方法及系统。

技术介绍

[0002]传统的机器学习技术已经被成功应用到了计算机视觉、自然语言处理、推荐系统和自动控制等领域。随着人工智能在各行各业的应用落地，人们对于用户隐私和数据安全的关注度也在不断提高。各国也都在不断加强对数据安全和隐私的保护，例如欧盟2018年正式出台了《通用数据保护条例》(General DataProtection Regulation，GDPR)，我国2021年通过了《中华人民共和国个人信息保护法》。由于这些法律法规的隐私保护限制，使得医疗、企业、军事等领域的数据呈现孤岛分布。近年兴起的联邦学习(Federated Learning,FL)通过传输模型参数而非原始数据，实现了多方数据的安全共享。一方面，数据不出本地可以很好地保护用户隐私和数据安全；另一方面，联合训练能够充分感知各个客户端的本地私有数据，解决数据孤岛问题。
[0003]不同用户、设备和机构等参与客户端所在的环境是天然异质的，导致联邦学习中的数据是非独立同分布(Non
‑
independent and identicallydistributed,Non
‑
IID)的。Non
‑
IID一直是联邦学习领域中亟待解决的前沿热点问题，其中标签分布偏移在联邦学习的实际应用场景中尤为显著。客户端的数据异构性会导致其本地训练的时候严重偏移全局目标，造成更新过程的分歧(Weight Divergence)。因此联邦学习数据Non
‑
IID的研究挑战之一在于约束各个客户端本地训练过程中的模型更新方向，从本地私有数据中学习知识的同时保留全局模型的知识。现有技术通过在本地损失函数中添加修正项，使得本地更新过程不过分偏离全局模型。其中修正项使用本地模型减去上一轮的全局模型的L2距离进行计算。在一个完整的数据集上训练的全局模型比在一个倾斜的子集上训练的本地模型能够学习到更好的表示。基于此，在本地损失函数中添加一个对比学习损失项，以达到减小本地模型学习到的表示与全局模型学习到的表示之间的距离，增大本地模型学习到的表示与前一个本地模型学习到的表示之间的距离的目的。还可以采用可塑权重巩固(Elastic WeightConsolidation,EWC)方法消除联邦学习中的灾难性遗忘问题，通过在本地损失函数中添加一个惩罚项，阻碍本地模型在全局任务上的模型重要参数的变化。
[0004]上述研究方法都是利用全局模型约束客户端本地模型的更新方向，防止更新后的本地模型和全局模型差异太大。但是这些工作都存在以下两个方面的缺陷：一方面，这些工作不能自适应的调整本地目标函数中的修正项和任务损失项之间的权重。若修正项的权重过大会导致该轮联邦无法学习到新知识，而过小又会导致优化方向偏移全局目标，因此需要非常仔细的调整该权重才能朝着理想的最优模型优化，尝试权重的过程会耗费大量时间和精力。另一方面，这些工作没有考虑到性能较差的全局模型会误导本地模型的更新方向朝着错误的方向优化，尤其针对没有参与上一轮联邦的客户端。因为每一轮参与联邦的客户端是动态变化的，并且客户端的数据是非独立同分布的，导致聚合得到的全局模型在不
同类别上的表征能力不同。在联邦学习的开始阶段，全局模型还没有学习到一个很好的表示，此时本地模型训练时应该更注重从本地私有数据中学习知识而非保留全局知识。而在联邦通信中后期，全局模型在特定类别上的表现优于本地模型，本地模型应从类别层面和样本层面选择性的保留全局知识。
[0005]现有大多数联邦学习算法都是基于经典的联邦平均(Federated Averaging， FedAvg)，其使用传统的客户
‑
服务器(Client
‑
Server,C
‑
S)架构，将分布式训练过程拆分为多轮迭代的客户端本地训练过程和服务器端参数聚合过程。如图 1所示，在客户端本地训练过程中，每个客户端从服务器下载模型，然后在本地私有数据集上进行多轮训练；在服务器端参数聚合过程中，服务器接收来自客户端更新后的模型参数，使用客户端总样本量作为权重的参数平均方式进行聚合。假设一共有N个客户端，每个客户端的本地私有数据集为D＝ {D1,D2,
…
,D
N
}。全局模型w的目标函数L是各客户端本地模型目标函数L
i
的加权平均：其中q
i
表示客户端i的聚合时的权重，|D
i
|表示客户端i本地私有数据集的总样本量。
[0006]在联邦学习的实际应用场景中，各客户端的本地数据分布通常是非独立同分布Non
‑
IID的，尤其是数据的标签分布P(y)可能不同。一方面，各客户端在本地倾斜数据集上进行本地训练时，模型拟合样本的更新方向不一致，导致各个本地模型偏移全局目标，产生对全局知识的“灾难性遗忘”，进而造成聚合更新的全局模型和理想的模型偏差过大。同时全局模型提取不同类的特征的能力不同，对于当前挑选的客户端本地私有数据中的多数类的特征提取能力很强，因此全局模型的输出logit(神经网络在输出预测值的softmax激活函数的输入变量)在这些多数类通道上的可信度比少数类通道上的高。另一方面，全局模型的输出logit还与具体的训练样本有关。当训练样本属于上述的少数类时，或者是多数类样本中特征比较独特的，全局模型无法有效提取该样本的特征，因此此时输出logit在各个类通道上的可信度都很低。
[0007]综上所述，如何在本地训练过程中选择性的保留全局知识并自适应调整本地更新方向，提升模型的泛化性和收敛速度，成为了我们研究关注的重点。

技术实现思路

[0008]本专利技术的目的在于克服现有联邦学习方法在面向非独立同分布数据时，不能自适应调整本地模型的更新方向，没有考虑全局模型的性能变化、在类间的性能差异和样本间的性能差异等不足，提出了一种基于自适应调整权重的数据隐私保护方法，其中包括：
[0009]步骤1、将已标注类别标签的辅助数据集输入全局模型，得到该全局模型在每类数据上的分类精度，作为类别可信度矩阵；
[0010]步骤2、至少一个客户端从云端获取该全局模型，该客户端初始化其本地模型，该客户端本地具有本地私有数据集，该本地私有数据集中样本对应有类别标签；将该本地私有数据集，输入该本地模型，得到本地模型的输出，以及分类损失；并将该本地私有数据集输入位于该客户端本地的该全局模型，得到该全局模型的输出，以及该本地私有数据中每个样本的分类精度，作为样本可信度矩阵；根据该样本可信度矩阵和该类别可信度矩阵，得到蒸馏损失；根据由该分类损失和该蒸馏损失构成的总损失，训练该本地模型；将训练完成
的该本地模型的模型参数上传到该云端；
[0011]步骤3、该云端通过对收到的模型参数进行加权聚合，得到新模型。
[0012]所述的基于自适应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应调整权重的数据隐私保护方法，其特征在于，包括：步骤1、将已标注类别标签的辅助数据集输入全局模型，得到该全局模型在每类数据上的分类精度，作为类别可信度矩阵；步骤2、至少一个客户端从云端获取该全局模型，该客户端初始化其本地模型，该客户端本地具有本地私有数据集，该本地私有数据集中样本对应有类别标签；将该本地私有数据集，输入该本地模型，得到本地模型的输出，以及分类损失；并将该本地私有数据集输入位于该客户端本地的该全局模型，得到该全局模型的输出，以及该本地私有数据中每个样本的分类精度，作为样本可信度矩阵；根据该样本可信度矩阵和该类别可信度矩阵，得到蒸馏损失；根据由该分类损失和该蒸馏损失构成的总损失，训练该本地模型；将训练完成的该本地模型的模型参数上传到该云端；步骤3、该云端通过对收到的模型参数进行加权聚合，得到新模型。2.如权利要求1所述的基于自适应调整权重的数据隐私保护方法，其特征在于，该步骤3包括：以该新模型替换该全局模型，循环执行该步骤1到3，直到该总损失收敛或达到预设迭代次数，全局模型训练更新结束，保存当前的全局模型作为最终模型，并对指定数据进行分类或预测。3.如权利要求1所述的基于自适应调整权重的数据隐私保护方法，其特征在于，该蒸馏损失其中是类别的权重向量，
⊙
表示元素相乘；z
g
为全局模型的输出，z为本地模型的输出；权重向量M中k1位置的值为：M(x)[k1]＝M
max
·
[M
class
[k1]M
sample
(x)
‑
0.1]
+
，M
sample
(x)＝1
‑
(1
‑
p
g
(x)[k2])
0.5
；其中样本x属于类别k2，A
k1，k1
是类别k1的召回率，A
k，k1
表示类别k误预测为类别k2的概率；p
g
(x)[k2]表示该全局模型正确预测样本x的类别为k2的概率，M
max
为蒸馏损失项的上限值。4.如权利要求1所述的基于自适应调整权重的数据隐私保护方法，其特征在于，该客户端为医疗机构数据中心或金融机构数据中心，该新模型用于对输入图像进行分类或对交易数据进行风险预测。5.一种基于自适应调整权重的数据隐私保护系统，其特征在于，...

【专利技术属性】
技术研发人员：陈益强，何雨婷，杨晓东，于汉超，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：