恶意和低质量用户场景下安全无线联邦学习方法及系统技术方案

本发明专利技术属于无线通信技术领域，公开了一种恶意和低质量用户场景下安全无线联邦学习方法及系统，可以抵御恶意用户和低质量用户对全局模型性能的消极影响，包括四个阶段：鉴别阶段，通过比较用户的模型与全局模型的余弦相似性，对用户的信用进行评估；重标签阶段：利用全局模型的预测结果对低质量用户本地数据集进行数据清洗；二次鉴别阶段：对第一次鉴别阶段筛选出的恶意用户集进行第二轮信用评估，筛选其中的低质量用户；常规训练阶段，调度良性用户进行全局模型聚合

【技术实现步骤摘要】
恶意和低质量用户场景下安全无线联邦学习方法及系统


[0001]本专利技术属于无线通信
，尤其涉及一种恶意和低质量用户场景下安全无线联邦学习方法及系统
。

技术介绍

[0002]目前，在大数据时代下，人工智能应用蓬勃发展需要大数据作为基础
。
然而，事实却是，数据常常既是小规模的，又是碎片化的
。
例如，任何机构都不能随意收集由终端设备产生的数据，这些数据都以碎片化的形式分散存在
。
例如，像医院这样的机构，由于行业的特殊性，对用户数据的掌握量往往是有限的
。
然而，由于用户隐私和数据安全方面的需求，使得不同机构间以简单的方式将所有数据聚合到一处并进行处理变得越来越不可行
。
在这样的环境下，联邦学习作为一种行之有效的解决方案引起了人们的广泛关注
。
联邦学习既能帮助多个参与方搭建共享的高性能模型，又符合用户隐私和数据保密性的要求
。
模型的构建并不需要将数据从任何边缘终端设备传输到一个中心位置
(
比如云服务器
)
，只传输与局部模型相关的参数，使得每个终端设备的数据均不离开本地，保护了终端设备的隐私性
。
联邦学习已经成为许多安全敏感任务中的基本技术，如自动驾驶和医学图像分析等
。
尽管有这样的潜力，但联邦学习本身的安全和隐私问题也引起了广泛的关注
。
其中一个突出的问题是从梯度中产生的隐私泄露
。/>半诚实的服务器仍然可以从接收到的梯度或权重中恢复一些敏感信息
。
联邦学习面临的另一个关键的安全威胁是中毒攻击
。
因为服务器不能访问单个终端设备的数据集和训练过程，因而恶意终端用户可以提交定制的梯度，从而使模型收敛减缓或者损坏模型，比如在测试阶段导致分类错误
。
这种操作也可能间接侵犯用户的数据隐私
。
例如，通过上传反向或者放大的梯度，恶意用户可以推断出这些样本是否被用于训练目标模型
。
由于参与联邦学习的用户本地数据质量参差不齐，使得用户在训练的本地模型性能有较大差异，因此低质量数据用户的存在，进而使得全局模型性能收到影响
。
[0003]联邦学习应用于无线网络又称为无线联邦学习，受制于无线网络，无线联邦学习又会面临新的挑战
。
无线通信的用户具有移动性，可以在不同区域之间进行移动，从而影响该用户与中心服务器或与其他用户的连接性，导致某些用户失去连接从而退出训练过程；同时由于无线信道具有不稳定性和不可靠性，很难满足局部模型上传的低延迟和高吞吐量的要求；另外，无线通信的传输通道是一个开放的空间，进行无线通信的信息传播中，所有的调制信息都是暴露在公共空间中，容易被恶意用户窃听和遭受各种敌对攻击，具有很大的安全隐患
。
以上各种问题会使无线联邦学习训练过程受到不利影响，甚至可能导致全局模型训练过程的发散
。
因此，采取相应措施使得无线联邦学习过程能够增强用户隐私性和抵御恶意攻击，对于提升模型可靠性和收敛速度都具有重要意义
。
[0004]通过上述分析，现有技术存在的问题及缺陷为：
[0005](1)
无线通信的传输通道容易被恶意用户窃听以及遭受各种敌对攻击，具有很大的安全隐患；
[0006](2)
现有技术无法区分恶意用户和低质量用户，导致在恶意用户鉴别阶段将具有
低质量数据的用户直接划分为恶意用户，极端情况下可能使得参与联邦训练的用户数较少，模型训练的数据较少，进而影响模型性能
。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种恶意和低质量用户场景下安全无线联邦学习方法及系统
。
[0008]本专利技术是这样实现的，一种恶意和低质量用户场景下安全无线联邦学习方法，所述恶意和低质量用户场景下安全无线联邦学习方法包括：
[0009]服务器构建用户调度概率表，用户利用本地数据进行训练形成本地模型，并将加密后的本地模型参数发送给服务器；
[0010]服务器对加密模型进行模糊处理并发送给云平台用于鉴别恶意用户，云平台根据模型相似度对用户侧模型进行加权聚合；
[0011]经过一定的通信轮次，服务器根据用户调度概率表构建恶意用户集和良性用户集；
[0012]对恶意用户集中的低质量良性用户进行数据清洗，并最终细粒度划分恶意用户集为恶意用户集和低质量用户集；
[0013]合并良性用户集进行常规联邦训练
。
[0014]进一步，实现所述恶意和低质量用户场景下安全无线联邦学习方法具体包括：
[0015]步骤一，服务器构建用户调度概率模型，初始状态下，所有用户的调度概率相同
。
密钥生成器为用户和云平台生成密钥
‑
私钥对，用户利用云平台的公钥加密本地模型，加密公式表示如下：
[0016]Enc(w
k
)
＝
Paillier.Encrypt(w
k
)
[0017]步骤二，根据用户调度概率选择用户与服务器进行加密交互；
[0018]在用户与服务器加密交互的每个通信轮次，服务器依据用户调度概率以及通信资源限制合理选择部分用户进行调度：共有
K
个用户，无线信道最多允许传输
K1个用户模型，则将根据以下策略选择用户：
[0019][0020]其中，
n
＝
{1
，2，
...
，
K1}
是一个长度为
K1的向量，
U
i
表示被选择用户的编号，
P(U
i
)
表示用户
U
i
的调度概率；
[0021]服务器接收来自各选择用户的加密模型，经过模糊处理后发送给云平台，模糊处理的公式表示如下：
[0022]G
k
＝
Enc(w
k
)
·
Enc(r
k
)
[0023]其中
Enc(w
k
)
表示第
k
个用户的加密模型，
r
k
表示一个随机数，
·
表示乘法或加法操作，
G
k
表示经过掩饰后的第
k
个用户的加密模型；
[0024]步骤三，云平台解密模型并计算用户侧模型与全局模型的余弦相似度，用公式表示如下：
[0025][0026]其中表示第
k
个用户
t+1
轮训练形成的用户侧模型，表示第
t
轮全局模型
。
[0027]以用户侧模型与全局模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种恶意和低质量用户场景下安全无线联邦学习方法，其特征在于，包括：服务器构建用户调度概率表，用户利用本地数据进行训练形成本地模型，并将加密后的本地模型参数发送给服务器；服务器对加密模型进行模糊处理并发送给云平台用于鉴别恶意用户，云平台根据模型相似度对用户侧模型进行加权聚合；经过一定的通信轮次，服务器根据用户调度概率表构建恶意用户集和良性用户集；对恶意用户集中的低质量良性用户进行数据清洗，并最终细粒度划分恶意用户集为恶意用户集和低质量用户集；合并良性用户集进行常规联邦训练
。2.
如权利要求1所述的恶意和低质量用户场景下安全无线联邦学习方法，其特征在于，实现所述恶意和低质量用户场景下安全无线联邦学习方法具体包括：步骤一，服务器构建用户调度概率模型，初始状态下，所有用户的调度概率相同
。
密钥生成器为用户和云平台生成密钥
‑
私钥对，用户利用云平台的公钥加密本地模型，加密公式表示如下：
Enc(w
k
)
＝
Paillier.Encrypt(w
k
)
步骤二，根据用户调度概率选择用户与服务器进行加密交互；在用户与服务器加密交互的每个通信轮次，服务器依据用户调度概率以及通信资源限制合理选择部分用户进行调度：共有
K
个用户，无线信道最多允许传输
K1个用户模型，则将根据以下策略选择用户：其中，
n
＝
{1
，2，
...
，
K1}
是一个长度为
K1的向量，
U
i
表示被选择用户的编号，
P(U
i
)
表示用户
U
i
的调度概率；服务器接收来自各选择用户的加密模型，经过模糊处理后发送给云平台，模糊处理的公式表示如下：
G
k
＝
Enc(w
k
)
·
Enc(r
k
)
步骤三，云平台解密模型并计算用户侧模型与全局模型的余弦相似度，用公式表示如下：以用户侧模型与全局模型的余弦相似度为基础，在每一轮训练中，根据相似度阈值筛选用户集，动态更新概率调度表，更新后的用户调度概率表示如下：
云平台运行恶意检测模块，根据相似度阈值判断当前轮次用户行为的性质，低于阈值判定为恶意行为，高于等于阈值判定为良性行为，进而构建当前轮次的良性用户集和恶意用户集，进而更新相应用户集的调度概率，对当前轮次的良性用户集进行加权聚合；步骤四，数据清洗，利用全局模型的预测对恶意用户集中的低质量用户进行数据重标签；步骤五，重置用户调度概率，对用户行为进行二次评估，根据用户侧模型与全局模型的余弦相似度和信道质量动态更新用户调度概率，进而将第一次鉴别为恶意用户的低质量用户筛选出来；步骤六，合并良性用户进行常规联邦训练
。3.
如权利要求2所述的恶意和低质量用户场景下安全无线联邦学习方法，其特征在于，所述步骤三的用户调度概率动态更新准则具体包括：初始状态下，所有用户的调度概率表示如下：其中
K
表示所有本地用户数，训练开始前所有用户的调度概率相同；在第
t
个通信轮次中，服务器调度
K1个用户云平台利用攻击检测模块将
K1个用户划分为恶意用户集
U
m
和良性用户集
U
p
，并更新用户调度概率表，更新后的用户调度概率表示如下：其中，
K
表示所有本地用户数，
K
′
表示第
t
轮通信中鉴别的良性用户集，
B
′
表示第
t
轮通信中鉴别的恶意用户集，
x
表示第
t
轮通信中调度到的用户概率变化量，即恶意用户调度概率的减小量或良性用户调度概率的增加量，
x
为一个可控变量，取则用户调度概率表示如下：由于用户的调度概率必须大于等0，当某用户多次鉴别为恶意用户后导致调度概率小于等于0，则将其概率赋值为0，即之后不再调度该用户
。4.
如权利要求2所述的恶意和低质量用户场景下安全无线联邦学习方法，其特征在于，
所述步骤一和步骤三加密和解密流程具体包括：用户侧模型加密，密钥生成中心负责生成用户和云平台的公钥
‑
私钥对，用户利...

【专利技术属性】
技术研发人员：孙红光，周文强，王晨，张宏鸣，李书琴，徐超，景旭，吕志明，刘敬敏，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：