一种数据隐私保护和高模型质量的分布式联邦学习方法技术

本发明专利技术公开了一种数据隐私保护和高模型质量的分布式联邦学习方法，该方法包括：系统设置，设备初始化，任务发布，训练与聚合

【技术实现步骤摘要】
一种数据隐私保护和高模型质量的分布式联邦学习方法


[0001]本专利技术涉及信息安全和联邦学习
，关于数据隐私保护和模型可靠的分布式联邦学习问题，涉及同态加密
、
联邦学习
、
可信执行环境
、
区块链，具体涉及到多密钥同态加密，可信执行环境数据保护，区块链通信和分布式联邦学习的一种数据隐私保护和高模型质量的分布式联邦学习方法
。

技术介绍

[0002]近年来，基于神经网络的深度学习在语音识别
、
图像识别和自动驾驶等各种任务中取得了巨大进展
。
为了实现更高的精度要求，有必要向深度学习模型提供大量的训练数据
。
然而，随着数据隐私意识的不断提高，集中所有参与者的训练数据变得困难
。
为了解决这个问题，出现了许多隐私保护深度学习框架
。
在这些框架中，联邦学习是一个广泛使用的系统
。
它允许用户在不上传本地数据的情况下参与协作训练
。
传统的联邦学习体系结构是一种集中式结构，包括一个中央服务器和多个参与者
。
参与者使用本地数据进行模型训练，并将获得的模型更新上传到中央服务器
。
中央服务器获得所有参与者的更新后，对其进行聚合并返回聚合后的全局模型
。
参与者根据中央服务器返回的全局模型调整其本地模型
。
这个过程在多个回合中迭代，直到全局模型收敛
。
[0003]尽管联邦学习使参与者能够在不披露本地数据的情况下进行协作训练，但它仍然面临一些挑战
。
中央服务器的单点故障和恶意行为会对系统造成巨大危害
。
中心服务器承担模型聚合的任务
。
如果它断开连接或损坏，整个联邦学习过程将停止
。
在训练任务中，现有研究多假设中央服务器是诚实的或半诚实的
。
然而，部分研究并没有保护全局模型，它是否安全还有待验证
。
在中央服务器获得未受保护的全局模型后，攻击者可以利用该模型牟利
。
更重要的是，一旦中央服务器被攻击者控制，他们就可以利用服务器任意破坏训练任务
。
即使中央服务器正常执行任务，它也可以通过隐私推断攻击从模型更新的梯度推断出大量敏感信息
。
此外，在某些场景中
(
例如，客户端是边缘移动设备
)
，每次向中央服务器发送数据都会产生巨大的成本
。
因此，为了解决上述问题，分布式联邦学习是一种有效的解决方案
。
这种方法从根本上解决了服务器单点故障和作恶的问题
。
然而，这种框架中缺少有效的隐私保护方法和模型质量检测技术
。
所以，需要更有效的方法来保护分布式联邦学习框架的数据隐私性和模型可靠性
。

技术实现思路

[0004]本专利技术主要讨论分布式联邦学习
。
在这种设置下，客户端可以在没有中央服务器的情况下直接交换模型，避免了单点故障和服务器作恶，而且允许客户在学习过程中加入或离开
。
[0005]本专利技术的目的在于：为了解决分布式联邦学习中的数据隐私和模型可靠性问题，提出了一种有效的提高数据隐私和保障模型可靠性的分布式联邦学习方案
。
[0006]实现本专利技术目的的具体方案是：
[0007]一种数据隐私保护和高模型质量的分布式联邦学习方法，包括如下实体：客户端
、
可信机构
CA
和任务发布者；所述客户端负责训练本地模型并承担聚合任务；可信机构
CA
负责为系统生成参数和证书；任务发布者负责选择任务区域
、
发布任务；所述的分布式联邦学习方法包括下列步骤：
[0008]步骤1：系统设置
[0009]CA
选择一个安全参数
λ
并执行多密钥同态加密参数生成算法
MKHE.Setup(1
λ
)
生成系统参数
pp
；
[0010]步骤2：设备初始化
[0011]客户端
P
i
生成自己的公私钥对
(pk
i
,sk
i
)
；客户端拥有本地数据集
D
i
和可信执行环境
TEE
i
；
CA
为客户端生成信誉证书
RC
i
；客户端验证本地可信执行环境
TEE
i
身份，并建立安全信道；客户端共同维护一条区块链用于同步信息；
[0012]步骤3：任务发布
[0013]任务发布者根据任务要求生成一个测试数据集；任务发布者初始化全局模型，并选择任务区域；任务发布者将任务区域划分为子区域，同一子区域的客户端为一组；任务发布者远程验证客户端的可信执行环境
TEE
并建立安全信道，然后上传测试数据集给客户端的可信执行环境；
[0014]步骤4：训练与聚合阶段
[0015]步骤3中的客户端使用本地数据集训练生成本地模型，然后通过安全信道将本地模型及其公钥上传到本地
TEE
；
TEE
对模型进行加密和签名，并将结果上传到区块链；客户端从区块链下载同一组中其他客户端的加密模型信息并聚合生成密文子全局模型；同组客户端对密文子全局模型协作解密后上传至区块链，最后下载其他组对应的明文子全局模型并计算全局模型；客户端得到全局模型后先利用
TEE
对本地模型质量进行评估，根据评估结果更新客户端的信誉价值，最后利用全局模型对本地模型进行更新，经过
T
轮，训练结束；其中：
[0016]所述步骤2具体包括：
[0017]客户端
P
i
，执行密钥生成算法
MKHE.KeyGen(pp)
来生成公私钥对
(pk
i
,sk
i
)
；客户端
P
i
初始化本地数据集
D
i
和本地可信执行环境
TEE
i
；
CA
为客户端生成一个信誉证书为客户端生成一个信誉证书其中
id
i
是客户端的身份，
rv
i
是客户端的信誉值，
au
i
是客户端的所有辅助信息，是
CA
在
(id
i
,pk
i
,rv
i
,au
i
)
上的签名；客户端验证本地
TEE
i
的身份信息，并建立安全信道；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据隐私保护和高模型质量的分布式联邦学习方法，包括如下实体：客户端
、
可信机构
CA
和任务发布者；所述客户端负责训练本地模型并承担聚合任务；可信机构
CA
负责为系统生成参数和证书；任务发布者负责选择任务区域
、
发布任务；其特征在于，所述的分布式联邦学习方法包括下列步骤：步骤1：系统设置
CA
选择一个安全参数
λ
并执行多密钥同态加密参数生成算法
MKHE.Setup(1
λ
)
生成系统参数
pp
；步骤2：设备初始化客户端
P
i
生成自己的公私钥对
(pk
i
,sk
i
)
；客户端拥有本地数据集
D
i
和可信执行环境
TEE
i
；
CA
为客户端生成信誉证书
RC
i
；客户端验证本地可信执行环境
TEE
i
身份，并建立安全信道；客户端共同维护一条区块链用于同步信息；步骤3：任务发布任务发布者根据任务要求生成一个测试数据集；任务发布者初始化全局模型，并选择任务区域；任务发布者将任务区域划分为子区域，同一子区域的客户端为一组；任务发布者远程验证客户端的可信执行环境
TEE
并建立安全信道，然后上传测试数据集给客户端的可信执行环境；步骤4：训练与聚合阶段步骤3中的客户端使用本地数据集训练生成本地模型，然后通过安全信道将本地模型及其公钥上传到本地
TEE
；
TEE
对模型进行加密和签名，并将结果上传到区块链；客户端从区块链下载同一组中其他客户端的加密模型信息并聚合生成密文子全局模型；同组客户端对密文子全局模型协作解密后上传至区块链，最后下载其他组对应的明文子全局模型并计算全局模型；客户端得到全局模型后先利用
TEE
对本地模型质量进行评估，根据评估结果更新客户端的信誉价值，最后利用全局模型对本地模型进行更新，经过
T
轮，训练结束；其中：所述步骤2具体包括：客户端
P
i
，执行密钥生成算法
MKHE.KeyGen(pp)
来生成公私钥对
(pk
i
,sk
i
)
；客户端
P
i
初始化本地数据集
D
i
和本地可信执行环境
TEE
i
；
CA
为客户端生成一个信誉证书为客户端生成一个信誉证书其中
id
i
是客户端的身份，
rv
i
是客户端的信誉值，
au
i
是客户端的所有辅助信息，是
CA
在
(id
i
,pk
i
,rv
i
,au
i
)
上的签名；客户端验证本地
TEE
i
的身份信息，并建立安全信道；所述步骤3具体包括：任务发布者选择一个训练任务
I
，初始化全局模型
ω0并选择一个任务区域，将此任务区域划分为
K
个子区域；任务发布者将任务信息
(location,tt,
σ
T
)
广播给该区域中的客户端，其中
location
是任务区域以及关于该区域如何被划分为
K
个子区域的信息，
tt
表示其他任务信息，包括
ω0，
T
，
F(
·
)
，其中
ω0是初始全局模型
、T
是最大训练轮数
、F(
·
)
是损失函数，
σ
T
是任务发布者在任务信息
location,tt
上的签名；任何对任务
I
感兴趣的客户端都通过发送响应消息来响应任务发布者广播的消息；若客户端
P
i
对该任务感兴趣，它向任务发布者发送响应消息其中
RC
i
是
P
i
的信誉证书，
location
i
是
P
i
的位置，
是
P
i
在
(RC
i
,location
i
)
上的签名；若任务发布者接收到的响应信息是
RM1,
…
,RM
N

【专利技术属性】
技术研发人员：张磊，董一鹏，徐琳，刘虹，
申请(专利权)人：上海伊世智能科技有限公司，
类型：发明
国别省市：