基于非交集差分隐私联邦学习的卷积神经网络训练方法技术

本发明专利技术公开了一种基于非交集差分隐私联邦学习的卷积神经网络训练方法，主要解决现有技术训练的卷积神经网络模型隐私保护能力低

【技术实现步骤摘要】
基于非交集差分隐私联邦学习的卷积神经网络训练方法


[0001]本专利技术属于图像处理
，特别涉及一种卷积神经网络的训练方法，可用于对图像进行分类
。

技术介绍

[0002]图像分类是一种常见的机器学习任务，其根据图像存在中的特征来准确识别图像的目标类别，在机器学习中，常常采用卷积神经网络来解决图像分类任务，想要训练出一个图像分类模型，需要大量训练数据
。
然而，这些训练数据往往存在于多个数据源且包含个人的敏感信息，随着人们隐私意识的觉醒，对个人隐私要求日趋严格
。
[0003]为解决人们的隐私担忧，
McMahan
等人于
2017
年提出联邦学习这一概念，以兼顾效率与安全
。
如今联邦学习逐渐成为了一种流行的分布式机器学习范式，通过共享模型更新，例如，梯度
、
模型参数，以降低通信开销，增强通信过程的隐私保护
。
然而，研究人员发现可以对梯度
、
模型参数进行分析，例如，模型反演攻击
、
成员推理攻击时，往往会侵犯用户隐私
。
将差分隐私技术部署在联邦学习中可满足隐私要求，但这种方法又会降低模型的预测分类效果或系统效率
。
因此，在基于差分隐私的联邦学习中，如何提高模型的预测分类效果
、
减小模型泄露隐私的风险，是实现高效安全的联邦学习系统的一个亟需解决的问题
。
[0004]申请公布号为
>CN113762525A
的专利申请文献公开了“一种具有差分隐私保护的联邦学习模型训练方法”，其实现步骤是：
(1)
建立模型和终端的连接，选择学习模型，建立学习模型与终端服务器的联系；
(2)
模型的区分与分发，对模型进行样本级别和用户级别的区分，终端服务器将区分后的模型按照标准选择参与本轮联邦学习的设备；
(3)
进行本地训练，每个设备加载当前全局模型，使用自己的训练数据训练，得到新的本地模型；
(4)
建立隐私保护，根据模型类别的区分，采用不同的方式利用差分隐私保护对信息进行加密保护；
(5)
更新全局模型，每个设备向服务器上传模型的更新值，服务器收集更新值后进行聚合，得到聚合结果，进而更新全局模型；
(6)
监控和反馈，对数据的更新值进行监控，判断训练的模型是否泄露某个特定的样本或用户参与了训练，并将得到的结果向终端服务器进行反馈；
(7)
数据备份记录，对更新后的全局模型数据进行备份存档，避免数据传输时损坏影响数据的获取
。
该方法由于通过隐私预算值来控制联邦学习模型的扰动程度，为联邦学习模型的所有模型权值参数分配相等的隐私预算值，使得所有权值参数的扰动程度是相同的，没有考虑到客户端共有的权值参数以及非共有的权值参数的隐私保护需求的不同，因而导致对隐私保护需求低的共有权值参数的扰动程度过大，对隐私保护需求高的非共有权值参数的扰动程度过小，从而降低模型的预测效果及隐私保护能力，影响图像的分类精度
。

技术实现思路

[0005]本专利技术的目的在于针对上述已有技术的不足，提出一种基于非交集差分隐私联邦学习的卷积神经网络训练方法，以减小隐私保护需求不同对客户端共有权值参数及非共有权值参数这两类模型扰动程度不匹配的影响，提高网络模型的预测效果及隐私保护能力，
进而提升图像的分类精度
。
[0006]实现本专利技术目的的技术思路是，通过在每次迭代过程中由每个客户端先计算得到所有本地模型权值参数的共有交集参数和非共有交集参数，再根据隐私保护需求的不同，为不同权值参数分配不同的隐私预算值，即为共有交集参数实现较小的扰动程度，为非共有交集参数实现较大的扰动程度，进而提高网络模型的预测效果及隐私保护能力
。
[0007]根据上述思路，本专利技术的实现步骤如下：
[0008](1)
初始化包括中央服务器，私有集合交集服务器和
N
个客户端
C
＝
{c1,c2,
…
,c
n
,
…
,c
N
}
的联邦学习系统，其中，
c
n
表示第
n
个客户端
,n
＝
{1,2,
…
,N},N≥2
；
[0009](2)
每个客户端
c
n
初始化包含
L
个目标类别的
M
幅图像的本地训练数据集，并对每幅图像的目标进行标注，其中，
L≥2
，
M≥100
；
[0010](3)
每个客户端
c
n
从中央服务器获取包括
I
个模型层的卷积神经网络模型
X
n
，该
X
n
的权值参数为
ω
n
，
X
n
的第
i
个模型层的权值参数为
ω
n,i
；
[0011](4)
每个客户端初始化本地卷积神经网络模型设置的隐私预算值及权值参数分别为和和和的第
i
个模型层的权值参数为个模型层的权值参数为
[0012](5)
客户端对本地卷积神经网络模型进行迭代训练：
[0013]每个客户端
c
n
从本地训练数据集中有放回地随机选取
B
个训练数据作为本地卷积神经网络模型的输入，得到
B
个预测标签利用该标签采用随机梯度下降法对权值参数进行迭代更新，得到权值参数为的训练后本地模型
[0014](6)
客户端计算训练后本地模型的非交集元素：
[0015](6a)
每个客户端
c
n
对更新后的本地模型每一层的权值参数进行量化计算，将权值参数的小数部分精确为固定长度，得到量化后的权值参数
[0016](6b)
每个客户端
c
n
计算每一层量化后模型权值参数的哈希值并上传至私有集合交集服务器，私有集合交集服务器根据每个客户端
c
n
上传的哈希值计算得到客户端量化后本地模型每一层权值参数的非交集元素结果并对其汇总后下发给每个客户端；
[0017](7)
客户端根据非交集元素结果对量化后本地模型添加噪声：
[0018](7a)
每个客户端
c
n
根据汇总后的非交集元素结果和本地模型的隐私预算值计算得到包含两种不同差分隐私保证的噪声值
[0019](7b)
每个客户端
c<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于非交集差分隐私联邦学习的卷积神经网络训练方法，其特征在于，包括如下：
(1)
初始化包括中央服务器，私有集合交集服务器和
N
个客户端
C
＝
{c1,c2,
…
,c
n
,,c
N
}
的联邦学习系统，其中，
c
n
表示第
n
个客户端
,n
＝
{1,2,
…
,N},N≥2
；
(2)
每个客户端
c
n
初始化包含
L
个目标类别的
M
幅图像的本地训练数据集，并对每幅图像的目标进行标注，其中，
L≥2
，
M≥100
；
(3)
每个客户端
c
n
从中央服务器获取包括
I
个模型层的卷积神经网络模型
X
n
，该
X
n
的权值参数为
ω
n
，
X
n
的第
i
个模型层的权值参数为
ω
n,i
；
(4)
每个客户端初始化本地卷积神经网络模型设置的隐私预算值及权值参数分别为和的第
i
个模型层的权值参数为
(5)
客户端对本地卷积神经网络模型进行迭代训练：每个客户端
c
n
从本地训练数据集中有放回地随机选取
B
个训练数据作为本地卷积神经网络模型的输入，得到
B
个预测标签利用该标签采用随机梯度下降法对权值参数进行迭代更新，得到权值参数为的训练后本地模型
(6)
客户端计算训练后本地模型的非交集元素：
(6a)
每个客户端
c
n
对更新后的本地模型每一层的权值参数进行量化计算，将权值参数的小数部分精确为固定长度，得到量化后的权值参数
(6b)
每个客户端
c
n
计算每一层量化后模型权值参数的哈希值并上传至私有集合交集服务器，私有集合交集服务器根据每个客户端
c
n
上传的哈希值计算得到客户端量化后本地模型每一层权值参数的非交集元素结果并对其汇总后下发给每个客户端；
(7)
客户端根据非交集元素结果对量化后本地模型添加噪声：
(7a)
每个客户端
c
n
根据汇总后的非交集元素结果和本地模型的隐私预算值计算得到包含两种不同差分隐私保证的噪声值
(7b)
每个客户端
c
n
将噪声值添加到量化后本地模型的权值参数上，得到扰动后权值参数为的本地模型将扰动后的本地模型上传至中央服务器；
(8)
中央服务器对卷积神经网络模型进行训练：
(8a)
中央服务器初始化聚合轮次为
t
＝0，设置最大聚合轮次为
T≥100
；
(8b)
随机选取
V
t
个客户端
c
v
上传的扰动后本地模型的权值参数进行聚合
,
得到当前的聚合结果
ω
t
，并判断
t
＝
T
是否成立：若是，则得到权值参数为
ω
T
的训练后卷积神经网络模型
X
T
；否则，令
t
＝
t+1
，将聚合结果发送给每个客户端
c
n
，返回步骤
(3)。2.
根据权利要求1所述的方法，其特征在于：步骤
(3)
中所述的
I
个模型层，包括依次层叠的
K
个复合层和
F
个全连接层，即
I
＝
K+F
；每个复合层包括依次层叠的卷积层
、ReLU
层
、
Dropout
层和池化层，其中
K≥2
，
F≥2。3.
根据权利要求1所述的方法，其特征在于：步骤
(5)
中利用标签采用随机梯度下降法对权值参数进行迭代更新，其实现步骤包括如下：
(5a)
每个客户端
c
n
对得到的
B
个预测标签使用交叉熵损失函数计算每个预测标签与其对应真实标签的损失值的损失值
(5b)
利用损失值对本地卷积神经网络模型的权值参数的偏导数，以对权值参数进行更新，得到当前更新的权值参数进行更新，得到当前更新的...

【专利技术属性】
技术研发人员：王子龙，柴政，陈谦，王鸿波，闫浩楠，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：