基于本地差分隐私的联邦学习图像分类方法技术

本发明专利技术提出一种基于本地差分隐私的联邦学习图像分类方法，实现步骤为：构建联邦学习场景模型；本地客户端获取训练样本集和测试样本集；构建基于卷积神经网络的图像分类模型；本地客户端初始化参数；本地客户端对基于卷积神经网络的图像分类模型的权重参数进行本地更新；本地客户端对权重参数进行本地差分隐私扰动并上传；中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送；中心服务器获取训练好的基于卷积神经网络的图像分类模型；本地客户端获取图像分类结果。本发明专利技术通过对本地更新后的权重参数进行本地差分隐私扰动后，再全局更新，降低了计算存储开销，进而提高了训练效率，且适用于不同隐私保护需求场景的图像分类。保护需求场景的图像分类。保护需求场景的图像分类。

【技术实现步骤摘要】
基于本地差分隐私的联邦学习图像分类方法


[0001]本专利技术属于图像处理
，涉及一种基于本地差分隐私的联邦学习图像分类方法，可用于医学图像分类。

技术介绍

[0002]图像分类是一种根据不同类别的目标各自在图像信息中所反映的不同特征，把不同类别的图像区分开来的图像处理方法。现在主要的图像分类方法是通过训练卷积神经网络模型实现的，其需要大量的训练图像数据，但用户的图像数据包含了大量用户隐私信息，所以进行卷积神经网络模型训练时的海量图像数据交互必然会带来隐私安全问题。例如在医疗领域，由于医疗数据是非常敏感的，通常包含个人隐私信息，在多个医疗机构进行数据共享的过程中，就会导致病人的隐私泄露。
[0003]基于上述原因，需要一种隐私保护的方法来支持数据共享、模型训练，谷歌于2016年提出了联邦学习，其主要流程为：服务器随机为全局模型参数赋值以进行初始化，并将模型分发给各个参与方，各参与方在本地利用自己的数据训练模型，然后将模型更新的参数发送回服务器，服务器据此更新全局模型并再次分发给各参与方，然后再进行新一轮的迭代更新。联邦学习作为一种隐私保护的分布式框架，可在各个参与方不共享本地数据，仅通过上传模型参数更新实现模型构建，可以在一定程度上保证训练数据的隐私和安全。然而，已有研究表明，攻击者能通过上传更新的模型参数反推出参与方的本地原始数据，例如，服务器有能力利用聚合结果去分析获取参与方上传数据的统计特征，仍会导致参与方的隐私泄漏，因而如何保护各参与方共享的模型参数是一个重要问题。
[0004]例如申请公布号为CN 112949741 A，名称为“基于同态加密的卷积神经网络图像分类方法”的专利申请，公开了一种基于同态加密的卷积神经网络图像分类方法，该方法步骤主要包括：构建多方深度学习场景模型；参数服务器初始化加密参数；每个用户生成自己的公钥和私钥；参数服务器生成自己的公钥和私钥；辅助服务器生成自己的公钥和私钥，以及联合公钥；每个用户获取训练图像样本集和测试图像样本集；参数服务器构建卷积神经网络模型，并初始化训练参数；用户P获取梯度向量密文并上传；参数服务器对梯度密文向量进行聚合；参数服务器和辅助服务器对聚合梯度向量密文进行同态重加密；用户P获取卷积神经网络模型的训练结果；每个用户获取图像分类结果。由于卷积神经网络模型训练本身是一项计算密集型的任务,计算以及通信开销大，即使没有加密，也需要高吞吐量的计算单元，而同态加密带来高昂的计算和通信开销且需要额外的辅助服务器。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术的不足，提出了一种基于本地差分隐私的联邦学习图像分类方法，在保证训练数据的隐私和安全以及分类精度的前提下，降低计算存储开销。
[0006]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0007](1)构建联邦学习场景模型：
[0008]构建包括中心服务器和I个本地客户端L＝{L
i
|1≤i≤I}的联邦学习场景模型，其中，I≥2，L
i
表示第i个本地客户端；
[0009](2)本地客户端获取训练样本集和测试样本集：
[0010]每个本地客户端L
i
获取包含M个目标类别的N幅图像，并对每幅图像进行标注，然后将半数以上图像及其标签作为训练样本集，将剩余的图像及其标签作为测试样本集其中，M≥2，N≥500；
[0011](3)构建基于卷积神经网络的图像分类模型H：
[0012]本地客户端L构建基于卷积神经网络的图像分类模型，卷积神经网络包括依次层叠的输入层、m个卷积层
‑
ReLU层
‑
池化层、输出层，其中m≥2，输出层包括依次层叠的多个全连接层；
[0013](4)本地客户端L初始化参数：
[0014]本地客户端L初始化迭代次数为t，最大迭代次数为T，T≥50，当前基于卷积神经网络的图像分类模型为H
t
，H
t
的权重参数为w
t
，w
t
的参数值数量为k，k≥10000，并令t＝0，H
t
＝H；
[0015](5)本地客户端L对基于卷积神经网络的图像分类模型H的权重参数进行本地更新：
[0016](5a)本地客户端L将从训练样本集中有放回且随机选取的c
·
N个训练样本作为当前基于卷积神经网络的图像分类模型H
t
的输入进行前向传播，得到预测标签集合其中，c为采样因子，表示第q个训练样本对应的预测标签，1≤q≤c
·
N；
[0017](5b)本地客户端L采用交叉熵损失函数，并通过每个预测标签和其对应的真实标签计算图像分类模型H
t
的损失值然后求取对H
t
的权重参数w
t
的偏导再采用随机梯度下降法，通过将在H
t
中进行反向传播的方式对w
t
进行更新，得到本地更新后的权重参数Δ
i
w
t
；
[0018](6)本地客户端L对权重参数Δ
i
w
t
进行本地差分隐私扰动并上传：
[0019](6a)每个本地客户端L
i
选取更新后的权重参数Δ
i
w
t
中绝对值最大的θ
u
k个参数，并求取所选取的每个参数与Δ
i
w
t
中绝对值最大的值C的商，得到标准化的扰动输入值其中θ
u
表示选择参数因子，0.01≤θ
u
≤1，x
j
表示第j个扰动输入值，1≤j≤θ
u
k；
[0020](6b)每个本地客户端L
i
对每个扰动输入值x
j
生成随机数u
t
∈[0,1]，并判断是否成立，若是，从区间中均匀采集x
j
的扰动
输出值y
j
，否则，从区间中均匀采集x
j
的扰动输出值y
j
，其中，A表示扰动输出的边界，ε表示隐私预算，0.1≤ε≤10；
[0021](6c)本地客户端L将θ
u
k个扰动输出值组合成上传向量并将上传至中心服务器；
[0022](7)中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送：
[0023]中心服务器对上传向量进行聚合，得到的聚合结果实现对本地更新后的权重参数Δ
i
w
t
的全局更新，并将权重参数w
t
经过本地更新以及全局更新后的图像分类模型发送至每个本地客户端L
i
；
[0024](8)中心服务器获取训练好的基于卷积神经网络的图像分类模型：
[0025]中心服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于本地差分隐私的联邦学习图像分类方法，其特征在于，包括如下步骤：(1)构建联邦学习场景模型：构建包括中心服务器和I个本地客户端L＝{L
i
|1≤i≤I}的联邦学习场景模型，其中，I≥2，L
i
表示第i个本地客户端；(2)本地客户端获取训练样本集和测试样本集：每个本地客户端L
i
获取包含M个目标类别的N幅图像，并对每幅图像进行标注，然后将半数以上图像及其标签作为训练样本集，将剩余的图像及其标签作为测试样本集其中，M≥2，N≥500；(3)构建基于卷积神经网络的图像分类模型H：本地客户端L构建基于卷积神经网络的图像分类模型，卷积神经网络包括依次层叠的输入层、m个卷积层
‑
ReLU层
‑
池化层、输出层，其中m≥2，输出层包括依次层叠的多个全连接层；(4)本地客户端L初始化参数：本地客户端L初始化迭代次数为t，最大迭代次数为T，T≥50，当前基于卷积神经网络的图像分类模型为H
t
，H
t
的权重参数为w
t
，w
t
的参数值数量为k，k≥10000，并令t＝0，H
t
＝H；(5)本地客户端L对基于卷积神经网络的图像分类模型H的权重参数进行本地更新：(5a)本地客户端L将从训练样本集中有放回且随机选取的c
·
N个训练样本作为当前基于卷积神经网络的图像分类模型H
t
的输入进行前向传播，得到预测标签集合其中，c为采样因子，表示第q个训练样本对应的预测标签，1≤q≤c
·
N；(5b)本地客户端L采用交叉熵损失函数，并通过每个预测标签和其对应的真实标签计算图像分类模型H
t
的损失值然后求取对H
t
的权重参数w
t
的偏导再采用随机梯度下降法，通过将在H
t
中进行反向传播的方式对w
t
进行更新，得到本地更新后的权重参数Δ
i
w
t
；(6)本地客户端L对权重参数Δ
i
w
t
进行本地差分隐私扰动并上传：(6a)每个本地客户端L
i
选取更新后的权重参数Δ
i
w
t
中绝对值最大的θ
u
k个参数，并求取所选取的每个参数与Δ
i
w
t
中绝对值最大的值C的商，得到标准化的扰动输入值其中θ
u
表示选择参数因子，0.01≤θ
u
≤1，x
j
表示第j个扰动输入值，...

【专利技术属性】
技术研发人员：朱笑岩，王亚杰，张琳杰，马建峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：