一种基于联邦模型蒸馏的混合隐私保护图像分类方法技术

本发明专利技术公开了一种基于联邦模型蒸馏的混合隐私保护图像分类方法，其步骤包括：1客户端预训练本地神经网络；2中心服务器获取公共数据集并随机采样，然后下发至客户端；3客户端对下发数据进行预测；4客户端对预测结果进行范数裁剪并随机拆分为预测分片，按照编号发送给对应客户端；5客户端聚合预测分片得到混淆预测并上传中心服务器；6中心服务器聚合混淆预测并添加噪声后得到全局预测，然后下发至客户端；7客户端利用全局预测蒸馏训练本地神经网络，然后再复习训练本地神经网络；8客户端利用本地神经网络进行图像分类。本发明专利技术基于联邦模型蒸馏算法，利用秘密共享思想和差分隐私技术，实现了隐私保护的图像分类。实现了隐私保护的图像分类。实现了隐私保护的图像分类。

A hybrid privacy preserving image classification method based on Federated model distillation

【技术实现步骤摘要】
一种基于联邦模型蒸馏的混合隐私保护图像分类方法


[0001]本专利技术涉及异常检测领域，具体地说是一种基于联邦模型蒸馏的混合隐私保护图像分类方法。

技术介绍

[0002]图像分类，是从给定的分类集合中为每张图像分配一个相应的类标签。对于人类视觉系统来说，判别图像的类别是一件十分容易的事。但是，对于计算机来说，其无法像人类那样立即获得图像的语义信息进而完成对图像的分类任务。目前，图像分类的实现主要基于深度学习方法，一个经过高质量数据训练的深度学习模型能够准确分类图片，而如今高质量的数据因为隐私问题难以整合。
[0003]联邦学习(FL)的出现一定程度上缓解了因隐私问题导致的数据整合困难，通过上传客户端本地训练的深度学习模型的参数，联邦学习使服务器能够在无需整合客户端本地数据的情况下训练一个高精度的深度学习模型，一定程度上保护了用户的数据隐私。然而联邦学习保护用户数据隐私的同时也带来了通信开销巨大的问题，难以应用部署于带宽受限的环境。为了解决此问题，联邦模型蒸馏(FedMD)应运而生，通过上传本地深度学习模型对数据的预测，有效地减少了通信开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦模型蒸馏的混合隐私保护图像分类方法，其特征是，应用于由中心服务器和N个客户端所组成的系统中，并按如下步骤进行：步骤1.第i个客户端利用本地带标签的私有图像数据预训练本地神经网络；步骤1.1.第i个客户端对本地带标签的私有图像数据进行预处理，得到预处理后的私有图像数据集记为D
i
＝{(x
i,1
,y
i,1
),(x
i,2
,y
i,2
),...,(x
i,j
,y
i,j
),...,(x
i,J
,y
i,J
)}，x
i,j
和y
i,j
分别表示第i个客户端预处理后的第j个私有图像样本及其对应的类别，i＝1,2,...,N，N为客户端总数，j＝1,2,...,J，J为第i个客户端私有图像样本的总数；步骤1.2.第i个客户端利用式(1)构建本地的神经网络M
Gi
的监督损失再使用随机梯度下降优化方法以学习率lr
iL
来更新所述本地神经网络M
Gi
的权值，并在监督损失值趋于稳定时得到预训练后的本地神经网络M
′
Gi
；式(1)中，为符号函数，表示第i个客户端的第j个私有图像样本x
i,j
是否属于类别c，若表示第j个私有图像样本x
i,j
的类别属于类别c，若表示第j个私有图像样本x
i,j
的类别不属于类别c；表示第i个客户端的本地神经网络M
Gi
预测第j个私有图像样本x
i,j
属于类别c的概率；c∈[1,m]，m为类别数；步骤2.中心服务器获取无标签的公共图像数据集并随机采样，然后下发至客户端；步骤2.1.定义协同训练的轮数为t，并初始化t＝1；步骤2.2.所述中心服务器随机采样无标签的公共图像数据集，得到第t轮公共图像数据子集记为D
P,t
＝{x
1,t
,x
2,t
,...,x
k,t
,...,x
K,t
}并分别下发至N个客户端，x
k,t
表示第t轮协同训练中第k个被采样的公共图像样本，k＝1,2,...,K，K为第t轮协同训练中被采样公共图像样本的总数；步骤3.N个客户端对第t轮下发的公共图像数据集D
P,t
进行预测：第i个客户端利用预训练后的本地神经网络M
′
Gi
计算第t轮下发的公共图像数据集D
P,t
中各个公共图像样本的预测结果Y
t,i
＝{f
i
(x
1,t
),f
i
(x
2,t
),...,f
i
(x
k,t
),...,f
i
(x
K,t
)}；其中，f
i
(x
k,t
)表示第i个客户端计算的第t轮下发的第k个公共图像样本x
k,t
的预测值,k＝1,2,...,K，K为第t轮下发公共图像样本的总数；步骤4.N个客户端对预测结果进行l1‑
范数裁剪后随机拆分为预测分片，然后按编号发送给对应客户端；步骤4.1.根据裁剪阈值C对第i个客户端第t轮的预测结果Y
t,i
进行l1‑
范数裁剪，得到第t轮裁剪后的预测结果Y
t,i
/max(1,||Y
t...

【专利技术属性】
技术研发人员：许艳，尚树强，杜磊，
申请(专利权)人：安徽大学，
类型：发明
国别省市：