基于标签交换的联邦学习生成对抗网络敏感数据训练方法技术

本发明专利技术公开了基于标签交换的联邦学习生成对抗网络敏感数据训练方法，用于解决联邦学习相关技术中模型参数泄露本地数据信息的问题。联邦学习模型包括由参数服务器进行聚合的全局模型和在客户端训练的本地模型两部分。本发明专利技术在本地模型原有的监督学习任务的基础上增加生成对抗网络部分，来辅助监督学习过程中保护数据隐私。通过原始标签和重组标签下的融合特征，利用生成网络输出的生成数据，将其作为局部模型训练数据替代原始数据集，使得模型参数记录的是重组标签下的生成数据特征，从而达到保护原始数据集目的。达到保护原始数据集目的。达到保护原始数据集目的。

【技术实现步骤摘要】
基于标签交换的联邦学习生成对抗网络敏感数据训练方法


[0001]本专利技术涉及一种基于标签交换的联邦学习生成对抗网络敏感数据训练方法，属于用户隐私保护和人工智能交叉的


技术介绍

[0002]随着人工智能的快速发展，医疗健康领域、个性化推荐领域等包含个人敏感信息的领域都有许多联邦学习的应用。敏感数据由于其隐私性导致其不能离开本地，而联邦学习的出现，正是为了打破这一壁垒，使得数据可用不可见，让数据在本地训练也可以获得和数据集中训练同样的效果。联邦学习系统包括参数服务器和各个数据计算节点，在不上传本地数据的情况下，各个计算节点在参数服务器的参与下共同训练模型。具有相同训练任务的数据拥有者在本地训练数据并上传模型训练参数，参数服务器聚合来自各方的局部模型训练参数后再重新下发给训练各方，保持全局模型参数一致。
[0003]在联邦学习的过程中，尽管数据拥有者没有上传模型训练所需要的数据，攻击者依然可以根据模型参数或每次训练返回的准确度，反推出用于训练模型参数的训练数据，恢复其他方的隐私数据。而这些数据大多是敏感，不可泄露的。目前联邦学习环境下保护隐私数据的方法大致分为对模型参数的保护和对训练数据的保护。对模型参数进行保护的方法有同态加密，安全多方和差分隐私等，这些技术往往会带来额外的计算开销或通信开销，又或要牺牲模型的准确度来换取隐私性。由于模型参数记忆的是原始数据信息，攻击者通过侧信道等攻击方法恢复模型参数使得联邦学习训练下的隐私数据不再安全。因此在对模型参数进行保护的同时需要对敏感数据进行转换，保证参数不会记忆原始数据信息，保证原始数据的安全性。第二类方法是对训练数据进行转换，例如在原始数据的基础上加入差分隐私噪声，以及对多个图像融合进行多标签训练等。前者在数据中加入较多噪声，影响了模型对原始数据的辨别，降低了图片分类的准确度；而后者是在原来图像的基础上进行线性组合，并没有真正对原始图像进行真正的改变，因此攻击者经过不断猜测在付出较大复杂度的计算后依旧可以恢复原始数据。本专利技术借鉴第一类方法的优势，在训练过程中采用生成对抗网络方法对本地数据进行转换，从而达到类似于对模型参数加密的效果，使得攻击者无法通过猜测重组标签得到本地数据。

技术实现思路

[0004]本专利技术的目的在于，针对联邦学习的模型参数包含原始数据信息的问题，提出一种基于标签交换的联邦学习生成对抗网络敏感数据训练方法，解决联邦学习训练过程中模型参数泄露用户敏感数据的问题。
[0005]本专利技术的技术方案在于，基于标签交换的生成对抗网络训练方法及测试阶段的标签还原方法，详细的技术方案如下:联邦学习模型包括由参数服务器进行聚合的全局模型和在客户端训练的本地模型两部分；本地模型又包含局部模型和生成对抗网络，生成对抗网络用于辅助局部模型在
训练过程中保护数据隐私。联邦学习保护用户客户端的本地训练过程的详细步骤如下：步骤1、在客户端参与联邦学习训练前，将图片对应的原始标签替换为重组标签。参考具体实例1，随机生成一个主对角线全为0的正交矩阵H，利用矩阵H将原始数据集中的标签t转换为重组标签t
′
，t
′
＝t
×
H。原始数据集中的原始图片不改变，将原始标签按以上方式转化为重组标签，得到第一重组标签数据集Data
′
。
[0006]步骤2、客户端参与联邦学习，本地模型的详细训练步骤如下。步骤2.1训练生成对抗网络。生成对抗网络包含生成网络f
G
(x；θ
G
)、判别网络f
D
(x；θ
D
)和辅助网络f
C
(t
′
；θ
C
)，参数θ
G
、θ
D
和θ
C
分别表示生成网络参数、判别网络参数和辅助网络参数，x表示原始训练数据集的图片，t
′
表示重组标签。生成对抗网络在第一轮联邦学习中，随机初始化生成网络参数和判别网络参数，在第二轮及以后沿用前一次的计算的网络参数结果作为本轮初始训练参数。辅助网络是一个参数不变的模块，将全局模型参数作为辅助网络参数，在整个网络中添加重组标签特征；步骤2.2第一重组标签数据集Data
′
作为训练生成对抗网络的数据集，重组标签作为辅助网络的输入，原始图片作为判别网络和生成网络的输入，使用下列优化算法，更新生成网络和判别网络参数。生成对抗网络随联邦学习的迭代轮次不断更新，使得生成网络在输入原始图片后输出包含重组标签特征和原始图片特征的图片。始图片后输出包含重组标签特征和原始图片特征的图片。始图片后输出包含重组标签特征和原始图片特征的图片。始图片后输出包含重组标签特征和原始图片特征的图片。步骤2.3使用步骤2.2中的生成网络生成重组标签下的多特征图片。向生成网络输入原始图片，输出多特征图片，替换第一重组标签数据集下的原始图片，得到第二重组标签数据集；步骤2.4将第二重组标签数据集作为局部模型的训练数据集，将全局模型参数和作为局部模型初始参数，训练局部模型。最后将训练得到的模型参数上传至服务器，等待模型参数聚合重新下发。
[0007]迭代步骤2中所述的步骤，受保护用户在参与联邦学习过程中，本地模型中的生成对抗网络模型参数和局部模型参数随全局模型的变化而不断更新，当局部模型的训练精度或测试精度达到阈值后停止训练。此时，生成网络可以生成具有原始图片特征的重组标签下的图片，局部模型不断学习重组标签下的生成图片特征，并在服务器聚合局部模型参数时融入到全局模型参数中，使得全局模型具备判别生成图片特征的能力。
[0008]在联邦学习训练阶段，全局模型参数学习到的是生成图片与重组标签之间的关系，因此在模型测试阶段，局部模型对生成网络生成的图片具有较高准确率的识别能力。为保证测试阶段的局部模型的判别准确性，首先将测试图片输入到生成网络，生成新的图片；再将生成图片输入训练完成的局部模型，得到该图片对应的重组标签；最后借助正交矩阵H的转置矩阵将生成图片对应的重组标签恢复为原始标签，得到该原始图片的真实标签。
[0009]本专利技术的有益效果在于，使用第一重组标签数据集训练生成对抗网络后，利用第
二重组标签数据集替代原始数据在局部模型下的训练，改变局部模型学习到的训练参数，达到保护本地敏感数据集的目的。且在测试阶段的还原方法有效解决了原始替换数据后分类精度降低的问题。
附图说明
[0010]图1为本专利技术的联邦学习训练架构图。
[0011]图2为本专利技术的验证或测试阶段的标签还原图。
[0012]图3为本专利技术的基于标签交换的生成对抗网络训练流程图。
具体实施方式
[0013]本专利技术的主要思想是交换用户本地拥有的标签，训练生成对抗网络生成重组标签下保留原始特征的生成数据，使用生成数据替代原始数据在局部模型中的训练，从而达到保护局部模型参数不泄露本地原始数据信息的目的。为了使本专利技术的目的、技术方案及优点更加清楚，以下结合附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于标签交换的联邦学习生成对抗网络敏感数据训练方法，其特征在于：联邦学习系统分为本地模型和全局模型；本地模型包含局部模型和生成对抗网络两部分，生成对抗网络在本地模型中辅助局部模型在训练过程中保护数据隐私，局部模型通常是监督学习任务；全局模型由参数服务器对各个客户端的局部模型进行聚合得到；联邦学习模型保护用户客户端的训练过程的步骤如下：步骤1、数据预处理：在客户端参与联邦学习训练前，进行数据预处理，将图片对应的原始标签替换为重组标签；随机生成一个主对角线全为0的正交矩阵H，将原始数据集的标签t转换为重组标签t
′
，t
′
＝t
×
H；原始数据集的原始图片不改变，与重组标签组成第一重组标签数据集Data
′
；步骤2、客户端参与联邦学习，训练本地模型，包括以下步骤：步骤21、初始化生成对抗网络参数；生成对抗网络包含生成网络f
G
(x；θ
G
)、判别网络f
D
(x；θ
D
)和辅助网络f
C
(t
′
；θ
C
)；参数θ
G
、θ
D
和θ
C
分别表示生成网络参数、判别网络参数和辅助网络参数，x表示原始训练数据集的图片，t
′
表示重组标签；生成对抗网络在第一轮参与联邦学习时，随机初始化生成网络参数和判别网络参数，在第二轮及以后沿用前一次的训练参数作为本轮初始训练参数；辅助网络参数来源于不断更新的全局模型参数，用于给网络添加重组标签特征；步骤22、训练生成对抗网络；重组标签数据集Data
′
作为训练生成对抗网络的数据集，使用下列损失函数训练生成对抗网络，更新生成网络参数和判别网络参数；生成对抗网络随联邦学习的迭代轮次逐渐更新，...

【专利技术属性】
技术研发人员：刘琴，刘莎莎，
申请(专利权)人：湖南大学，
类型：发明
国别省市：