联邦学习下梯度泄露攻击方法、设备及存储介质技术

本发明专利技术涉及计算机技术领域，公开了一种联邦学习下梯度泄露攻击方法、设备及存储介质，包括：提取标签信息，并向生成式网络输入标签信息和随机变量；获取生成式网络的生成数据和生成标签，并将生成数据和生成标签输入到共享模型中得到生成梯度；计算生成梯度与真实梯度之间的差异值，并将差异值作为目标函数，以对生成式网络进行训练；利用训练完成的生成式网络获取梯度泄露攻击结果。上述方法将提取的标签信息作为辅助信息输入到生成式网络中，并使用该网络代替单一随机变量生成对应的数据和标签，且选择合适的目标函数，不断训练网络，最终训练完成的网络可以作为攻击模型，得到的梯度泄露攻击结果与本地真实数据、真实标签相差无几。无几。无几。

【技术实现步骤摘要】
联邦学习下梯度泄露攻击方法、设备及存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种联邦学习下梯度泄露攻击方法、设备及存储介质。

技术介绍

[0002]科学技术的发展带动各种基于大数据的应用不断发展，企业可以使用收集而来的数据训练机器学习算法或模型，给人们提供便捷的服务。然而，近年来隐私泄露带来的安全问题，使得人们越发地关注自身的隐私安全。在此背景下，联邦学习应运而生。联邦学习是一种分布式学习模式，客户端的训练数据不会上传到服务器中，而是会在本地进行训练，最后上传梯度或参数至服务器，协助服务器完成模型的训练。但实际上，不加任何保护的联邦学习系统依旧会面临许多隐私安全问题。从训练流程上看，联邦学习可能会遭受来自内部攻击者(参与方与服务器)、外部攻击者的攻击。
[0003]除了存在攻击者主动发起攻击的情况，还存在着被动攻击的情况。被动攻击通常作为诚实且好奇的攻击方的假设，是指攻击者会观察训练过程中产生的信息，但不会干扰联邦学习系统的运行，且会诚实地完成训练任务。目前有关联邦学习攻防的研究多数基于此假设。联邦学习训练过程中会交互大量的信息，例如为了使得服务器端的模型收敛，服务器端会从客户端收集大量梯度信息。大多数情况下，人们认为共享梯度是安全的。因为梯度信息与训练数据信息相比更加抽象和不易理解。但最近有一些研究表明，由于梯度信息是经过客户端本地数据训练得出，和训练的模型一样可能会隐形地包含数据的隐私信息。这也就意味着梯度信息可能也会揭示训练数据的信息。
[0004]近年来提出了一种攻击——联邦学习下梯度泄露攻击(Deep Leakage from Gradients，DLG)，属于是利用梯度信息的攻击。该攻击不断缩小生成的虚假梯度与真实梯度的差距，当优化结束时就可得到受害者方训练数据集中的数据。但是，DLG攻击仍有许多不足：DLG攻击在不同初始化情况下效果有所不同，因为有些初始化会使得生成的梯度聚集在0附近，而使用欧式距离作为目标函数，开始时就会大幅度地改变数据；DLG在实践时，最后经常会得到错误的标签结果。由于攻击和防御是相辅相成的，研究DLG攻击的同时，针对DLG攻击的防御方法也可随之迭代更新，便于更好地防御DLG攻击。因此，如何设计一种避免大幅改变数据的DLG攻击方法，是本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种联邦学习下梯度泄露攻击方法、设备及存储介质，可以得到与本地真实数据、真实标签相差无几的梯度泄露攻击结果。其具体方案如下：
[0006]一种联邦学习下梯度泄露攻击方法，包括：
[0007]提取标签信息，并向生成式网络输入所述标签信息和随机变量；
[0008]获取所述生成式网络的生成数据和生成标签，并将所述生成数据和所述生成标签
输入到共享模型中得到生成梯度；
[0009]计算所述生成梯度与真实梯度之间的差异值，并将所述差异值作为所述生成式网络的目标函数，以对所述生成式网络进行训练；
[0010]利用训练完成的所述生成式网络获取梯度泄露攻击结果。
[0011]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，在提取标签信息之前，还包括：
[0012]利用卷积层、归一化层、激活层构建生成式网络。
[0013]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，提取标签信息，包括：
[0014]使用LLG方法提取标签信息。
[0015]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，使用LLG方法提取标签信息，包括：
[0016]针对梯度向量，提取梯度为负对应的标签，并将提取的标签添加到输出集合中，将对应的梯度减去一次影响；
[0017]当所述输出集合的大小小于指定标签集合的大小时，将梯度集合中最小梯度对应的标签添加到所述输出集合中，并将对应的梯度减去一次影响，直至所述输出集合的大小与所述指定标签集合的大小相等。
[0018]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，在将所述差异值作为所述生成式网络的目标函数的同时，还包括：
[0019]在所述目标函数中添加有两个正则项，分别为WD距离和TVLoss损失。
[0020]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，采用下述公式获取所述目标函数：
[0021][0022]其中，为所述目标函数，为假数据，W为权重参数，ΔW为梯度，α为超参数。
[0023]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，对所述生成式网络进行训练的过程中，包括：
[0024]对所述生成数据、所述生成标签和所述标签信息进行优化；
[0025]当所述生成式网络的目标函数降低到设定阈值后，停止对所述生成式网络的训练。
[0026]优选地，在本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法中，对所述生成数据、所述生成标签和所述标签信息进行优化，包括：
[0027]利用随机梯度下降算法对所述生成数据、所述生成标签和所述标签信息进行优化。
[0028]本专利技术实施例还提供了一种电子设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本专利技术实施例提供的上述联邦学习下梯度泄露攻击方法。
[0029]本专利技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本专利技术实施例提供的上述联邦学习下梯度泄露攻击
方法。
[0030]从上述技术方案可以看出，本专利技术所提供的一种联邦学习下梯度泄露攻击方法，包括：提取标签信息，并向生成式网络输入标签信息和随机变量；获取生成式网络的生成数据和生成标签，并将生成数据和生成标签输入到共享模型中得到生成梯度；计算生成梯度与真实梯度之间的差异值，并将差异值作为生成式网络的目标函数，以对生成式网络进行训练；利用训练完成的生成式网络获取梯度泄露攻击结果。
[0031]本专利技术提供的上述联邦学习下梯度泄露攻击方法，将提取的标签信息作为辅助信息输入到生成式网络中，并使用生成式网络代替单一随机变量生成对应的数据和标签，且选择合适的目标函数，不断训练生成式网络，最终训练完成的生成式网络可以作为攻击模型来得到梯度泄露攻击结果，得到的梯度泄露攻击结果与本地的真实数据、真实标签相差无几。
[0032]此外，本专利技术还针对联邦学习下梯度泄露攻击方法提供了相应的设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该设备及计算机可读存储介质具有相应的优点。
附图说明
[0033]为了更清楚地说明本专利技术实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习下梯度泄露攻击方法，其特征在于，包括：提取标签信息，并向生成式网络输入所述标签信息和随机变量；获取所述生成式网络的生成数据和生成标签，并将所述生成数据和所述生成标签输入到共享模型中得到生成梯度；计算所述生成梯度与真实梯度之间的差异值，并将所述差异值作为所述生成式网络的目标函数，以对所述生成式网络进行训练；利用训练完成的所述生成式网络获取梯度泄露攻击结果。2.根据权利要求1所述的联邦学习下梯度泄露攻击方法，其特征在于，在提取标签信息之前，还包括：利用卷积层、归一化层、激活层构建生成式网络。3.根据权利要求1所述的联邦学习下梯度泄露攻击方法，其特征在于，提取标签信息，包括：使用LLG方法提取标签信息。4.根据权利要求3所述的联邦学习下梯度泄露攻击方法，其特征在于，使用LLG方法提取标签信息，包括：针对梯度向量，提取梯度为负对应的标签，并将提取的标签添加到输出集合中，将对应的梯度减去一次影响；当所述输出集合的大小小于指定标签集合的大小时，将梯度集合中最小梯度对应的标签添加到所述输出集合中，并将对应的梯度减去一次影响，直至所述输出集合的大小与所述指定标签集合的大小相等。5.根据权利要求1所述的联邦学习下梯度泄露攻击方法，其特征在于，...

【专利技术属性】
技术研发人员：杨雪，唐小虎，唐钰慧，李茜雯，李昱乂，黄小鹏，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：