一种通信高效的隐私保护个性化联邦学习方法技术

本发明专利技术公开了一种通信高效的隐私保护个性化联邦学习方法。本发明专利技术研究了一种基于特征融合相互学习的个性化联邦学习，可以通过在客户端对其共享模型、私有模型和融合模型进行交互训练来实现通信高效的个性化学习。具体地，只有共享模型与全局模型共享以减少通信成本，而私有模型可进行个性化设计，融合模型可以在不同阶段自适应地融合本地知识和全局知识。其次，为了进一步降低通信成本并增强梯度的隐私性，本发明专利技术设计了一种基于梯度压缩的隐私保护方法。该方法通过构建一种混沌加密循环测量矩阵，可以很好地实现隐私保护和轻量级压缩。此外，本发明专利技术还提出了一种基于稀疏性的自适应迭代硬阈值算法，以提高灵活性和重构性能。以提高灵活性和重构性能。以提高灵活性和重构性能。

【技术实现步骤摘要】
一种通信高效的隐私保护个性化联邦学习方法


[0001]本专利技术属于隐私保护以及联邦学习领域，具体涉及一种通信高效的隐私保护个性化联邦学习方法。

技术介绍

[0002]如今，随着设备计算能力的提升，许多优秀的模型被开发出来，以提取日常生成的大量数据中的潜在模式，这推动了深度学习(Deep Learning,DL)的快速发展。然而，传统的集中式深度学习会因为海量数据传输而导致通信拥塞，无法有效保证服务质量。而且，数据收集过程中的隐私泄漏是其面临的主要威胁。联邦学习(Federated Learning,FL)作为分布式深度学习中的一种具有前景的范式，在隐私保护和通信开销方面都取得了长足的进步。
[0003]尽管FL比集中式DL产生更多优势，但模型更新过程仍然会带来巨大的通信开销，尤其是当客户端具有大规模模型时。同时许多具有隐私保护的通信高效FL方案使用了多余的加密算法，这将导致产生更多的计算成本。针对上述问题，目前的研究方向主要有以下三种方案。
[0004]第一类方案通过减少通信轮数、选择部分参与客户端或最小化通信时间来提高通信效率。该方案虽然有助于提高通信效率，但并没有从根本上降低模型参数的数据规模，即单轮通信中仍然存在海量参数，尤其是在客户端模型规模较大的情况下。
[0005]第二类方案通过各种压缩方法减少上传或下载参数的数据量。该方案确实通过减少通信比特而节省了通信成本。但是，当数据是Non
‑
IID时，它们无法实现高效的训练性能。同时，假设所有的客户端模型都是同质的，这限制了客户端的个性化。
[0006]而为了克服数据集和模型的异构性带来的困难，提出了通信高效的第三类，可以提高异构数据集和模型下的模型性能。该个性化方案能够很好地适应Non
‑
IID数据分布和模型异构的情况，对KD的巧妙利用带来了很多启发。然而，它们并没有对本地知识和全局知识进行合理的整合，对于拥有Non
‑
IID数据集的客户来说，很难实现稳定的模型训练。
[0007]从上述三种方案，特别是第三类中最具代表性和最先进的研究中可以发现KD不仅有利于降低通信成本，而且使FL具有良好的异构性容错能力。然而，模型小并不意味着参数少。有些方案只传输最后一层的logit输出，以进一步减少通信流量，但这会诱发知识转移的不足。同时，如何让客户端更好地从全局知识中吸收知识，并且不与本地知识发生冲突也是非常重要的。此外，虽然在前两类中开发了具有隐私保护方法的通信高效FL，但它们通常会引入额外的加密技术，这会带来更多的计算成本，对硬件提出更高的要求。因此，有必要设计一种具有隐私保护的更高效、更个性化的FL。

技术实现思路

[0008]专利技术目的：针对现有技术存在的上述缺陷，本专利技术的目的是设计一种通信高效的隐私保护个性化联邦学习方法，能够使客户端以低通信成本完成个性化学习克服模型异构
和数据异构带来的性能损失难题，实现隐私保护和轻量化压缩，并且提高重构的灵活性。
[0009]技术方案：为了达成上述目的，本专利技术提出一种通信高效的隐私保护个性化联邦学习方法，该方法包括如下步骤：
[0010](1)基于不同客户端对隐私保护需求的不同，设计具有隐私保护的个性化联邦学习网络模型，该模型由隐私客户端、公共客户端和中央服务器组成；
[0011](2)所有客户端通过各自的神经网络学习知识，并结合本地数据集学习到的知识与全局知识实现个性化学习，其中，客户端利用本地数据集对本地神经网络完成训练之后，隐私客户端通过将其神经网络梯度与公共客户端的神经网络梯度分组聚合后再进行梯度压缩，以此降低通信开销并保护梯度信息，隐私客户端将压缩后的梯度上传到中央服务器进行全局聚合；
[0012](3)中央服务器对收到客户端上传的压缩梯度进行解压重构，对重构的梯度再进行全局聚合，并更新全局神经网络，最后将全局神经网络的模型参数分发给每个客户端。
[0013]进一步的，步骤(1)包括如下内容：设置中央服务器的范围内有N个隐私客户端和M个公共客户端，隐私客户端i∈{1,2,
…
N}从公共组{1,2,
…
M}中随机选取K
i
个公共客户端组成一个新的组，所有客户端被分成N个组，隐私客户端和公共客户端利用自己的本地数据集训练其神经网络，并在中央服务器的协助下通过共享神经网络梯度进行联邦学习，实现客户端之间的协作。
[0014]进一步的，步骤(2)包括如下内容：
[0015]步骤2.1)，客户端i利用其本地数据集D
i
对其神经网络进行训练，该神经网络由三个子模型组成，分别是私有模型、共享模型和融合模型，私有模型从本地数据集中提取到特征共享模型提取到特征将经过桥接层与进行拼接之后输入融合模型完成特征融合得到融合特征三个子模型基于知识蒸馏进行相互学习完成本地训练，其中，每个子模型的损失由两部分组成，一个是预测的硬目标和ground
‑
truth之间的交叉熵损失另一个是子模型之间软目标的Kullback
‑
Leibler(KL)散度设计一个与时间无关的平衡权重α对进行缩放，该权重随着高斯过程从0慢慢上升到1，即：
[0016][0017]其中，t和t
stop
分别是α的当前迭代和停止rum
‑
up迭代次数，当整个训练过程达到预设的稳定时，α的值固定为1，私有模型、共享模型和融合模型的训练损失分别定义如下：
[0018][0019][0020][0021]其中，和分别表示私有模型、共享模型和融合模型的硬目标，对应的是它们的软目标，其中，T为控制软
度的蒸馏温度，当T＝1时，soft()为softmax函数；
[0022]公式中的是私有模型和共享模型的加权集合软目标，将其定义为：
[0023][0024]其中，β∈[0.5,1]是集合权衡因子，采用rum
‑
up方法来随时间动态将(1
‑
β)从0.5调整至1，其为和的加权集成特征；
[0025]根据上述分析，将本地客户端i的总损失模型定义为：
[0026][0027]将共享模型的梯度上传到中央服务器进行全局聚合，共享模型的梯度g
i
为：
[0028][0029]其中，表示客户端i中共享模型关于本地数据集中样本b的模型参数，n
i
是D
i
的样本数量，表示客户端i中共享模型关于本地数据集中样本b的训练损失；
[0030]私有模型和融合模型仅在本地更新，具体过程如下：
[0031][0032][0033]其中，ε是私有模型和融合模型的学习率,分别为客户端i中私有模型和融合模型的参数，分别为客户端i中私有模型和融合模型关于本地数据集中样本b的模型参数；
[0034]步骤2.2)，当所有客户端完成本地训练时，隐私客户端将执行梯度的组聚合，则隐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通信高效的隐私保护个性化联邦学习方法，其特征在于，该方法包括如下步骤：(1)基于不同客户端对隐私保护需求的不同，设计具有隐私保护的个性化联邦学习网络模型，该模型由隐私客户端、公共客户端和中央服务器组成；(2)所有客户端通过各自的神经网络学习知识，并结合本地数据集学习到的知识与全局知识实现个性化学习，其中，客户端利用本地数据集对本地神经网络完成训练之后，隐私客户端通过将其神经网络梯度与公共客户端的神经网络梯度分组聚合后再进行梯度压缩，以此降低通信开销并保护梯度信息，隐私客户端将压缩后的梯度上传到中央服务器进行全局聚合；(3)中央服务器对收到客户端上传的压缩梯度进行解压重构，对重构的梯度再进行全局聚合，并更新全局神经网络，最后将全局神经网络的模型参数分发给每个客户端。2.根据权利要求1所述的一种通信高效的隐私保护个性化联邦学习方法，其特征在于，步骤(1)包括如下内容：设置中央服务器的范围内有N个隐私客户端和M个公共客户端，隐私客户端i∈{1,2,
…
N}从公共组{1,2,
…
M}中随机选取K
i
个公共客户端组成一个新的组，所有客户端被分成N个组，隐私客户端和公共客户端利用自己的本地数据集训练其神经网络，并在中央服务器的协助下通过共享神经网络梯度进行联邦学习，实现客户端之间的协作。3.根据权利要求2所述的一种通信高效的隐私保护个性化联邦学习方法，其特征在于，步骤(2)包括如下内容：步骤2.1)，客户端i利用其本地数据集D
i
对其神经网络进行训练，该神经网络由三个子模型组成，分别是私有模型、共享模型和融合模型，私有模型从本地数据集中提取到特征共享模型提取到特征将经过桥接层与进行拼接之后输入融合模型完成特征融合得到融合特征三个子模型基于知识蒸馏进行相互学习完成本地训练，其中，每个子模型的损失由两部分组成，一个是预测的硬目标和ground
‑
truth之间的交叉熵损失另一个是子模型之间软目标的Kullback
‑
Leibler(KL)散度设计一个与时间无关的平衡权重α对进行缩放，该权重随着高斯过程从0慢慢上升到1，即：其中，t和t
stop
分别是α的当前迭代和停止rum
‑
up迭代次数，当整个训练过程达到预设的稳定时，α的值固定为1，私有模型、共享模型和融合模型的训练损失分别定义如下：下：下：其中，和分别表示私有模型、共享模型和融合模型的硬目标，对应的是它们的软目标，其中，T为控制软
度的蒸馏温度，当T＝1时，soft()为softmax函数；公式中的是私有模型和共享模型的加权集合软目标，将其定义为：其中，β∈[0.5,1]是集合权衡因子，采用rum
‑
up方法来随时间动态将(1
‑
β)从0.5调整至1，其为和的加权集成特征；根据上述分析，将本地客户端i的总损失模型定义为：将共享模型的梯度上传到中央服务器进行全局聚合，共享模型的梯度g
i
为：其中，表示客户端i中共享模型关于本地数据集中样本b的模型参数，n
i
是D
i
的样本数量，表示客户端i中共享模型关于本地数据集中样本b的训练损失；私有模型和融合模型仅在本地更新，具体过程如下：私有模型和融合模型仅在本地更新，具体过程如下：其中，ε是私有模型和融合模型的学习率,分别为客户端i中私有模型和融合模型的参数，分别为客户端i中私有模型和融合模型关于本地数据集中样本b的模型参数；步骤2.2)，当所有客户端完成本地训练时，隐私客户端将执行梯度的组聚合，则隐私客户端i的梯度g
i
更新为：其中，表示与隐私客户端i同组的公共客户端k的梯度；步骤2.3)，将对上述聚合后的梯度g
i
进行压缩。4.根据权利要求3所述的一种通信高效的隐私保护个性化联邦学习方法，其特征在于，本地数据集采用MNIST或CI...

【专利技术属性】
技术研发人员：陈思光，王倩，曾文骏，吴蒙，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：