个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架制造技术

本发明专利技术提供了个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，所述框架包括以下部分：建立蒸馏引导的信道解耦联邦学习框架；将区块链集成到联邦学习过程中；采用循环蒸馏，并将自我蒸馏引入个性化联邦学习中。本发明专利技术具有个性化机器学习模型的效率和安全性高，隐私泄露风险低的优点。隐私泄露风险低的优点。隐私泄露风险低的优点。

【技术实现步骤摘要】
个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架


[0001]本专利技术涉及联邦学习框架
，尤其涉及一种个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架。

技术介绍

[0002]联邦学习(FL)是一种机器学习框架，近年来取得了显著进展。联邦学习通过许多客户在中央服务器的协调下协作训练一个模型，同时保持训练数据的分散，即它可以在产生数据的设备上进行大规模的训练，并且这些敏感数据保留在数据的所有者那里，本地收集、本地训练。在本地训练后，中央的训练协调器通过获取分布模型的更新获得每个节点的训练贡献，但是不访问实际的敏感数据，能够体现出集中收集和数据最小化的原则。
[0003]然而，客户之间数据分布的异质性仍然带来了诸多问题，当前的联邦学习框架在实现参与者之间安全和透明的数据共享方面依旧面临困难，存在着容易泄露隐私的风险，因此目前亟需寻找到降低隐私泄露的风险的方法。

技术实现思路

[0004]针对现有技术中所存在的不足，本专利技术提供了一种个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，具有个性化机器学习模型的效率和安全性高，隐私泄露风险低的优点。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0006]个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，所述框架包括以下部分：
[0007]建立蒸馏引导的信道解耦联邦学习框架；
[0008]将区块链集成到联邦学习过程中；
[0009]采用循环蒸馏，并将自我蒸馏引入个性化联邦学习中。
[0010]本专利技术进一步设置为：建立蒸馏引导的信道解耦联邦学习框架时，设计一个分布式设备数为N的联邦学习框架，每个设备D＝{D1，D2，...，D
N
}持有一个本地数据集D
i
，其中，其中表示输入，表示相应的标签。
[0011]本专利技术进一步设置为：建立蒸馏引导的信道解耦联邦学习框架时，定义教师模型T(x；W
T
)和学生模型S(x；W
S
)，其中W
T
表示教师模型的权重，W
S
表示学生模型的权重；信道解耦作用于上述模型上，得到M个解耦的子模型，记为其中，m＝1,2,...,M；最小化考虑到本地数据集损失L
i
(W
S
)和L
d
(W
S
)的总体损失函数L(W
S
):
[0012]L(W
S
)＝∑
i
[αL
i
(W
S
)+(1
‑
α)L
d
(W
S
)],
[0013]其中，α∈[0,1]是平衡本地数据集损失和蒸馏损失的权重参数，L
d
(W
S
)是学生模型和解耦的教师子模型之间的蒸馏损失，且
[0014][0015]本专利技术进一步设置为：将区块链集成到联邦学习过程中时，建立一个区块链B，其中包含一系列块B＝{b1,b2,...,b
k
}，每个块b
k
都包含一组模型更新交易每个块b
k
中的每个交易对应于一个本地模型更新并使用共识机制C(
·
)进行验证；模型更新交易被聚合在每个块中，全局模型权重的更新如下：
[0016][0017]其中W
k
表示在处理块b
k
中的交易后得到的全局模型权重。
[0018]本专利技术进一步设置为：采用循环蒸馏，并将自我蒸馏引入个性化联邦学习中，在本地训练过程中，使用循环蒸馏对w
i
即个性化权重和w0即共享权重之间施加一致性正则化；
[0019]由w
i
,w0参数化的子网表示为由(w
i
,w0)组成的网络表示为对于每个输入样本x
i
，从和中分别收集yi
L
和整体预测最小化与真实标签y
i
的交叉熵损失函数L
CD
，循环蒸馏损失定义如下：
[0020][0021]其中KL(.)表示Kullback
‑
Leibler散度，它对w
i
和w0之间施加一致性正则化，总损失函数为：
[0022]L＝L
CE
+λ
·
L
CD
,
[0023]平衡系数λ设为1。
[0024]本专利技术进一步设置为：为了稳定训练性能，使用指数移动平均(EMA)方案对个性化通道w
i
中的本地权重更新进行平滑处理，在时间t，w
i
的EMA更新为：
[0025][0026]其中是整体损失函数的原始更新，平滑系数β
t
取决于当前的全局时期数。
[0027]本专利技术具有以下优点：
[0028]1、模型个性化：本申请提出的框架通过蒸馏引导的信道解耦将全局模型的知识传输到本地模型，提高了本地模型在客户端独特数据分布上的性能。与传统FL系统相比，这种方法提供了更准确和相关的结果。
[0029]2、负迁移缓解：本申请提出的框架通过减小本地和全局权重学习表示之间的差距来缓解负迁移，解决了由于客户端数据分布差异而引起的问题。这有助于避免模型在不同客户端数据上表现不佳的问题，这在传统FL系统中是常见问题。
[0030]3、数据隐私、安全性和可审计性：本申请提出的框架通过使用区块链技术提供数据隐私、安全性和可审计性。这确保了模型训练过程是安全的，客户端的本地数据保持私密，模型训练过程透明且可验证。这种方法在参与者之间建立信任，并确保遵守数据隐私法规。
附图说明
[0031]图1为本申请实施例的区块链和联邦学习框架用于模型个性化的示意图。
具体实施方式
[0032]下面结合附图及实施例对本专利技术中的技术方案进一步说明。
[0033]一种个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，如图1所示，用于个性化非独立同分布联邦学习的全局模型。具体来说，通过逐层从上到下分配可学习的个性化权重的适应性比例。
[0034]通过这种方式，框架旨在实现对简单模式和复杂模式(如图像和标签级个性化)的更高个性化能力。通过定义一种统一的个性化分区率来确定每个层中个性化通道的精确比例，设定比例为p的通道参数在本地进行训练，不通过区块链服务器进行聚合，随之私有权重会存在不同，用w
i
表示，其中下标与客户端ID相关联，剩余的(1
‑
p)百分比的共享权重，表示为w0，将使用常见的联邦学习算法进行训练。
[0035]本申请的个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，包括以下部分：
[0036]建立蒸馏引导的信道解耦联邦学习框架；
[0037]将区块链集成到联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，其特征在于：所述框架包括以下部分：建立蒸馏引导的信道解耦联邦学习框架；将区块链集成到联邦学习过程中；采用循环蒸馏，并将自我蒸馏引入个性化联邦学习中。2.如权利要求1所述的个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，其特征在于：建立蒸馏引导的信道解耦联邦学习框架时，设计一个分布式设备数为N的联邦学习框架，每个设备D＝{D1，D2，...，D
N
}持有一个本地数据集D
i
，其中，其中，其中表示输入，表示相应的标签。3.如权利要求2所述的个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，其特征在于：建立蒸馏引导的信道解耦联邦学习框架时，定义教师模型T(x；W
T
)和学生模型S(x；W
S
)，其中W
T
表示教师模型的权重，W
S
表示学生模型的权重；信道解耦作用于上述模型上，得到M个解耦的子模型，记为其中，m＝1,2,...,M；最小化考虑到本地数据集损失L
i
(W
S
)和L
d
(W
S
)的总体损失函数L(W
S
):L(W
S
)＝∑
i
[αL
i
(W
S
)+(1
‑
α)L
d
(W
S
)],其中，α∈[0,1]是平衡本地数据集损失和蒸馏损失的权重参数，L
d
(W
S
)是学生模型和解耦的教师子模型之间的蒸馏损失，且4.如权利要求3所述的个性化联邦学习的区块链增强循环蒸馏引导信道解耦框架，其特征在于：将区块链集成到联...

【专利技术属性】
技术研发人员：瑞嘉，阿曼乌拉，里亚兹乌拉汗，任晓龙，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：