一种基于相似特征协作的个性化联邦学习方法和系统技术方案

本发明专利技术公开了一种基于相似特征协作的个性化联邦学习方法和系统，应用于客户端和服务器，服务器用于管理至少两个客户端，每一客户端上具有局部模型及局部数据集，方法包括：(1)服务器接收各客户端发送的局部类级特征向量集；(2)服务器根据局部类级特征向量集，基于各客户端的聚合权重生成客户端的个性化类级特征向量集；(3)每个客户端从服务器上下载对应的个性化类级特征向量集，在其局部数据集上进行训练更新其局部模型，获得局部类级特征向量集；(4)重复步骤(2)

【技术实现步骤摘要】
一种基于相似特征协作的个性化联邦学习方法和系统


[0001]本专利技术涉及联邦学习
，尤其涉及一种基于相似特征协作的个性化联邦学习方法和系统。

技术介绍

[0002]联邦学习(Federated Learning，FL)本质上是一种分布式机器学习框架，其做到了在保障数据隐私安全及合法合规的基础上，实现数据共享、共同建模。它的核心思想是在多个数据源共同参与模型训练时，不需要进行原始数据流转的前提下，仅通过交互模型中间参数进行模型联合训练，原始数据可以不出本地。
[0003]由于数据和模型的异质性，传统FL仍然存在一些实际挑战，适用于克服这两个挑战的有效算法尚未得到充分开发或系统研究。已有解决数据异质性问题的方案有：(1)为不同的局部客户端分配并维护多个全局模型，如聚类FL；(2)利用全局和局部信息为每个客户端生成个性化模型，如个性化FL。这些方法大多依赖基于梯度的聚合，导致了较高的通信成本和严重依赖相同结构的局部模型。因为不同客户端的硬件和计算能力不同，因此模型异构是常见的。基于知识蒸馏的FL通过将教师模型的知识转移到具有不同模型结构的学生模型中来解决。然而，这些方法需要一个额外的公共数据集来对齐学生和教师模型的输出，从而增加了计算成本。且该方法的性能会随着公共数据集和客户端数据集之间的分布差异的增加而显著降低。
[0004]此外，参与联邦学习的客户端，除了训练有用的FL模型之外，可能还有额外的需求。例如：一家制药公司可能希望建立一个模型，通过FL利用来自多个医院的数据来促进药物研究。为了补偿参与医院，制药公司可能需要提供激励性支付。
[0005]因此，现有技术中，如何解决联邦学习在数据异构场景下局部模型性能下降，同时兼顾模型异构、通信成本以及可解释的参与者贡献评价，是一个亟待解决的问题。

技术实现思路

[0006]本专利技术提供了一种基于相似特征协作的个性化联邦学习方法和系统，用于改善联邦学习中因各客户端之间数据异构导致的局部模型性能下降，同时兼顾考虑模型异构、通信成本以及可解释的参与者贡献评价等问题。
[0007]本专利技术的技术方案如下：
[0008]一种基于相似特征协作的个性化联邦学习方法和系统，应用于客户端和服务器，所述的服务器用于管理至少两个客户端，每一客户端上均运行一局部模型及用于训练局部模型的局部数据集，所述方法包括：
[0009](1)服务器初始化并接收各客户端发送的局部类级特征向量集；
[0010](2)服务器根据各客户端发送的局部类级特征向量集，基于各客户端的聚合权重生成每个客户端的个性化类级特征向量集；
[0011](3)每个客户端从服务器上下载对应的个性化类级特征向量集，在其局部数据集
上通过最小化局部分类误差与局部类级特征向量集和个性化类级特征向量集之间的距离之和来更新其局部模型；由更新后的局部模型获得其更新后的局部类级特征向量集并发送给服务器；
[0012](4)重复步骤(2)
‑
(3)直至所有客户端平均训练损失不再下降。
[0013]在某一客户端上，将其局部数据集输入至其局部模型，将分类网络后端负责决策的某个全连接层的输出(比如倒数第二个全连接层)作为该客户端某个类的特征向量，对属于该类的所有数据样本的特征向量做平均，得到该类的局部类级特征向量。
[0014]通常一个分类模型包括特征提取和分类预测两部分，其中特征提取部分通常由卷积层和下采样组成，分类预测部分通常由全连接层组成，最后一个全连接层的输出维度和类别数量相同。本专利技术将分类网络后端负责决策的某个全连接层的输出(比如倒数第二个全连接层)作为该客户端某个类的特征向量，同一个客户端如果有多个样本属于同个类，则对该类特征向量做平均作为该类的特征向量，将该特征向量定义为局部类级特征向量。其中，一个客户端有多少个类，就有多少个局部类级特征向量。
[0015]各客户端用于提取局部类级特征向量所在的全连接层输出尺寸相同。且各客户端用于提取局部类级特征向量所在的全连接层输出尺寸相同的情况下，局部分类模型结构不必完全相同。
[0016]在服务器上，基于各客户端的聚合权重对具有同一类样本的所有客户端的局部类级特征向量进行聚合，得到各客户端的个性化类级特征向量。
[0017]若多个不同的客户端都具有同个类的样本，假设客户端A、B、C都具有类1，则以客户端A为例，通过规则加权聚合客户端A、B、C的类1局部类级特征向量得到的输出，称为客户端A的类1的个性化类级特征向量。同理，可以得到客户端B、C的类1的个性化类级特征向量。
[0018]步骤(2)包括：
[0019](i)针对客户端i，计算其类j的局部类级特征向量与其他含有类j的客户端上的局部类级特征向量之间的距离k∈[1,M
(j)
]，得到距离向量其中：j∈[1,|C
i
|]，|C
i
|为客户端i上类的数量；M
(j)
表示含有类j的客户端数量；设置为常数，在训练过程中可以是固定的(如1)，也可以是变化的(如初始值是1，后续逐渐变小)，其影响的是客户端i本身的特征所占的比重，其值越小，则比重越大；
[0020](ii)针对距离向量取距离的反比并进行归一化，得到权重向量其中：表示客户端k对客户端i的类j的聚合权重，且有
[0021](iii)计算得到客户端i上的类j的个性化类级特征向量计算公式为：
[0022][0023]步骤(i)中，所述的距离为欧式距离、曼哈顿距离、夹角余弦距离。
[0024]欧式距离的计算公式为：其中k∈[1,M
(j)
]；
[0025]曼哈顿距离的计算公式为：其中k∈[1,M
(j)
]；
[0026]夹角余弦距离的计算公式为：其中k∈[1,M
(j)
]。
[0027]步骤(3)中，客户端i的局部训练损失L
i
为：
[0028][0029]其中：w
i
为客户端i的局部模型的参数；x
i
为输入数据；y
i
为x
i
对应的标签；F
i
是x
i
输入局部模型后得到的分类预测；|D
i
|为客户端i的局部数据数量；|D
i,j
|为局部数据中含有类j的数据数量；N是所有客户端上的样本总数；N
j
是所有客户端上属于类j的样本总数；和分别为客户端i上的类j的局部类级特征向量和个性化类级特征向量；|C
i
|为客户端i上类的数量；λ为正则化常数。
[0030]所有客户端进行联邦学习的优化目标为：
[0031][0032]其中，N是所有客户端上的样本总数量；N
j
是所有客户端上属于类j的样本总数量；M为客户端总数量。
[0033]本专利技术还提供了一种基于相似特征协作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似特征协作的个性化联邦学习方法，其特征在于，应用于客户端和服务器，所述的服务器用于管理至少两个客户端，每一客户端上均运行一局部模型及用于训练局部模型的局部数据集，所述方法包括：(1)服务器初始化并接收各客户端发送的局部类级特征向量集；(2)服务器根据各客户端发送的局部类级特征向量集，基于各客户端的聚合权重生成每个客户端的个性化类级特征向量集；(3)每个客户端从服务器上下载对应的个性化类级特征向量集，在其局部数据集上通过最小化局部分类误差与局部类级特征向量集和个性化类级特征向量集之间的距离之和来更新其局部模型；由更新后的局部模型获得其更新后的局部类级特征向量集并发送给服务器；(4)重复步骤(2)
‑
(3)直至所有客户端平均训练损失不再下降。2.根据权利要求1所述的基于相似特征协作的个性化联邦学习方法，其特征在于，在某一客户端上，将其局部数据集输入至其局部模型，将分类网络后端负责决策的某个全连接层的输出作为该客户端某个类的特征向量，对属于该类的所有数据样本的特征向量做平均，得到该类的局部类级特征向量。3.根据权利要求2所述的基于相似特征协作的个性化联邦学习方法，其特征在于，各客户端用于提取局部类级特征向量所在的全连接层输出尺寸相同。4.根据权利要求1所述的基于相似特征协作的个性化联邦学习方法，其特征在于，在服务器上，基于各客户端的聚合权重对具有同一类样本的所有客户端的局部类级特征向量进行聚合，得到各客户端的个性化类级特征向量。5.根据权利要求1所述的基于相似特征协作的个性化联邦学习方法，其特征在于，步骤(2)包括：(i)针对客户端i，计算其类j的局部类级特征向量与其他含有类j的客户端上的局部类级特征向量之间的距离得到距离向量其中：j∈[1,|C
i
|]，|C
i
|为客户端i上类的数量；M
(j)
表示含有类j的客户端数量；设置为常数；(ii)针对距离向量取距离的反比并进行归一化，得到权重向量其中：表示客户端k对客户端i的类j的聚合权重，且有(iii)计算得到客户端i上的类j的个性化类级特征向量计算公式为：6.根据权利要求5所述的基于相似特征协作的个性化联邦学习方法，其特征在于，步骤
(i)中，所述的距离为欧式距离、曼哈顿距离、夹角余弦距离。7.根据权利要求6所述的基于相似特征协作的个性化联邦学习方法，其特征在于：欧式距离的计算公式为：...

【专利技术属性】
技术研发人员：林博，王晶，岳伟，尹建伟，
申请(专利权)人：浙江大学滨江研究院，
类型：发明
国别省市：