本发明专利技术公开了一种异质性联邦学习方法和装置，每轮异质性联邦学习依序执行可见域知识融合、扩散域数据生成以及扩散域知识融合阶段；在可见域知识融合阶段，通过图卷积神经网络对本地样本驱动的激活拓扑网络图进行图嵌入表示，更加真实反映联邦学习中不同参与方的数据异质性，通过利用知识迁移方式将簇内模型知识融合到不同簇的参与方，有效提升不同参与方的模型泛化性，提升模型的预测效果；在扩散域数据生成阶段，通过参与方在本地数据提取的特征生成扩散样本，保留了参与方原始的数据分布；扩散域知识融合阶段，采用扩散域的数据特征融合，可以有效融合不同数据域，缓解不同参与方的数据异质性，加快模型的收敛。加快模型的收敛。加快模型的收敛。
【技术实现步骤摘要】
一种异质性联邦学习方法和装置
[0001]本专利技术属于联邦学习与隐私保护相结合的
，具体涉及一种异质性联邦学习方法和装置。
技术介绍
[0002]随着数据隐私保护法规的出台，集中式数据训练方式存在严重的数据泄露风险，数据被禁止直接离开企业。为了解决上述数据不出本地的分布式训练问题，联邦学习应运而生。联邦学习是一种隐私保护的分布式机器学习技术，通过不同参与方在本地数据训练本地模型，分享本地模型至服务器进行聚合，从而实现数据不出本地、模型出本地的联合训练。联邦学习中的关键技术是参与方上传模型的聚合机制，其中联邦平均聚合机制是一种简单高效的聚合方式，通过不同参与方模型参数的平均获得联邦学习模型。然而，当客户端数据呈现异质性时，联邦学习的平均聚合方式往往导致联邦模型性能下降、收敛速度降低等问题。
[0003]针对联邦学习中的数据异质性问题，现有的联邦学习方法主要有两种常见的策略。第一种策略是在全局模型的基础上进行个性化二次训练，提升在异质数据上联邦训练的全局共享模型的性能。联邦学习过程中首先训练好全局联邦学习模型，然后通过本地适应步骤为每个联邦客户端进行个性化处理（包括在每个本地数据集上进行额外的训练）。联邦训练+本地适应的方法可以利用所有数据训练获得的全局模型取得较好的泛化性，缓解数据异质性带来的性能损失。但是，由于联邦学习模型中无法有效融合不同参与方的数据差异，很难直接避免模型性能下降的问题。
[0004]第二种策略是基于联邦学习参与方模型相似度训练联邦模型。主要是基于模型相似性的原则对参与方模型分簇进行聚合，即保持数据分布相似的参与方的本地模型进行聚合，避免数据分布差异过大的参与方的模型进行聚合。通过聚类模型相似度较高的模型进行联邦平均，从而为不同簇的参与方提供不同的联邦学习模型，避免数据差异带来的收敛困难问题。这种聚类方式往往通过计算本地模型的参数范数值或者计算余弦相似度的方式衡量不同参与方本地模型的相似度，往往无法真实反映参与方数据的真实分布情况，成为了约束联邦学习模型收敛的瓶颈。此外，由于联邦学习中的参与方通过形成独自的簇分别进行聚合，参与方的模型泛化性较差，缺少对所有参与方数据的利用。同时异质性联邦学习的训练过程存在训练收敛速度慢的技术问题。
技术实现思路
[0005]鉴于上述，本专利技术的目的是提供一种异质性联邦学习方法和装置，以提升异质性联邦学习的性能并提高联邦学习的收敛速度，降低计算消耗。
[0006]为实现上述专利技术目的，实施例提供的一种异质性联邦学习方法，每轮异质性联邦学习依序执行以下步骤：可见域知识融合：各参与方基于本地样本在当前本地模型中的激活值构建激活拓
扑网络图，同时利用本地样本对当前本地模型进行本地训练，上传本地训练参数和激活拓扑网络图至服务器，服务器采用图卷积神经网络提取激活拓扑网络图的图嵌入表示，基于各参与方的图嵌入表示进行聚类后，对簇内外参与方的本地训练参数分别聚合得到簇内聚合模型和簇外聚合模型，融合簇内聚合模型和簇外聚合模型得到各参与方的整体聚合模型并下发；扩散域数据生成：各参与方将本地样本在各自整体聚合模型中正向传播提取的嵌入特征上传至服务器，服务器对所有嵌入特征进行聚类以添加嵌入特征的簇标签，同时基于嵌入特征进行逆扩散生成扩散样本，并将扩散样本组成扩散域数据集下发至各参与方；扩散域知识融合：各参与方将扩散样本在各自整体聚合模型中正向传播提取的扩散特征上传至服务器，服务器融合所有扩散特征后并在融合模型中前向传播，基于融合模型预测结果和簇标签计算梯度并更新融合模型参数，同时将梯度下发至各参与方，各参与方基于接收梯度更新当前本地模型作为下一轮联邦学习的当前本地模型。
[0007]优选地，所述各参与方基于本地样本在当前本地模型中的激活值构建激活拓扑网络图，包括：各参与方接收服务器下发的模型目标层后，从本地样本中筛选不同类别的样本作为辅助样本，并将辅助样本输入至当前本地模型进行正向推理，选取目标层中神经元作为候选节点，当目标层为全连接层时选取神经元的激活值作为候选节点的激活值，当目标层为卷积层时将选择卷积对应的最大池化层的激活值作为候选节点的激活值；对于相邻两目标层中，在来源于两目标层中激活值大于阈值的两候选节点之间添加连边，其他候选节点之间无连边关系，以构建邻接矩阵；同时基于候选节点的连边权重构建特征矩阵，特征矩阵和邻接矩阵共同表征激活拓扑网络图。
[0008]优选地，所述对簇内外参与方的本地训练参数分别聚合得到簇内聚合模型和簇外聚合模型，包括：对每个簇内所有参与方的本地训练参数进行簇内聚合得到簇内聚合模型，还基于各参与方的图嵌入表示计算相似度矩阵，并对除当前簇之外的所有参与方的本地训练参数基于相似度矩阵进行簇外聚合得到簇外聚合模型。
[0009]优选地，通过余弦相似度计算各参与方的图嵌入表示之间的相似度，构成相似度矩阵。
[0010]优选地，采用公式（1）对簇内所有参与方的本地训练参数进行簇内聚合得到簇内聚合模型：（1）其中，i和j均为参与方索引，k表示当前簇内参与方数量，w
i
表示参与方i的本地训练参数，表示参与方j进行簇内聚合得到簇内聚合模型的参数，参与方j属于当前簇；采用公式（2）对除当前簇之外的所有参与方的本地训练参数进行簇外聚合得到簇外聚合模型：
（2）其中，m表示联邦学习中参与方数量，s
i,j
表示参与方i和j之间图嵌入表示的相似性，表示参与方j进行簇外聚合得到簇外聚合模型的参数；采用公式（3）融合簇内聚合模型和簇外聚合模型得到整体聚合模型：（3）其中，η表示超参数，表示参与方j的整体聚合模型。
[0011]优选地，所述嵌入特征来自于本地样本在整体聚合模型倒数第二层的输出；所述扩散特征来自于扩散样本在整体聚合模型倒数第二层的输出。
[0012]优选地，可见域知识融合过程和扩散域数据生成过程中的聚类均采用K
‑
means聚类。
[0013]优选地，所述融合模型采用全连接网络。
[0014]优选地，各参与方基于接收梯度更新当前本地模型时，采用随机梯度下降方法进行参数更新。
[0015]为实现上述专利技术目的，实施例还提供了一种异质性联邦学习装置，包括服务器、与服务器通信连接的各参与方，各参与方与服务器执行上述异质性联邦学习方法。
[0016]与现有技术相比，本专利技术具有的有益效果至少包括：通过图卷积神经网络对本地样本驱动的激活拓扑网络图进行图嵌入表示，更加真实反映联邦学习中不同参与方的数据异质性。通过利用知识迁移方式，将簇内模型知识融合到不同簇的参与方，有效提升不同参与方的模型泛化性，提升模型的预测效果。再者，该方法可以方便地应用现有联邦学习优化方式，提升方法的鲁棒性和性能，具有较强的通用性。采用扩散域的数据特征融合，可以有效融合不同数据域，缓解不同参与方的数据异质性，加快模型的收敛。通过参与方在本地数据提取的特征生成扩散样本，保留了参与方原始的数据分布。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异质性联邦学习方法，其特征在于，每轮异质性联邦学习依序执行以下步骤：可见域知识融合：各参与方基于本地样本在当前本地模型中的激活值构建激活拓扑网络图，同时利用本地样本对当前本地模型进行本地训练，上传本地训练参数和激活拓扑网络图至服务器，服务器采用图卷积神经网络提取激活拓扑网络图的图嵌入表示，基于各参与方的图嵌入表示进行聚类后，对簇内外参与方的本地训练参数分别聚合得到簇内聚合模型和簇外聚合模型，融合簇内聚合模型和簇外聚合模型得到各参与方的整体聚合模型并下发；扩散域数据生成：各参与方将本地样本在各自整体聚合模型中正向传播提取的嵌入特征上传至服务器，服务器对所有嵌入特征进行聚类以添加嵌入特征的簇标签，同时基于嵌入特征进行逆扩散生成扩散样本，并将扩散样本组成扩散域数据集下发至各参与方；扩散域知识融合：各参与方将扩散样本在各自整体聚合模型中正向传播提取的扩散特征上传至服务器，服务器融合所有扩散特征后并在融合模型中前向传播，基于融合模型预测结果和簇标签计算梯度并更新融合模型参数，同时将梯度下发至各参与方，各参与方基于接收梯度更新当前本地模型作为下一轮联邦学习的当前本地模型。2.根据权利要求1所述的异质性联邦学习方法，其特征在于，所述各参与方基于本地样本在当前本地模型中的激活值构建激活拓扑网络图，包括：各参与方接收服务器下发的模型目标层后，从本地样本中筛选不同类别的样本作为辅助样本，并将辅助样本输入至当前本地模型进行正向推理，选取目标层中神经元作为候选节点，当目标层为全连接层时选取神经元的激活值作为候选节点的激活值，当目标层为卷积层时将选择卷积对应的最大池化层的激活值作为候选节点的激活值；对于相邻两目标层中，在来源于两目标层中激活值大于阈值的两候选节点之间添加连边，其他候选节点之间无连边关系，以构建邻接矩阵；同时基于候选节点的连边权重构建特征矩阵，特征矩阵和邻接矩阵共同表征激活拓扑网络图。3.根据权利要求1所述的异质性联邦学习方法，其特征在于，所述对簇内外参与方的本地训练参数分别聚合得到簇内聚合模型和簇外聚合模型，包括：...
【专利技术属性】
技术研发人员：韩蒙，李荣昌，章燕，张龙源，林昶廷，尹建伟，
申请(专利权)人：浙江大学滨江研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。