一种基于高阶异构信息的结构化图联邦学习方法及系统技术方案

本发明专利技术提供一种基于高阶异构信息的结构化图联邦学习方法及系统，该方法包括如下步骤：结合图神经网络和联邦学习中的所有客户端构建图联邦学习；根据各个客户端节点之间的节点关系计算图联邦学习的图容量，并根据图容量确定图联邦学习的一维结构熵；最大化一维结构熵以生成图联邦学习的

【技术实现步骤摘要】
一种基于高阶异构信息的结构化图联邦学习方法及系统


[0001]本专利技术属于联邦学习
，具体是涉及到一种基于高阶异构信息的结构化图联邦学习方法及系统
。

技术介绍

[0002]联邦学习
(FL)
可以满足深度学习模型对大规模数据的渴望，同时避免泄露原始用户数据
。
它已被广泛应用于移动服务
、
金融分析
、
医疗保健
、
导航等领域
。
随着其规模的不断扩大，异构性已成为其性能改进的主要障碍之一
。
现有工作试图从各种角度消除联邦学习异质性的影响，包括但不限于客户端漂移，个性化，多任务，特征层校准，类倾斜，聚类等
。
虽然上述工作可以一定程度上缓解异构性带来的影响，但大多工作只关注单一维度，而在真实的系统中，异质性可能源于各种因素
。
这些复杂且相互关联的因素需要更丰富的结构化知识来进行解释和描述
。
[0003]由于图具有表征全局复杂关系的能力，因此将联邦学习表征为图是一种自然的方法
。
将每个客户端视为一个节点，联邦学习中的深层信息可以通过图的处理方法
(
如图形神经网络
)
来挖掘和利用
。
受此启发，构建图联邦学习是解决联邦学习系统中异构性问题的一个很有前途的途径
。
然而随着客户端数据的持续增长，客户端内部将出现关系动态，从而导致图联邦学习中的相应变化/>。
此外，全连通图放大了不必要的相关噪声，影响了图联邦学习的有效性
。
并且，若只有低维信息不能准确地表征客户端之间的关系，而现有技术中通过直接使用图形神经网络获取包含高维信息的图表征信息时，需要共享客户端的隐空间表征，这不可避免地增加了客户端隐私泄露的风险
。

技术实现思路

[0004]本专利技术提供一种基于高阶异构信息的结构化图联邦学习方法及系统，以解决结构化图联邦学习过程中客户端隐私泄露风险较大的问题
。
[0005]第一方面，本专利技术提供一种基于高阶异构信息的结构化图联邦学习方法，该方法包括如下步骤：
[0006]结合图神经网络和联邦学习中的所有客户端构建图联邦学习，各个所述客户端分别对应所述图联邦学习中的各个客户端节点；
[0007]根据各个所述客户端节点之间的节点关系计算所述图联邦学习的图容量，并根据所述图容量确定所述图联邦学习的一维结构熵；
[0008]最大化所述一维结构熵以生成所述图联邦学习的
K
最近邻图；
[0009]利用所述
K
最近邻图建立所述图联邦学习的社区树；
[0010]确定所述社区树中各个树结构的高维结构熵，并基于最小化公式选择最小高维结构熵作为所述社区树的社区树表征信息；
[0011]利用所述社区树表征信息并通过结构化图联邦学习算法读出所述图联邦学习的图表征信息
。
[0012]可选的，在所述根据各个所述客户端节点之间的节点关系计算所述图联邦学习的图容量，并根据所述图容量确定所述图联邦学习的一维结构熵之前还包括如下步骤：
[0013]获取所述联邦学习的更新轮次和所述联邦学习服务端所输出的全局参数；
[0014]将所述客户端节点的所有相邻客户端节点的本地参数聚合为聚集邻居参数；
[0015]结合所述全局参数和所述聚集邻居参数并按照所述更新轮次更新所有所述客户端节点的所述本地参数
。
[0016]可选的，结合所述全局参数和所述聚集邻居参数并按照所述更新轮次更新所有所述客户端节点的所述本地参数的表达式如下：
[0017][0018]式中：表示第
t+1
个更新轮次时第
k
个所述客户端节点的本地参数，表示第
t
个更新轮次时第
k
个所述客户端节点的本地参数，
η
表示学习效率，表示更新函数，
ξ
k
表示第
k
个所述客户端节点的本地数据集，
w
(t)
表示第
t
个更新轮次时的所述全局参数，表示第1个更新轮次时第
k
个所述客户端节点的聚集邻居参数
。
[0019]可选的，所述根据各个所述客户端节点之间的节点关系计算所述图联邦学习的图容量，并根据所述图容量确定所述图联邦学习的一维结构熵包括如下步骤：
[0020]通过计算所述图联邦学习中任意两所述客户端节点本地参数之间的相似性，得到所述图联邦学习的相似度矩阵；
[0021]通过相似度矩阵为所述图联邦学习中任意两所述客户端节点之间的边赋权；
[0022]根据赋权结果计算所有所述客户端节点的节点度；
[0023]汇集所有所述节点度计算得到所述图联邦学习的图容量；
[0024]结合各个所述客户端节点的所述节点度和所述图容量，并通过香农熵函数确定所述图联邦学习的一维结构熵
。
[0025]可选的，所述一维结构熵的表达式如下：
[0026][0027]式中：
G
表示所述图联邦学习，表示所述图联邦学习的一维结构熵，
H(p
i
)
表示所述香农熵函数，
p
i
表示信息概率，
vol(G)
表示所述图容量，
d
k
表示第
k
个所述客户端节点的节点度，表示客户端节点集合
。
[0028]可选的，所述利用所述
K
最近邻图建立所述图联邦学习的社区树包括如下步骤：
[0029]利用所述
K
最近邻图将所述图联邦学习中的所有客户端节点划分为不同的节点社区，并将不同所述节点社区之间的信息交换抽象为所述图联邦学习的二维结构；
[0030]基于所述
K
最近邻图将所有所述节点社区划分为高等级社区和低等级社区，并将不同所述高等级社区之间的信息交换抽象为所述图联邦学习的高维结构；
[0031]结合所有所述客户端节点和所有所述节点社区，并根据所述二维结构和所述高维结构建立所述图联邦学习的社区树
。
[0032]可选的，所述确定所述社区树中各个树结构的高维结构熵，并基于最小化公式选择最小高维结构熵作为所述社区树的社区树表征信息包括如下步骤：
[0033]通过计算所述社区树中任意两社区之间的相似性，得到所述社区树的相似度矩阵；
[0034]根据所述相似度矩阵对所述社区树中的所有社区进行谱聚类；
[0035]按照谱聚类结果确定所有社区之间的包含关系并将所有社区划分为各个树结构；
[0036]基于所述社区树确定各个所述树结构的高维结构熵，并基于最小化公式选择最小高维结构熵作为所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于高阶异构信息的结构化图联邦学习方法，其特征在于，包括如下步骤：结合图神经网络和联邦学习中的所有客户端构建图联邦学习，各个所述客户端分别对应所述图联邦学习中的各个客户端节点；根据各个所述客户端节点之间的节点关系计算所述图联邦学习的图容量，并根据所述图容量确定所述图联邦学习的一维结构熵；最大化所述一维结构熵以生成所述图联邦学习的
K
最近邻图；利用所述
K
最近邻图建立所述图联邦学习的社区树；确定所述社区树中各个树结构的高维结构熵，并基于最小化公式选择最小高维结构熵作为所述社区树的社区树表征信息；利用所述社区树表征信息并通过结构化图联邦学习算法读出所述图联邦学习的图表征信息
。2.
根据权利要求1所述的基于高阶异构信息的结构化图联邦学习方法，其特征在于，在所述根据各个所述客户端节点之间的节点关系计算所述图联邦学习的图容量，并根据所述图容量确定所述图联邦学习的一维结构熵之前还包括如下步骤：获取所述联邦学习的更新轮次和所述联邦学习服务端所输出的全局参数；将所述客户端节点的所有相邻客户端节点的本地参数聚合为聚集邻居参数；结合所述全局参数和所述聚集邻居参数并按照所述更新轮次更新所有所述客户端节点的所述本地参数
。3.
根据权利要求2所述的基于高阶异构信息的结构化图联邦学习方法，其特征在于，结合所述全局参数和所述聚集邻居参数并按照所述更新轮次更新所有所述客户端节点的所述本地参数的表达式如下：式中：表示第
t+1
个更新轮次时第
k
个所述客户端节点的本地参数，表示第
t
个更新轮次时第
k
个所述客户端节点的本地参数，
η
表示学习效率，表示更新函数，
ξ
k
表示第
k
个所述客户端节点的本地数据集，
w
(t)
表示第
t
个更新轮次时的所述全局参数，表示第
t
个更新轮次时第
k
个所述客户端节点的聚集邻居参数
。4.
根据权利要求1所述的基于高阶异构信息的结构化图联邦学习方法，其特征在于，所述根据各个所述客户端节点之间的节点关系计算所述图联邦学习的图容量，并根据所述图容量确定所述图联邦学习的一维结构熵包括如下步骤：通过计算所述图联邦学习中任意两所述客户端节点本地参数之间的相似性，得到所述图联邦学习的相似度矩阵；通过相似度矩阵为所述图联邦学习中任意两所述客户端节点之间的边赋权；根据赋权结果计算所有所述客户端节点的节点度；汇集所有所述节点度计算得到所述图联邦学习的图容量；结合各个所述客户端节点的所述节点度和所述图容量，并通过香农熵函数确定所述图联邦学习的一维结构熵
。5.
根据权利要求4所述的基于高阶异构信息的结构化图联邦学习方法，其特征在于，所
述一维结构熵的表达式如下：式中：
G
表示所述图联邦学习，表示所述图联邦学习的一维结构熵，
H(p
i
)

【专利技术属性】
技术研发人员：白怡琳，张雄涛，彭浩，
申请(专利权)人：白怡琳，
类型：发明
国别省市：