【技术实现步骤摘要】
一种云边端协同个性化联邦学习方法、系统、设备及介质
[0001]本专利技术涉及人工智能
，尤其是涉及一种云边端协同个性化联邦学习方法、系统、设备及介质。
技术介绍
[0002]近年来，联邦学习在工业界和学术界发展非常迅猛，它是一种分布式机器学习范式，在保护用户隐私安全的前提下通过联合多个参与方实现共同建模。在当前流行的联邦学习框架中，参与训练的客户端可以从移动边缘设备到大型企业组织，它们将原始训练数据存在终端设备中。在中央参数服务器的协调下，各个客户端互相协作进行模型训练。每个训练参与方将本地训练的模型参数上传到中心服务器，中心服务器通过聚合各个用户的模型参数更新，然后将聚合更新后的全局模型下发给每个训练参与方。联邦学习的目标是训练一个在大多数客户端上表现良好的全局模型，实现用户之间的知识共享。
[0003]当前主流的联邦学习侧重训练模型的通用性能，然而由于用户数据不平衡和非IID（Independent and identically distributed）分布，导致在特定客户端场景下的个性化性能不佳。现有...
【技术保护点】
【技术特征摘要】
1.一种云边端协同个性化联邦学习方法，其特征在于，所述云边端协同个性化联邦学习方法包括：获取多个客户端的终端设备产生的数据样本和所有客户端构成的图结构；获取所述数据样本的特征矩阵表示和邻接矩阵表示，并根据所述特征矩阵表示和所述邻接矩阵表示，获得所述数据样本的特征张量和邻接张量；根据所述邻接张量和所述特征张量，对所述多个客户端的终端设备进行聚类，获得多组客户端终端设备；构建云边端协同个性化联邦学习的目标函数和特征图，并根据所述目标函数和特征图，对每组客户端终端设备进行个性化模型训练，更新每组客户端终端设备的个性化模型的参数；根据所述个性化模型的参数、所述特征图和所述图结构，通过图卷积神经网络进行聚合，获得每个客户端的全局模型和个性化模型。2.根据权利要求1所述的云边端协同个性化联邦学习方法，其特征在于，所述根据所述邻接张量和所述特征张量，对所述多个客户端的终端设备进行聚类，获得多组客户端终端设备，包括：根据注意力机制和图卷积神级网络，构建基于深度注意力机制的自编码器；采用所述自编码器获取所述客户端的隐藏嵌入表征；将所述隐藏嵌入表征、所述特征矩阵表示和所述邻接矩阵表示输入至所述图卷积神级网络中，获得重构图；根据所述图结构和所述重构图，构建重构损失函数；其中，G表示所述重构图，A表示所述图结构；基于所述隐藏嵌入表征，采用K
‑
means方法获取聚类中心，并获取各个客户端的软标签分配，所述软标签分配是各个客户端归于某个类的概率分布；根据所述聚类中心，通过增强节点特征提升所述软标签分配的置信度，获得新的目标分布：其中，表示将客户端i划分为簇u的概率，表示所述客户端i划分为簇k的概率，表示基于新的目标分布将相似客户端划分到同一簇中的概率；根据所述软标签分配和所述新的目标分布之间相对熵值构造聚类损失函数：；根据所述聚类损失函数和所述重构损失函数，在所述基于节点张量的图聚类方法训练完成后，获得多组客户端终端设备。
3.根据权利要求1所述的云边端协同个性化联邦学习方法，其特征在于，在所述对每组客户端终端设备进行个性化模型训练之前，所述云边端协同个性化联邦学习方法还包括：采用ISMOTE方法对少样本数量的每组客户端终端设备进行样本分析和构造，获得可预测标签。4.根据权利要求3所述的云边端协同个性化联邦学习方法，其特征在于，所述采用ISMOTE方法对少样本数量的每组客户端终端设备进行样本分析和构造，获得可预测标签，包括：通过编码器将每个终端设备中的高维数据映射为低维数据；采用欧式距离计算所述低维数据中的当前样本与其余样本的距离，获得多个邻近样本；基于整体数据不平衡的比例设置采样倍率，在所述当前样本邻近的所述多个邻近样本中选择预设数量的样本，并在所述预设数量的样本上构建新样本；对所述新样本采用多层感知机输出可预测标签。5.根据权利要求1所述的云边端协同个性化联邦学习方法，其特征在于，所述个性化联邦学习的目标函数包括：其中，表示第...
【专利技术属性】
技术研发人员：费洪晓，夏项杰，龙军，齐倩倩，洪俊坤，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。