基于自适应邻居选择的去中心化机器学习方法和装置制造方法及图纸

本发明专利技术提供一种基于自适应邻居选择的去中心化机器学习方法和装置。其中，该方法应用于P2P网络架构中，在每轮训练回合中，每个工作节点利用本地有标签数据更新本地模型参数；每个节点自适应选择目标邻居节点交换模型，使用权重矩阵聚合模型参数以得到聚合模型；每个节点根据聚合模型以及本地无标签数据，得到各节点对应的伪标签数据集；每个节点使用本地无标签数据和对应的伪标签进行训练，更新本地模型参数。本申请考虑邻居选择对于伪标签质量和通信开销的影响，每个节点在通信资源的限制下自适应地选择具有高质量模型和相似数据分布的邻居交换模型，为本地无标签数据生成高质量的伪标签，从而提高半监督去中心化学习的训练性能。能。能。

【技术实现步骤摘要】
基于自适应邻居选择的去中心化机器学习方法和装置


[0001]本专利技术属于分布式机器学习（Distributed Machine Learning）领域，具体涉及一种基于自适应邻居选择的去中心化机器学习方法和装置。

技术介绍

[0002]分布式机器学习中占主导地位的训练方法是PS训练架构，每个节点迭代地与PS交换模型参数。这种架构下，由于所有节点需要同时与PS通信，可能会超过通信资源限制，PS成为了固有的瓶颈，增加了单点失效的风险。去中心化学习通过P2P的形式协调各个节点训练模型，可以有效避免PS的瓶颈，提高分布式系统的可伸缩性。
[0003]然而，现有去中心化方法只关注有监督学习的设置，假设每个节点的数据都具有真实标签，这在现实生活中通常很难实现。例如，在COVID
‑
19的早期传播阶段，社区医院通常没有足够的有标签数据训练病理预测模型，为数据打标签十分耗时和复杂，大多数情况下需要领域专家的支持。因此，节点上的本地数据大多数是无标签。
[0004]传统的半监督学习方法主要为单机或PS架构设计，无法直接应用到P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应邻居选择的去中心化机器学习方法，应用于P2P网络架构中，其特征在于，在每轮训练回合中，包括：S1、每个工作节点利用本地有标签数据更新本地模型参数；S2、考虑伪标签质量和通信开销，每个节点自适应选择目标邻居节点交换模型，在收到所述目标邻居节点的模型之后，使用权重矩阵聚合模型参数以得到聚合模型；S3、每个节点根据聚合模型以及本地无标签数据，得到各节点对应的伪标签数据集；S4、每个节点使用本地无标签数据和对应的伪标签进行训练，更新本地模型参数。2.根据权利要求1所述的方法，其特征在于，所述S2中每个节点自适应选择目标邻居节点交换模型，包括：将每个邻居节点开发项和探索项的和作为对应的邻居得分；根据所述邻居得分每个节点自适应的选择目标邻居节点交换模型。3.根据权利要求2所述的方法，其特征在于，所述开发项通过模型在验证集上的精度除以权重分散得到；所述探索项通过当前训练回合数除以节点被选作邻居的次数得到。4.根据权利要求3所述的方法，其特征在于，根据所述邻居得分每个节点自适应的选择目标邻居节点交换模型，包括：根据邻居得分求解各节点间通信的概率，形式化问题中优化目标是最大化对应通信概率为权重的邻居得分，将通信资源作为限制，使用线性规划求解器最优得到节点间的通信概率；根据求解的通信概率生成邻居选择策略，每个节点按照通信概率大小把可能通信的邻居节点非增序排列，构造候选邻居列表；遍历候选邻居列表，以对应...

【专利技术属性】
技术研发人员：许杨，姜志达，徐宏力，
申请(专利权)人：中国科学技术大学苏州高等研究院，
类型：发明
国别省市：