基于自适应邻居选择的去中心化机器学习方法和装置制造方法及图纸

本发明专利技术提供一种基于自适应邻居选择的去中心化机器学习方法和装置。其中，该方法应用于P2P网络架构中，在每轮训练回合中，每个工作节点利用本地有标签数据更新本地模型参数；每个节点自适应选择目标邻居节点交换模型，使用权重矩阵聚合模型参数以得到聚合模型；每个节点根据聚合模型以及本地无标签数据，得到各节点对应的伪标签数据集；每个节点使用本地无标签数据和对应的伪标签进行训练，更新本地模型参数。本申请考虑邻居选择对于伪标签质量和通信开销的影响，每个节点在通信资源的限制下自适应地选择具有高质量模型和相似数据分布的邻居交换模型，为本地无标签数据生成高质量的伪标签，从而提高半监督去中心化学习的训练性能。能。能。

【技术实现步骤摘要】
基于自适应邻居选择的去中心化机器学习方法和装置


[0001]本专利技术属于分布式机器学习（Distributed Machine Learning）领域，具体涉及一种基于自适应邻居选择的去中心化机器学习方法和装置。

技术介绍

[0002]分布式机器学习中占主导地位的训练方法是PS训练架构，每个节点迭代地与PS交换模型参数。这种架构下，由于所有节点需要同时与PS通信，可能会超过通信资源限制，PS成为了固有的瓶颈，增加了单点失效的风险。去中心化学习通过P2P的形式协调各个节点训练模型，可以有效避免PS的瓶颈，提高分布式系统的可伸缩性。
[0003]然而，现有去中心化方法只关注有监督学习的设置，假设每个节点的数据都具有真实标签，这在现实生活中通常很难实现。例如，在COVID
‑
19的早期传播阶段，社区医院通常没有足够的有标签数据训练病理预测模型，为数据打标签十分耗时和复杂，大多数情况下需要领域专家的支持。因此，节点上的本地数据大多数是无标签。
[0004]传统的半监督学习方法主要为单机或PS架构设计，无法直接应用到P2P训练架构，他们没有考虑邻居选择对于半监督学习训练性能的影响，来自邻居的模型可能会对聚合模型有不同程度的积极或消极影响，如果全部聚合他们，由此聚合的模型产生的伪标签质量可能会受到损害，大量具有低置信标签的无标签数据将无法被利用，从而降低训练性能。

技术实现思路

[0005]为了解决现有技术中的问题，本专利技术提供一种基于自适应邻居选择的去中心化机器学习方法和装置，目的在于充分利用P2P网络中节点的无标签数据提高去中心学习的训练性能，考虑邻居选择对于伪标签质量和通信开销的影响，每个节点倾向于与更多具有高质量模型的邻居通信，帮助生成高质量的伪标签，但过多的邻居也会产生大量通信开销，本申请引入邻居得分评估邻居节点的重要性，具有高质量模型和相似数据分布的邻居将会具有更高的得分，根据邻居得分在通信资源的限制下为每个节点自适应选择邻居节点交换模型，实现训练性能和资源开销之间的平衡。
[0006]第一方面，本专利技术实施例提供了一种基于自适应邻居选择的去中心化机器学习方法，应用于P2P网络架构中，在每轮训练回合中，包括：S1、每个工作节点利用本地有标签数据更新本地模型参数；S2、考虑伪标签质量和通信开销，每个节点自适应选择目标邻居节点交换模型，在收到所述目标邻居节点的模型之后，使用权重矩阵聚合模型参数以得到聚合模型；S3、每个节点根据聚合模型以及本地无标签数据，得到各节点对应的伪标签数据集；S4、每个节点使用本地无标签数据和对应的伪标签进行训练，更新本地模型参数。
[0007]可选的，所述S2中每个节点自适应选择目标邻居节点交换模型，包括：将每个邻居节点开发项和探索项的和作为对应的邻居得分；
根据所述邻居得分每个节点自适应的选择目标邻居节点交换模型。
[0008]可选的，所述开发项通过模型在验证集上的精度除以权重分散得到；所述探索项通过当前训练回合数除以节点被选作邻居的次数得到。
[0009]可选的，根据所述邻居得分每个节点自适应的选择目标邻居节点交换模型，包括：根据邻居得分求解各节点间通信的概率，形式化问题中优化目标是最大化对应通信概率为权重的邻居得分，将通信资源作为限制，使用线性规划求解器最优得到节点间的通信概率；根据求解的通信概率生成邻居选择策略，每个节点按照通信概率大小把可能通信的邻居节点非增序排列，构造候选邻居列表；遍历候选邻居列表，以对应概率选择目标邻居节点进行通信，直到超过通信资源限制。
[0010]可选的，所述S2中的权重矩阵使用P2P拓扑中每个节点的度来计算。
[0011]可选的，所述S3包括：每个节点使用聚合模型在弱增强后的无标签数据上计算预测类分布，并把具有最大概率的类别作为无标签数据的伪标签；去除低置信的无标签数据，得到伪标签数据集。
[0012]可选的，去除低置信的无标签数据，得到伪标签数据集，包括：选择伪标签的一个子集加入训练，仅保留最大类概率大于置信阈值的伪标签，从而去除低置信的噪声数据。
[0013]可选的，所述S4包括：每个节点对本地无标签数据执行强增强；每个节点使用强增强后的无标签数据和对应的伪标签进行训练，更新本地模型参数。
[0014]第二方面，本专利技术实施例还提供 一种基于自适应邻居选择的去中心化机器学习装置，配置在P2P网络架构中的每个节点上，包括：有监督学习模块，用于利用本地有标签数据更新本地模型参数；模型交换和聚合阶段模块，用于考虑伪标签质量和通信开销，自适应选择目标邻居节点交换模型，在收到所述目标邻居节点的模型之后，使用权重矩阵聚合模型参数以得到聚合模型；伪标签数据集生成模块，用于根据聚合模型以及本地无标签数据，得到各节点对应的伪标签数据集；无监督学习模块，用于使用本地无标签数据和对应的伪标签进行训练，更新本地模型参数。
[0015]本专利技术基于去中心化机器学习场景，主要致力于在半监督学习设置下有效利用节点本地的无标签数据提高训练性能。本申请不同于以往方法，主要体现在：考虑更加现实的半监督去中心化机器学习研究场景，揭示邻居选择对于半监督学习的影响，通过自适应邻居选择为本地无标签数据生成高质量的伪标签，提高去中心化学习的性能。
[0016]相对于现有技术中的方案，本专利技术的优点是：1.本专利技术打破已有去中心化学习方法中本地数据全是有标签数据的假设，关注半
监督学习设置下的去中心化机器学习，这更加符合现实生活中的实际应用场景。
[0017]2.本专利技术发现邻居选择对于伪标签质量和通信开销之间的平衡有着至关重要的影响，考虑P2P架构的特点设计半监督训练方法，弥补现有半监督学习工作的不足。
[0018]3.本专利技术的方法中引入邻居得分评估节点的重要性，根据邻居得分，在通信资源的限制下每个节点自适应地选择具有高质量模型和相似数据分布的邻居进行通信，可以为本地无标签数据生成高质量的伪标签，从而充分利用节点上大量的无标签数据提高训练性能。
[0019]本专利技术公开了一种通过自适应邻居选择充分利用节点上的无标签数据以增强去中心化机器学习的方法。该方案设计邻居得分反应节点对于半监督学习的重要性，考虑伪标签质量和通信开销为每个节点选择邻居交换模型，帮助节点生成高质量的伪标签，从而在半监督设置下提升去中心化学习性能。
附图说明
[0020]图1为本专利技术实施例提供的一种基于自适应邻居选择的去中心化机器学习方法的流程图；图2为为本专利技术实施例中的半监督去中心化机器学习的研究场景示意图。
具体实施方式
[0021]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
实施例
[0022]图1为本专利技术实施例提供的一种基于自适应邻居选择的去中心化机器学习方法的流程图，本实施例中的方法应用于P2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应邻居选择的去中心化机器学习方法，应用于P2P网络架构中，其特征在于，在每轮训练回合中，包括：S1、每个工作节点利用本地有标签数据更新本地模型参数；S2、考虑伪标签质量和通信开销，每个节点自适应选择目标邻居节点交换模型，在收到所述目标邻居节点的模型之后，使用权重矩阵聚合模型参数以得到聚合模型；S3、每个节点根据聚合模型以及本地无标签数据，得到各节点对应的伪标签数据集；S4、每个节点使用本地无标签数据和对应的伪标签进行训练，更新本地模型参数。2.根据权利要求1所述的方法，其特征在于，所述S2中每个节点自适应选择目标邻居节点交换模型，包括：将每个邻居节点开发项和探索项的和作为对应的邻居得分；根据所述邻居得分每个节点自适应的选择目标邻居节点交换模型。3.根据权利要求2所述的方法，其特征在于，所述开发项通过模型在验证集上的精度除以权重分散得到；所述探索项通过当前训练回合数除以节点被选作邻居的次数得到。4.根据权利要求3所述的方法，其特征在于，根据所述邻居得分每个节点自适应的选择目标邻居节点交换模型，包括：根据邻居得分求解各节点间通信的概率，形式化问题中优化目标是最大化对应通信概率为权重的邻居得分，将通信资源作为限制，使用线性规划求解器最优得到节点间的通信概率；根据求解的通信概率生成邻居选择策略，每个节点按照通信概率大小把可能通信的邻居节点非增序排列，构造候选邻居列表；遍历候选邻居列表，以对应...

【专利技术属性】
技术研发人员：许杨，姜志达，徐宏力，
申请(专利权)人：中国科学技术大学苏州高等研究院，
类型：发明
国别省市：