随机采样共识联合半监督学习制造技术

提供了用于在非IID设置中随机采样共识联合(RSCFed)学习的方法和系统。该方法包括：随机采样本地客户端，在同步轮次开始时将当前全局模型分配给随机采样的本地客户端以进行初始化，对随机采样的本地客户端进行本地训练，从随机采样的本地客户端中收集本地模型并对收集的本地模型进行距离重加权模型聚合(DMA)，以得到子共识模型，多次重复上述步骤以得到一组子共识模型，以及基于子共识模型聚合新模型作为下一全局模型。新模型作为下一全局模型。新模型作为下一全局模型。

【技术实现步骤摘要】
随机采样共识联合半监督学习

技术介绍

[0001]联合学习(FL)的核心思想是在分布于不同位置或设备上的独立数据集上训练机器学习模型，从而在一定程度上保护本地数据隐私。在过去几年里，FL已经成为重要研究工具，并且研究FL在例如医学图像诊断[10,14,28]、图像分类[16]和目标检测[22]等领域的应用方面引起关注。已经提出了各种FL方法，例如FedAvg[23]、SCAFFOLD[12]和MOON[16]，并且获得的初步结果很有前景。然而，由于需要在每个本地客户端上完全标记图像，这些方法在实际实践中的应用仍然受到限制。
[0002]最近，旨在利用未标记图像来增强FL的全局模型开发的联合半监督学习(FSSL)[8,19,21,28]已成为新的研究领域。FSSL的一条线专注于具有部分标记图像和未标记图像的每个客户端。例如，Jeong等人[8]引入了客户端间一致性损失的概念，其通过鼓励来自多个客户端的一致输出来改进全局模型。FSSL的另一条线[21,28]做出以下假设：一些本地客户端具有完全标记图像并被表示为标记客户端，而其它本地客户端具有未标记图像并被表示为未标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种随机采样共识联合(RSCFed)学习的方法，包括：随机采样本地客户端；在同步轮次开始时，将当前全局模型分配给所述随机采样的本地客户端，以进行初始化；对所述随机采样的本地客户端进行本地训练；从所述随机采样的本地客户端中收集本地模型，并对所述收集的本地模型执行距离重加权模型聚合(DMA)，以得到子共识模型；多次重复上述步骤，以得到一组子共识模型；以及基于所述子共识模型聚合新模型作为下一全局模型。2.根据权利要求1所述的方法，其中，所述本地客户端包括具有标记的本地数据的标记本地客户端和具有未标记的本地数据的未标记本地客户端。3.根据权利要求1所述的方法，其中，将当前全局模型分配给所述随机采样的客户端以进行初始化的步骤包括：用所述当前全局模型初始化所述本地模型，以对所述随机采样的客户端执行本地训练。4.根据权利要求2所述的方法，其中，进行本地训练的步骤包括：对所述标记本地客户端和所述未标记本地客户端分别进行标准监督训练和无监督训练。5.根据权利要求1所述的方法，其中，利用作为由以下方程定义的主要目标的交叉熵损失L
CE
对所述标记本地客户端进行所述本地训练：其中是对来自相应本地模型的所述随机采样的本地客户端的预测。6.根据权利要求2所述的方法，其中，通过基于mean
‑
teacher的一致性正则化框架，并将学生模型视为所述本地模型，来对所述未标记本地客户端进行所述本地训练。7.根据权利要求1所述的方法，其中，所述距离重加权模型聚合(DMA)被配置为动态调整所述收集的模型的权重。8.根据权利要求2所述的方法，其中，在对所述未标记本地客户端进行所述本地训练期间，在生成来自所述学生模型和所述教师模型的预测之后，配置锐化方法以提高所述教师模型的所述预测的热度。9.根据权利要求8所述的方法，其中，当所述本地训练完成时，将所述学生模型作为所述本地模型提供给对应的未标记本地客户端。10.根据权利要求1所述的方法，其中，执行距离重加权模型聚合(DMA)包括：计算每个子集的子集内平均模型；在每个子集中为所述本地客户端缩放权重；和将所述子集内模型权重归一化到[0,1]的范围内。11.一种用于执行随机采样共识联合(RSCFed)学习的系统，包括：...

【专利技术属性】
技术研发人员：李小萌，
申请(专利权)人：香港科技大学，
类型：发明
国别省市：