适于精准分类的联邦半监督学习方法、介质及设备技术

本发明专利技术公开了一种适于精准分类的联邦半监督学习方法，包括获取边缘服务器下发的经过预训练的全局模型并更新本地模型；利用更新后的本地模型对自身的无标签数据预测处理获得多个伪标签，然后使用这些伪标签和无标签数据对更新后的本地模型进行宽容监督训练；然后利用自身的有标签数据对宽容监督训练后的本地模型进行严格纠正训练，获得训练后的节点模型；将训练后的节点模型参数上传至边缘服务器ES使其聚合形成全局模型，进行下一轮迭代更新。本发明专利技术在边缘计算场景下将半监督学习与联邦学习相结合，利用无标签数据使模型充分学习到无标签数据蕴含的知识，并采用有标签数据对模型进行监督训练以纠正模型参数，从整体上提高了模型分类的准确率。高了模型分类的准确率。高了模型分类的准确率。

【技术实现步骤摘要】
适于精准分类的联邦半监督学习方法、介质及设备


[0001]本专利技术涉及边缘计算
，具体地讲，是涉及一种适于精准分类的联邦半监督学习方法、计算机可读介质及设备。

技术介绍

[0002]随着移动智能设备的普及和6G通信技术的发展，边缘计算(Edge Computing,EC)逐渐取代了传统的云计算，其将大量的计算任务和服务从云服务器扩展至更接近数据源的边缘服务器(Edge Server,ES)，极大降低了服务响应时延，提高了用户体验。
[0003]EC中多个终端节点(Terminal Node,TN)与ES协同处理计算任务，是一种分布式运算架构。从计算模式角度看，广受欢迎的分布式机器学习范式联邦学习(Federated Learning,FL)可以很好的与EC相结合，目前已有很多研究将两者结合以实现更多的应用。相较于传统的支持EC的深度学习体系结构，FL中的数据生产方无需将大量私有数据与第三方处理中心(ES，云服务器)共享以训练模型，而是共享模型参数实现模型的协同训练，同时可以缓解不必要的带宽损失和数据隐私问题。
[0004]尽管FL在学术界和工业界都引起了不小的关注，但是现有的FL应用和方法都聚焦于完全的监督学习任务，即模型的输入数据都具有标签。但这是不符合实际的，尤其是在EC场景下。EC场景中的TN，例如移动手机、个人电脑，由于自身存储资源受限导致本地私有数据集不足，其中还包含了大量的无标签数据。为了充分利用这些无标签数据，半监督学习逐渐被融入到FL中，其利用大量无标签数据进一步提高模型的准确率的方式得到了广泛的应用。以往的半监督学习通常是人工为无标签数据添加标签，然而由于其巨大的工作量，人工贴标签的方式很快就被模型预测伪标签的方式替代。此外，数据增强是半监督学习中一种常用的技术，旨在为模型训练扩充更多的特征数据。然而数据增强并不适用于EC场景下的FL，因为EC中的TN存储资源受限，无标签数据经过平移、反转、剪切等增强技术后没有足够的内存空间对其进行存储，最终也就无法参与到半监督学习过程。
[0005]关于联邦学习，谷歌提出的分布式机器学习范式FL由于其天然的高效率和隐私保护的优势，目前已经被广泛的应用于多个领域，例如健康医疗、智慧金融等。然而，FL仍然面临着一些挑战，例如通信开销、数据模型异构等。为减小通信开销，大部分研究从两方面入手，分别是减少通信频率和降低通信数据量。为了应对数据异构，Karimireddyd等人提出使用控制变量以纠正“TN漂移”,避免全局模型向局部最优发展。Dinh C T等人提出使用Moreau envelopes作为客户端的正则化损失函数,将个性化FL模型优化与全局模型解耦,以获得最佳的本地个性化模型.Wu Q等人也提出在云边端架构中为智能物联网应用提供个性化的联合学习框架.为了应对模型异构，多数人选择将知识蒸馏(Knowledge Distillation,KD)与FL相结合，Li D等人于2019年首次提出FedMD框架，将KD引入到异构联邦学习中。Guo Q等人提出一种在线的联邦知识蒸馏KDCL，其将原始的两阶段“先训练教师模型，再利用教师模型训练学生模型”转变为“同时训练所有的模型，持续提高模型的泛化能力”。此外，Tan Y等人于2022年创新性的提出联邦原型学习，将特征图的聚合代替原始的
梯度聚合或者logits聚合，同时提高了FL对数据异构和模型异构的容忍度。上述的所有联邦学习方案都只利用有标签数据进行模型优化，忽视了无标签数据对模型的影响。
[0006]关于半监督学习，为了充分利用无标签数据以提高监督学习的模型准确率，最近一些研究提出了不同的方案。Douze等人提出利用大型无标签数据集合YFCC进行少样本学习(low
‑
shot learning)。Yalniz等人也提出利用大量无标签数据提高大型卷积神经网络(ResNet系列)对于ImageNet图像分类的准确率。随着FL的发展，半监督学习逐渐与FL相结合。Lin H等人提出联邦半监督学习框架SemiFed，结合一致性正则化和伪标签两种方式提高半监督学习效果。Zhang Z等人为了降低模型多样性提出一种基于分组的联邦平均算法，同时结合一致性正则化，有效的提高了联邦半监督学习的准确率。上述的半监督方案都是利用数据增强技术或者利用单一伪标签去训练模型，但是数据增强技术并不能适用于EC场景，且单一伪标签也无法充分提取无标签数据的知识。

技术实现思路

[0007]针对上述现有技术存在的问题，本专利技术提供一种适于精准分类的联邦半监督学习方法，通过特定的数据处理方式充分利用终端节点中的无标签数据进行宽容监督训练，并采用有标签数据进行严格纠正训练，有效地提高了模型分类的准确率。
[0008]为了实现上述目的，本专利技术采用的技术方案如下：
[0009]一种适于精准分类的联邦半监督学习方法，应用于边缘计算中的终端节点，所述终端节点上存在着有标签数据和无标签数据，包括以下步骤：
[0010]S10、获取边缘服务器ES下发的经过预训练的全局模型，并基于该全局模型更新本地模型；
[0011]S20、利用更新后的本地模型对自身的无标签数据预测处理获得多个伪标签，然后使用这些伪标签和无标签数据对更新后的本地模型进行宽容监督训练；
[0012]S30、利用自身的有标签数据对宽容监督训练后的本地模型进行严格纠正训练，获得训练后的节点模型；
[0013]S40、将训练后的节点模型参数上传至边缘服务器ES使其聚合形成全局模型，进行下一轮迭代更新，直至获得满足需求条件的全局模型。
[0014]具体地，所述步骤S20中对自身的无标签数据使用更新后的本地模型预测获得多个伪标签的过程包括：
[0015]S21、将无标签数据输入到本地模型中，经分类器输出一组表示该无标签数据分类结果的次级伪标签；
[0016]S22、按概率高低对该组次级伪标签进行排序，选择前P个概率最高的次级伪标签作为该无标签数据对应的多个伪标签数据，其中P为大于1的整数。
[0017]具体地，所述步骤S20中使用这些伪标签和无标签数据对更新后的本地模型进行宽容监督训练的过程包括：
[0018]S23、从无标签数据中选择每个伪标签对应的前K个概率最高的数据作为输入数据，构成宽容监督训练集，其中K为设定参数；
[0019]S24、使用该宽容监督训练集对本地模型进行宽容监督训练。
[0020]具体地，所述步骤S20中进行宽容监督训练时，本地模型的最后一层分类器不更
新。
[0021]具体地，所述步骤S20中在使用这些伪标签和无标签数据对更新后的本地模型进行宽容监督训练时，每一轮反向传播结束后，将本地模型最后一层的分类器的参数恢复到边缘服务器ES下发的全局模型的状态，实现全局模型的分类器复用。
[0022]进一步地，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述适于精准分类的联邦半监督学习方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适于精准分类的联邦半监督学习方法，其特征在于，应用于边缘计算中的终端节点，所述终端节点上存在着有标签数据和无标签数据，包括以下步骤：S10、获取边缘服务器ES下发的经过预训练的全局模型，并基于该全局模型更新本地模型；S20、利用更新后的本地模型对自身的无标签数据预测处理获得多个伪标签，然后使用这些伪标签和无标签数据对更新后的本地模型进行宽容监督训练；S30、利用自身的有标签数据对宽容监督训练后的本地模型进行严格纠正训练，获得训练后的节点模型；S40、将训练后的节点模型参数上传至边缘服务器ES使其聚合形成全局模型，进行下一轮迭代更新，直至获得满足需求条件的全局模型。2.根据权利要求1所述的适于精准分类的联邦半监督学习方法，其特征在于，所述步骤S20中对自身的无标签数据使用更新后的本地模型预测获得多个伪标签的过程包括：S21、将无标签数据输入到本地模型中，经分类器输出一组表示该无标签数据分类结果的次级伪标签；S22、按概率高低对该组次级伪标签进行排序，选择前P个概率最高的次级伪标签作为该无标签数据对应的多个伪标签数据，其中P为大于1的整数。3.根据权利要求2所述的适于精准分类的联邦半监督学习方法，其特征在于，所述步骤S20中使用这些伪标...

【专利技术属性】
技术研发人员：王瑞锦，周世杰，张凤荔，李雄，王金波，张志扬，赖金山，陈栩霞，裴锡凯，周潼，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：