模型更新方法技术

本发明专利技术公开了一种模型更新方法

【技术实现步骤摘要】
模型更新方法、非易失性存储介质及计算机设备


[0001]本专利技术涉及边缘计算领域，具体而言，涉及一种模型更新方法
、
非易失性存储介质及计算机设备
。

技术介绍

[0002]随着云计算
、
人工智能
、
物联网和边缘计算技术的发展，边缘智能在融合边缘计算功能的基础上，通过将智能计算由云计算中心下沉到边缘侧，能够满足敏捷连接
、
实时业务
、
智能应用
、
安全与隐私保护等方面的关键需求
。
目前，边缘智能技术已成为产业发展的热点和重点方向之一，在诸多应用场景中发挥着重要的作用，如工业物联网
、
智能家居
、
智慧医疗
、
多媒体服务
、
车联网等
。
[0003]在资源有限的边缘侧实现实时智能通常面临着
AI
模型的训练需要大量的计算资源和数据样本的挑战
。
为解决此问题，联邦学习（
Federated Learning
，
FL
）通过协同多个具有计算能力的边缘节点利用各自隐私数据训练本地模型，然后汇聚到特定的云端服务器对全局模型进行更新，更新后的全局模型再分发到各边缘节点进行替换
。
这种分布式训练的方式能够充分地利用多节点分散的计算资源，降低系统通信带宽压力，并能在保障隐私安全的前提下打破“数据孤岛”困境
。
[0004]然而，随着技术的发展，
AI
模型的功能越来越分化，模型的参数越来越庞大，云边协同场景下的联邦学习方案面临着对各个边缘端的本地模型进行更新时通信开销大
、
通信耗时长，更新越来越缓慢的技术问题
。
[0005]针对上述的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0006]本专利技术实施例提供了一种模型更新方法
、
非易失性存储介质及计算机设备，以至少解决采用联邦学习的边缘计算场景中云端和边端之间的通信开销太大的技术问题
。
[0007]根据本专利技术实施例的一个方面，提供了一种模型更新方法，包括：接收边缘节点各自训练的初始节点模型的模型参数，其中，所述初始节点模型包括：初始通用模块和初始个性化模块；根据所述模型参数对所述初始节点模型进行聚合，生成全局模型，其中，所述全局模型包括全局通用模块，所述全局通用模块由所述初始通用模块聚合而成；根据老师模型对所述边缘节点中的目标节点的所述初始个性化模块进行知识蒸馏，生成第一蒸馏结果，其中，所述老师模型包括所述边缘节点中除所述目标节点的其他节点中的所述初始个性化模块；根据所述全局通用模块和所述第一蒸馏结果，确定所述边缘节点中目标节点对应的模块更新参数；将所述模块更新参数发送至所述目标节点，其中，所述模块更新参数用于更新所述目标节点中的初始节点模型
。
[0008]可选地，所述根据老师模型对所述边缘节点中的目标节点的初始个性化模块进行知识蒸馏，生成第一蒸馏结果，包括：根据所述边缘节点中的初始节点模型的模型参数，确定所述其他节点中的初始节点模型各自与所述目标节点中的初始节点模型之间的相关度；
将所述其他节点的初始节点模型中相关度大于预定阈值的初始节点模型加入老师模型集合；根据所述老师模型集合中的初始个性化模块对所述目标节点中的初始个性化模块进行知识蒸馏，生成所述第一蒸馏结果
。
[0009]可选地，所述根据所述边缘节点中的初始节点模型的模型参数，确定所述其他节点中的初始节点模型各自与所述目标节点中的初始节点模型之间的相关度，包括：根据所述其他节点中的初始节点模型的模型参数，生成与所述其他节点中的初始节点模型一一对应的第一云端节点模型；根据所述目标节点中的初始节点模型的模型参数，生成与所述目标节点中的初始节点模型对应的第二云端节点模型；将全局数据集输入所述第一云端节点模型，得到第一输出结果，以及将所述全局数据集输入所述第二云端节点模型，得到第二输出结果；根据所述第一输出结果与所述第二输出结果之间的相似程度，确定所述相关度
。
[0010]可选地，所述根据老师模型对所述边缘节点中的目标节点的所述初始个性化模块进行知识蒸馏，生成第一蒸馏结果，包括：在所述边缘节点的初始个性化模块包括初始参数掩膜和初始任务模型的情况下，根据所述其他节点的初始参数掩膜对所述目标节点的初始参数掩膜进行掩膜蒸馏，得到掩膜蒸馏结果，其中，所述初始参数掩膜用于对所述初始节点模型中的初始通用模块的模型结构进行稀疏化，所述第一蒸馏结果包括所述掩膜蒸馏结果；根据所述其他节点的初始任务模型对所述目标节点的初始任务模型分别进行基于目标蒸馏和基于特征蒸馏，得到目标蒸馏结果和特征蒸馏结果，其中，所述第一蒸馏结果包括所述目标蒸馏结果和所述特征蒸馏结果
。
[0011]可选地，所述根据所述全局通用模块和所述第一蒸馏结果，确定所述边缘节点中目标节点对应的模块更新参数，包括：在所述模块更新参数包括第一参数和第二参数的情况下，根据所述全局通用模块，生成所述第一参数，其中，所述第一参数用于更新所述目标节点中的初始通用模块；根据所述第一蒸馏结果，生成所述第二参数，其中，所述第二参数用于更新所述目标节点中的初始个性化模块
。
[0012]可选地，所述根据所述全局通用模块，生成所述第一参数，包括：在所述边缘节点的初始个性化模块包括初始参数掩膜的情况下，确定所述目标节点的初始节点模型对应的初始参数掩膜；根据所述目标节点的初始参数掩膜对所述全局通用模块进行模型结构稀疏化，得到所述第一参数
。
[0013]根据本专利技术实施例的一个方面，提供了一种模型更新方法，包括：将目标节点训练的初始节点模型的模型参数发送至云端服务器，其中，所述目标节点为边缘节点之一，所述边缘节点中部署各自训练的初始节点模型，所述初始节点模型包括：初始通用模块和初始个性化模块；接收所述云端服务器发送的与所述目标节点对应的模块更新参数，其中，所述模块更新参数由所述云端服务器根据全局通用模块和第一蒸馏结果确定，所述全局通用模块由所述云端服务器聚合所述边缘节点的初始通用模块后得到，所述第一蒸馏结果由所述云端服务器根据老师模型对所述目标节点的初始个性化模块进行知识蒸馏得到，所述老师模型包括所述边缘节点中除所述目标节点的其他节点中的初始个性化模块；根据所述模块更新参数更新所述目标节点的初始节点模型，生成目标节点模型
。
[0014]可选地，根据所述模块更新参数更新所述目标节点的初始节点模型，生成目标节点模型，包括：在所述模块更新参数包括第一参数和第二参数的情况下，根据所述第一参数，更新所述目标节点中的初始通用模块，生成目标通用模块，其中，所述第一参数由所述
云端服务器根据所述全局通用模块生成；根据所述第二参数，更新所述目标节点中的初始个性化模块，生成目标个性化模块，其中，所述第二参数由所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型更新方法，其特征在于，包括：接收边缘节点各自训练的初始节点模型的模型参数，其中，所述初始节点模型包括：初始通用模块和初始个性化模块；根据所述模型参数对所述初始节点模型进行聚合，生成全局模型，其中，所述全局模型包括全局通用模块，所述全局通用模块由所述初始通用模块聚合而成；根据老师模型对所述边缘节点中的目标节点的所述初始个性化模块进行知识蒸馏，生成第一蒸馏结果，其中，所述老师模型包括所述边缘节点中除所述目标节点的其他节点中的所述初始个性化模块；根据所述全局通用模块和所述第一蒸馏结果，确定所述边缘节点中目标节点对应的模块更新参数；将所述模块更新参数发送至所述目标节点，其中，所述模块更新参数用于更新所述目标节点中的初始节点模型
。2.
根据权利要求1所述的方法，其特征在于，所述根据老师模型对所述边缘节点中的目标节点的初始个性化模块进行知识蒸馏，生成第一蒸馏结果，包括：根据所述边缘节点中的初始节点模型的模型参数，确定所述其他节点中的初始节点模型各自与所述目标节点中的初始节点模型之间的相关度；将所述其他节点的初始节点模型中相关度大于预定阈值的初始节点模型加入老师模型集合；根据所述老师模型集合中的初始个性化模块对所述目标节点中的初始个性化模块进行知识蒸馏，生成所述第一蒸馏结果
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述边缘节点中的初始节点模型的模型参数，确定所述其他节点中的初始节点模型各自与所述目标节点中的初始节点模型之间的相关度，包括：根据所述其他节点中的初始节点模型的模型参数，生成与所述其他节点中的初始节点模型一一对应的第一云端节点模型；根据所述目标节点中的初始节点模型的模型参数，生成与所述目标节点中的初始节点模型对应的第二云端节点模型；将全局数据集输入所述第一云端节点模型，得到第一输出结果，以及将所述全局数据集输入所述第二云端节点模型，得到第二输出结果；根据所述第一输出结果与所述第二输出结果之间的相似程度，确定所述相关度
。4.
根据权利要求1所述的方法，其特征在于，所述根据老师模型对所述边缘节点中的目标节点的所述初始个性化模块进行知识蒸馏，生成第一蒸馏结果，包括：在所述边缘节点的初始个性化模块包括初始参数掩膜和初始任务模型的情况下，根据所述其他节点的初始参数掩膜对所述目标节点的初始参数掩膜进行掩膜蒸馏，得到掩膜蒸馏结果，其中，所述初始参数掩膜用于对所述初始节点模型中的初始通用模块的模型结构进行稀疏化，所述第一蒸馏结果包括所述掩膜蒸馏结果；根据所述其他节点的初始任务模型对所述目标节点的初始任务模型分别进行基于目标蒸馏和基于特征蒸馏，得到目标蒸馏结果和特征蒸馏结果，其中，所述第一蒸馏结果包括所述目标蒸馏结果和所述特征蒸馏结果
。
5.
根据权利要求1所述的方法，其特征在于，所述根据所述全局通用模块和所述第一蒸馏结果，确定所述边缘节点中目标节点对应的模块更新参数，包括：在所述模块更新参数包括第一参数和第二参数的情况下，根据所述全局通用模块，生成所述第一参数，其中，所述第一参数用于更新所述目标节点中的初始通用模块；根据所述第一蒸馏结果，生成所述第二参数，其中，所述第二参数用于更新所述目标节点中的初始个性化模块
。6.
根据权利要求5所述的方法，其特征在于，所述根据所述全局通用模块，生成所述第一参数，包括：在所述边缘节点的初始个性化模块包括初始参数掩膜的情况下，...

【专利技术属性】
技术研发人员：周晓茂，黄程远，胡玉姣，郭凯，马千飘，贾庆民，谢人超，
申请(专利权)人：网络通信与安全紫金山实验室，
类型：发明
国别省市：