一种基于Cross-FCL的跨环境动态自适应联邦持续学习方法技术

本发明专利技术涉及一种基于Cross

【技术实现步骤摘要】
一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法


[0001]本专利技术涉及移动边缘联邦学习及持续学习领域，尤其涉及一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法。

技术介绍

[0002]联邦学习(Federated Learning,FL)是一种隐私保护式的分布式学习框架，其中每个设备利用其本地数据训练服务器分发的全局模型，服务器聚合参与设备训练后的模型参数获得全局模型。联邦学习可以在满足用户对隐私安全的需求的同时集合不同参与设备的计算能力，构建一个比本地模型更强大的全局模型。
[0003]由于传统云计算方法存在隐私泄露、高通信成本等问题，移动边缘计算(Mobile Edge Computing，MEC)应运而生，其利用终端设备和边缘服务器的计算与存储能力，使模型训练和推理过程更接近数据源头。在智能物联网时代，联邦学习与移动边缘计算结合，可以形成全新的联邦学习架构，即移动边缘联邦学习(Mobile Edge Federated Learning)架构。
[0004]在移动边缘联邦学习架构下，泛在计算环境中存在多个移动边缘网络，每个移动边缘网络中的物联网设备与边缘服务器相连，构成一个联邦学习环境。一般的联邦学习设置中，设备在固定网络中参与联邦训练，但移动边缘网络的特性是其网络连接动态性，也就是连接节点/设备的可移动性，例如无人驾驶汽车在不同城市间移动、工业机器人切换服务车间。很多时候，不同边缘网络场景存在任务以及数据分布等方面的差异，例如不同城市有不同风格的建筑、不同制造车间的光线与布局不同。因此设备在切换边缘网络后如何快速适应新环境而保持其对旧环境知识的记忆成为一个重要的挑战。尽管当前存在一些结合联邦学习与移动边缘计算的研究，但现有工作均未考虑终端设备的跨环境持续学习问题。

技术实现思路

[0005]要解决的技术问题
[0006]为了解决动态设备模型自适应持续学习的问题，聚焦移动边缘联邦学习场景下的动态设备持续学习与快速适应问题，提升移动终端设备模型的持续学习与动态演化能力，本专利技术提供一种基于Cross
‑
FCL(Cross
‑
environment Federated Continual Learning)算法的跨环境动态自适应联邦持续学习方法。通过自适应调整模型重要参数的更新以提升模型的记忆力，通过双层模型结构训练以及层替换方法实现模型对新环境的快速适应，促进跨环境间的信息交流与知识融合。
[0007]技术方案
[0008]一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法，其特征在于所述方法采用跨环境联邦学习框架：所述跨环境联邦学习框架是指动态设备在多个地理位置相近的边缘联邦学习网络中切换环境及参与训练的过程；在所述跨环境联邦学习框架下，使用双层模型结构训练以及层替换方法实现模型对新环境的快速适应，利用旧环境先验知识调
整模型对重要参数的更新。
[0009]本专利技术进一步的技术方案：所述跨环境联邦学习框架的具体过程为：
[0010]S1：动态设备在当前联邦环境中参与本地训练
‑
聚合
‑
模型更新的联邦学习过程；
[0011]S2：设备在t时刻监测到当前环境状态切换，移除与旧环境联邦服务器的连接，与新环境的联邦服务器建立连接；
[0012]S3：设备在参与训练前对当前设备进行记忆性增强与/或适应性增强处理；
[0013]S4：设备在新环境中再次参与联邦学习过程，回到步骤S1重新开始执行。
[0014]本专利技术进一步的技术方案：所述跨环境联邦学习框架包括联邦服务器执行和联邦参与设备j执行两方面。
[0015]本专利技术进一步的技术方案：所述联邦服务器执行的步骤为：
[0016]SS11：随机初始化环境信息层参数从每个参与设备j∈{1,...,N}接收其样本数n
j
，并计算本地训练样本所占全体样本的比例
[0017]SS12：向每个参与者发送
[0018]SS13：从每个参与设备j∈{1,...,N}接收聚合参数向每个参与者发送再次回到SS12。
[0019]本专利技术进一步的技术方案：所述联邦参与设备j执行的具体步骤为：
[0020]SS21：判断是否为该设备所在的第一个环境。如果是，则随机初始化自适应知识融合层参数否则计算当前设备在上一个环境中的模型参数重要性F
i
及模型参数并接收环境信息层全局模型替换设备环境信息层参数并进行记忆性增强的持续学习训练；
[0021][0022][0023]SS22：向服务器发送样本数n
j
；
[0024]SS23：从服务器接收并根据以下公式进行模型参数的更新；
[0025][0026]其中EWC_SGD根据以下损失函数实现，m为样本数，λ为可控系数；
[0027][0028][0029]SS24：发送至服务器，回到SS22。
[0030]一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用
于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
[0031]一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0032]有益效果
[0033]本专利技术提供的一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法，所述方法采用跨环境联邦学习框架：所述跨环境联邦学习框架是指动态设备在多个地理位置相近的边缘联邦学习网络中切换环境及参与训练的过程；在所述跨环境联邦学习框架下，使用双层模型结构训练以及层替换方法实现模型对新环境的快速适应，利用旧环境先验知识调整模型对重要参数的更新。
[0034]本专利技术提出的Cross
‑
FCL(Cross
‑
environment Federated Continual Learning)算法，通过自适应调整模型重要参数的更新以提升模型的记忆力，通过双层模型结构训练以及层替换方法实现模型对新环境的快速适应；通过这种方法，模型的记忆性及适应性都得到了提升。
附图说明
[0035]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0036]图1为本专利技术一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法框架图；
[0037]图2为本专利技术一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法的Cross
‑
FCL模型。
具体实施方式
[0038]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法，其特征在于所述方法采用跨环境联邦学习框架：所述跨环境联邦学习框架是指动态设备在多个地理位置相近的边缘联邦学习网络中切换环境及参与训练的过程；在所述跨环境联邦学习框架下，使用双层模型结构训练以及层替换方法实现模型对新环境的快速适应，利用旧环境先验知识调整模型对重要参数的更新。2.根据权利要求1所述的一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法，其特征在于：所述跨环境联邦学习框架的具体过程为：S1：动态设备在当前联邦环境中参与本地训练
‑
聚合
‑
模型更新的联邦学习过程；S2：设备在t时刻监测到当前环境状态切换，移除与旧环境联邦服务器的连接，与新环境的联邦服务器建立连接；S3：设备在参与训练前对当前设备进行记忆性增强与/或适应性增强处理；S4：设备在新环境中再次参与联邦学习过程，回到步骤S1重新开始执行。3.根据权利要求2所述的一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法，其特征在于：所述跨环境联邦学习框架包括联邦服务器执行和联邦参与设备j执行两方面。4.根据权利要求3所述的一种基于Cross
‑
FCL的跨环境动态自适应联邦持续学习方法，其特征在于：所述联邦服务器执行的步骤为：SS11：随机...

【专利技术属性】
技术研发人员：郭斌，张周阳子，刘思聪，於志文，纪雯，孙文，邱晨，梁韵基，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：