一种基于轻量级学习的实时服务迁移方法技术

本发明专利技术公开了一种基于轻量级学习的实时服务迁移方法，构建了一个面向动态边缘网络的服务协同迁移框架，并构建了一个双目标优化问题以便同时优化服务性能和成本。针对该问题，提出了一种基于全局状态的离线专家策略，以提供最优结果作为专家轨迹。为了实现基于可观测状态的实时服务协作迁移，本发明专利技术基于模仿学习提出了一个轻量级的在线智能体策略来模仿专家轨迹，并利用元更新来加速模型迁移。实验性能结果表明，与其他代表性算法相比，本发明专利技术提出的方案能够显著提升迁移性能的同时降低训练成本，在不同的工作负载下，在服务时延、支付成本等多个指标上都具有明显优势。成本等多个指标上都具有明显优势。成本等多个指标上都具有明显优势。

【技术实现步骤摘要】
一种基于轻量级学习的实时服务迁移方法


[0001]本专利技术涉及动态边缘网络中实时服务的协作迁移方法，尤其涉及一种基于模仿学习的服务迁移算法和基于元学习的模型迁移加速算法。

技术介绍

[0002]增强型移动宽带已推动5G成为商业现实。随着向6G的过渡，智能设备的快速扩展和实时应用的爆炸式增长，催生了全息通信、数字孪生和增强现实等最先进的服务需求，产生了大量需要及时处理的数据，2028年全球移动流量将达到1ZB/月，相当于全球50亿用户每月花费200GB。迫切的计算能力要求是资源有限的边缘网络面临的重大挑战。当前设备功能不完善，导致实体业务的时效性要求受限与边缘资源受限。
[0003]更新或维护硬件的高昂费用限制了新型服务商业化的发展。为了保证实时服务的性能，资源(包含计算、通信和缓存)根据服务会话声明的要求进行预留。然而，服务执行需要多个边缘设备之间的异构资源，高度依赖于全球网络状态。由于信息被隔离在独立的设备上，边缘设备由于通信能力有限而无法观察全局状态。然而，与中央节点的频繁交互，例如基站或其他具有强大传感器的基础设施，加重了网络负担并威胁到私人信息。因此，一个基本问题是如何设计轻量级和分布式代理策略，以使设备能够实时做出最优决策的自主服务合作，尤其是对于动态边缘网络。研究该问题面临的挑战如下：
[0004]1.资源竞争在能量有限的移动设备中更加激烈。单一服务提供者不仅增加了租金负担，而且降低了资源利用效率。因此，如何调度服务并组合管理异构资源以优化服务请求者的体验质量值得研究。
[0005]2.用户在现实世界中是自私和理性的，在出租资源方面有不同的意愿。因此，有必要设计一种有效的定价机制来激励设备并通过在稳定但有竞争力的基础设施资源和分散但可用的设备资源之间做出令人满意的权衡来向请求者提供服务。
[0006]3.学习算法所产生的训练成本、通信负载和收敛速度导致时敏服务质量急剧下降。为分布式决策设计一个支持在线的轻量级学习策略是相当具有挑战性的。

技术实现思路

[0007]本专利技术旨在设计一种高效的异构资源集成方案提供实时服务的优化服务性能和服务成本，本专利技术建立了一个支持实时服务协作迁移的动态边缘系统，。为了最小化服务执行的时延和支付，本专利技术设计了一种轻量级连续模仿的服务协作迁移算法，提出了一种基于匹配的离线专家策略，并用于为智能体提供专家策略，基于获得的专家数据集，利用模仿学习通过最小化状态
‑
动作对分布的误差来设计分布式智能体策略以拟合专家策略。该方法摆脱了传统算法的高学习负载和降低了学习成本，并利用元更新来加速模型训练以实现轻量级连续模仿。
[0008]主要
技术实现思路
总结如下：
[0009]1.本专利技术构建了基于资源组合优化的智能服务合作迁移框架，并提出了能够反映
服务合作意愿的定价机制。该问题被表述为一个双目标优化问题，以最小化执行时延和支付，并将双目标问题分解为选择执行设备并通过分析最优执行时延来确定最优迁移率。
[0010]2.本专利技术提出了一种基于模仿学习的在线服务合作迁移策略(imitation Learning
‑
based Online Service cooperative migration policy，下文简称LOS)。并提出了一种离线专家策略得到最优匹配结果来为智能体生成专家轨迹数据集。
[0011]3.本专利技术提出了一个轻量级的在线智能体策略，通过模仿获得的专家轨迹数据集在线决策。为了克服专家数据集的陈旧性，本专利技术应用元学习来加速迁移模型以更新代理策略，以减少模型持续训练的工作量。
[0012]鉴于此，本专利技术采用的技术方案是：一种基于轻量级学习的实时服务迁移方法，包括以下步骤：
[0013]1)构建动态边缘网络模型；根据基础设施的通信能力划分区域，一个区域包含服务提供者和服务请求者，设定服务迁移在离散的时隙中执行，用户终端在用作服务请求者的同时也可以用作服务提供者，服务请求者生成的服务设定为可以部分迁移到其他设备上执行，服务的迁移执行过程分为输入、执行和输出三个步，服务请求者将迁移的部分分解为本地执行和迁移执行两个部分并行执行，以分散工作负载来提高工作效率降低成本。
[0014]2)分解服务迁移问题；将服务时延和迁移支付费用分别作为服务协作迁移性能和成本的指标，构建双目标优化问题。
[0015]3)基础设施基于观测到的全局状态做出最优匹配策略。
[0016]4)将专家数据集传给智能体以供智能体基于模仿学习训练智能体策略。
[0017]5)智能体基于专家数据集训练智能体策略，并基于元学习策略，加速更新模型过程，从而摆脱传统神经网络的学习成本降低传统学习负载，设定d个时隙为一个更新周期，每个更新周期将更新专家轨迹数据集并将其提供给分布式智能体以学习，每个设备都需要根据可观察到的信息独立学习策略并独立更新策略，以确保策略的准确性。
[0018]本专利技术的优点及有益效果如下：
[0019]1.本专利技术构建了基于资源组合优化的智能服务合作迁移框架，通过组合优化异构资源达到了资源的充分利用。而后提出了能够反映服务合作意愿的定价机制，通过价格能够反映出服务提供者的状态。该问题被表述为一个双目标优化问题，以最小化执行时延和支付，从而同时优化执行性能和成本，并将双目标问题分解为选择执行设备并通过分析最优执行时延来确定最优迁移率。
[0020]2.本专利技术提出了一种基于模仿学习的在线服务合作迁移策略。并提出了一种离线专家策略得到最优匹配结果来为智能体生成专家轨迹数据集，该策略能够通过匹配的方式得到最优的迁移结果以供智能体训练本地模型。
[0021]3.本专利技术提出了一个轻量级的在线智能体策略，通过模仿获得的专家轨迹数据集在线决策。为了克服专家数据集的陈旧性，本专利技术应用元学习来加速迁移模型以更新代理策略，以减少模型持续训练的工作量。能够通过保留部分先验知识并记录迁移过程来以较低负载更新智能体策略，使智能体以很低的工作负载更新训练模型，加速更新过程，使智能体在实际执行过程中更高效。
附图说明
[0022]图1为动态网络中服务迁移的说明性系统模型图；
[0023]图2为服务迁移说明图；
[0024]图3为耗能百分比、可用CPU频率和租金的变化示意图；
[0025]图4为不同更新轮次下本专利技术提出的算法和其他代表性算法的准确率性能图；
[0026]图5为不同更新轮次下本专利技术提出的算法和其他代表性算法的执行时间性能图；
[0027]图6为低工作负载下本专利技术提出的算法和其他代表性算法的迁移率分布图；
[0028]图7为高工作负载下本专利技术提出的算法和其他代表性算法的迁移率分布图；
[0029]图8为低工作负载下本专利技术提出的算法和其他代表性算法的可达服务质量分布图；
[0030]图9为高工作负载下本专利技术提出的算法和其他代表性算法的可达服务质量分布图；
[0031]图10为低工作负载下服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级学习的实时服务迁移方法，其特征在于，包括以下步骤：1)构建动态边缘网络模型；根据基础设施的通信能力划分区域，一个区域包含服务提供者和服务请求者，设定服务迁移在离散的时隙中执行，用户终端在用作服务请求者的同时也可以用作服务提供者，服务请求者生成的服务设定为可以部分迁移到其他设备上执行，服务的迁移执行过程分为输入、执行和输出三个步，服务请求者将迁移的部分分解为本地执行和迁移执行两个部分并行执行，以分散工作负载来提高工作效率降低成本；2)分解服务迁移问题；将服务时延和迁移支付费用分别作为服务协作迁移性能和成本的指标，构建双目标优化问题；3)基础设施基于观测到的全局状态做出最优匹配策略；4)将专家数据集传给智能体以供智能体基于模仿学习训练智能体策略；5)智能体基于专家数据集训练智能体策略，并基于元学习策略，加速更新模型过程，从而摆脱传统神经网络的学习成本降低传统学习负载，设定d个时隙为一个更新周期，每个更新周期将更新专家轨迹数据集并将其提供给分布式智能体以学习，每个设备都需要根据可观察到的信息独立学习策略并独立更新策略，以确保策略的准确性。2.根据权利要求1所述一种基于轻量级学习的实时服务迁移方法，其特征在于：步骤1)具体包括构建服务时延和迁移支付费用；1.1所述服务时延为，其中为本地执行时延，为迁移执行时延；为迁移执行时延；为本地计算时延，为本地获取数据包时延；所述迁移执行时延为，其中为两设备的通信时延，为设备的计算时延，为服务所需数据包的获取时延；1.2所述迁移支付费用计算过程如下：计算资源的租用单价随状态D
j
(t)变化，其定义为：其中参数κ代表价格系数，用于调整可用计算能力和剩余能量对单位租金的影响；租金函数计算方式如下：其中R
comp
(t)为基础设施可用计算资源，1表示剩余可用能量始终充足，κ为价格因子，因
此，相应的能耗计算为其中γ
i
(t)为服务S
i
(t)的迁移率，为本地计算时延，e
comp
为计算单位耗能百分比，为本地下载时延，e
down
为下载单位耗能百分比，为通信时延，e
comm
为通信单位耗能百分比。3.根据权利要求1所述一种基于轻量级学习的实时服务迁移方法，其特征在于：步骤2)所述优化问题P1为P1：P1：其中表示执行时隙长度，α
ij
(t)表示服务迁移设备决策变量，β
ijh
(t)表示服务数据包获取决策变量，γ
i
(t)为服务迁移率决策变量，T
i
(t)为设备执行时隙，P
i
(t)为资源租赁费用，S为待执行的服务请求总数，P1约束于用，S为待执行的服务请求总数，P1约束于用，S为待执行的服务请求总数，P1约束于用，S为待执行的服务请求总数，P1约束于用，S为待执行的服务请求总数，P1约束于C6：γ
i
(t)∈[0，1]，约束C1确保服务的执行时延不能超过其可容忍的时延，以保证用户的体验质量，其中T
i
(t)为服务执行时延，为K
i
类服务的可容忍时延；约束C2保证每个服务的迁移部分都需要在可通信的时间内完成，其中为服务迁移执行时延，为两设备间可通信时延；约束C3确保每个服务提供者不应耗尽其剩余能量，以防止因能量耗尽导致服务
中断，其中为设备剩余能量，为执行能耗，D
i
(t)和分别表示设备和设备集合；C4限定了设备与基础设施的通信能力上限，α
ij
(t)为设备迁移决策变量，R
ch
(t)为信道数量上限；约束C5约束了二元决策变量取值，α
ij
(t)和β
ijh
(t)分别为设备迁移和服务数据包获取方式的决策变量，n
t
为设备总数；C6说明了服务迁移率γ
i
(t)的取值范围，约束C7说明当迁移率γ
i
(t)＝0时，没有服务提供者提供协作时，即务提供者提供协作时，即4.根据权利要求1或3所述一种基于轻量级学习的实时服务迁移方法，其特征在于：步骤3)所述最优匹配策略将优化问题P1分解为两个子问题P4和P5如下：P4：受C3
‑
C5约束；P5：受C1，C2，C7约束。5.根据权利要求4所述一种基于轻量级学习的实时服务迁移方法，其特征在于：所述步骤4)具体包括：步骤4.1)：在一个更新轮次内的每个时隙初，首先初始化设备的匹配次数D
j
(t).visit和服务的匹配次数S
i
(t).visit为0，其中而后初始化每个设备的偏好值为0，即并初始化调整参数为∞；步骤4.2)：对于每个服务请求，首先获取在每个迁移设备上执行的最优迁移率，根据得到的匹配决策α
ij
(t)和β
ijh
(t)，迁移率的下限...

【专利技术属性】
技术研发人员：陈晗頔，王小洁，宁兆龙，亓伟敬，宋清洋，郭磊，陈博宇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：