基于半分布式多目标强化学习算法的服务迁移方法及系统技术方案

技术编号:43564309 阅读:35 留言:0更新日期:2024-12-06 17:35
本申请提出了基于半分布式多目标强化学习的服务迁移方法,旨在优化车联网中的系统时延和能耗。构建了一个包含微基站和宏基站的三层IVEC系统,辆在微基站区域内行驶,宏基站作为信息收集与控制中心。针对车载应用偏好未知的问题,采用权重向量转化优化问题,并使用hypervolume度量来评估近似帕累托前沿的质量。同时,引入了一个多目标马尔可夫决策过程框架,研究帕累托最优解以代表多目标服务迁移策略性能。该方法有效降低了系统时延和能量消耗,适应了IVEC网络环境中的动态性和不确定性,显著提高了车联网中的服务质量和用户体验。

【技术实现步骤摘要】

本专利技术涉及服务迁移,具体为基于半分布式多目标强化学习算法的服务迁移方法及系统


技术介绍

1、移动边缘计算(mec)架构的提出使mec与车联网(iov)迅速融合形成了智能车联边缘计算(ivec)网络。增强了车辆智能终端的计算和存储能力,以满足各种车辆应用的需求。然而,将车联网与边缘计算结合也带来了新的挑战。首先,辅助边缘服务器虽然提供计算资源,但其有限的计算能力导致处理复杂任务时仍需要较长时间。其次,边缘计算服务器通常配置在基站中,与基站一起构成路侧服务单元(rsu),但基站覆盖范围有限。在道路中快速移动的智能车辆,其请求的任务尚未计算结束,该车辆可能已离开该基站覆盖路段。如果此时车辆继续与之前的服务器通信则需要多跳投递,这将带来较大的时延和能耗。因此,需要利用服务迁移技术,根据车辆的移动性动态迁移服务实例,以更好地保障服务质量。

2、现有一些工作采用一个中央控制器进行服务迁移决策。但是在动态的ivec网络中,收集完整的系统级信息可能是困难且耗时的。这影响了服务迁移在车联网场景中的实际性能。也有一些研究采用分布式控制算法进行服务迁移决策,将本文档来自技高网...

【技术保护点】

1.基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述状态空间S中,车辆信息向量由六元组定义:

3.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述奖励函数R包含能量消耗奖励和延迟奖励,能量消耗奖励rE和延迟奖励rT分别表示为:

4.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述系统总奖励Rw为:

5.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方...

【技术特征摘要】

1.基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述状态空间s中,车辆信息向量由六元组定义:

3.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述奖励函数r包含能量消耗奖励和延迟奖励,能量消耗奖励re和延迟奖励rt分别表示为:

4.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述系统总奖励rw为:

5.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述actor网络通过以下目标函数进行更新:

6.根据权利要求1所述的基于半分布式多目标强化学习算法的服务迁移方法,其特征在于,所述critic网络的目标函数定义为预测值与实际...

【专利技术属性】
技术研发人员:卢佳琪胡曦
申请(专利权)人:东北大学秦皇岛分校
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1