基于多智能体强化学习的车联网雾计算分层任务卸载方法技术

本发明专利技术提出了一种基于多智能体强化学习的车联网雾计算分层任务卸载方法，其主要内容包括：在服务区域内部构建车对车的计算任务卸载架构、不同的区域之间形成协作组进行计算资源共享、服务车辆对计算资源信息的收集与广播、区域内分布式车辆任务卸载决策，车辆根据自身信息与接收到的资源信息应用多智能体深度强化学习算法协作实现最大化全局收益。同时本发明专利技术给出了基于聚类的分层雾计算框架和多智能体深度强化学习算法，车辆在满足自身意愿前提下加入服务区域共享自身资源或者卸载任务，多个服务区域之间共享空闲资源，有效地提升广域车联网的任务完成率和计算能力。升广域车联网的任务完成率和计算能力。升广域车联网的任务完成率和计算能力。

【技术实现步骤摘要】
基于多智能体强化学习的车联网雾计算分层任务卸载方法


[0001]本专利技术属于计算机
，具体涉及一种基于多智能体强化学习的车联网雾计算分层任务卸载方法。

技术介绍

[0002]车联网的发展衍生了许多车载计算密集型应用，如车道检测、碰撞避免和轨迹重建。这些应用程序的执行需要大量的计算资源，这使得仅凭车载计算机很难提供高质量的服务。一种可能的解决方案是将云计算应用于车辆网络。云服务器具有足够的计算和存储能力，可以为车辆提供任务卸载服务。然而，由于车辆和远程云服务器之间的距离很远，将任务卸载到云服务器很难确保车载应用的服务质量(Quality ofService，QoS)和体验质量(Quality of Experience，QoE)要求。为了满足这些应用的低时延要求，可以将移动边缘计算(Mobile Edge Computing，MEC)引入到车辆网络中。在MEC中，路边单元(Road Side Unit，RSU)服务器配备有计算和通信资源，可以按需为车载应用提供任务卸载服务。但是这些边缘服务器的通信和计算资源有限，作为执行单元的RSU不能在满足QoS要求的同时处理所有车载应用的任务。
[0003]随着智能车辆的发展，车联网雾计算(Vehicular Fog Computing，VFC)成为一种应用前景很高的架构。在该架构中，每个RSU覆盖的范围看作一个服务区，服务区内的车辆与其他车辆共享其空闲计算资源。借助车对车(V2V)通信，车辆的低时延计算任务可以直接卸载到相邻车辆，从而进一步减少传输延迟。在VFC架构下关于任务卸载的处理方法有很多种，有一种思路是将VFC环境精确建模并采用优化算法进行任务决策，这种思路假设车辆环境的动力学以及任务的生成环境可以精确建模，在保证QoS与QoE的前提下，平衡最小化任务延迟与最小化能源消耗，集中式决策任务的卸载目标，详情可以参见M.Adhikari等人所著的“Application offloading strategy for hierarchical fog environment through swarm optimization,”IEEE Internet ofThings Journal,vol.7,no.5,pp.4317
–
4328,2020，和I.Sarkar等人所著的“An infrastructure
‑
assisted workload scheduling for computational resources exploitation in the fog
‑
enabled vehicular network,”IEEE Internet ofThings Journal,vol.7,no.6,pp.5021
–
5032,2020。然而，车辆环境的动力学可以精确建模的假设在VFC中通常是不切实际的。最近，另一种思路应用了在动态环境中表现良好的强化学习来解决VFC中的计算资源分配问题。由于任务卸载取决于动态车辆环境的状态，可以将任务卸载问题表述为马尔可夫决策过程(MDP)，根据指定的任务卸载评估指标，采用强化学习或者动态规划法求解最优决策。详情可以参见J.Shi等人所著的“Priority
‑
aware task offloading in vehicular fog computing based on deep reinforcement learning,”IEEE Transactions on Vehicular Technology,vol.69,no.12,pp.16067
–
16081,2020，与C.Zhang等人所著的“Taskmigration for mobile edge computing using deep reinforcement learning,”Future Generation Computer Systems,vol.96,no.JUL.,pp.111
–
118,2019。
[0004]上述研究中的任务卸载策略在单个服务区域有很好的效果。然而，在多智能体深度强化学习环境下，由于车联网空间拓扑的动态特性与车辆任务生成的时域非线性特征，导致一些服务区具有丰富的计算资源，而其他服务区的资源相对匮乏。上述计算资源与计算任务分布的不平衡特性不可避免地导致一些服务区域中的大量资源被浪费，而其他区域中的许多计算任务的QoS与QoE无法得到保证。因此设计一个跨区域资源共享的网络架构至关重要，它可以有效地分配区域性资源并提高全局效率。此外，在车联网雾计算架构下，对于任务卸载策略，当前的大多数研究所采用的集中式模型没有足够的可扩展性，并且占用了路边单元服务器上大量计算和通信资源。当车辆数量急剧增加时，资源访问冲突和任务卸载问题的复杂性显著增加，这大大影响了车联网的传输效率。

技术实现思路

[0005]本专利技术的目的在于针对广域车联网雾计算环境，构建一种充分利用区域间空闲计算资源来提升部分资源匮乏区域的任务完成率的跨区域架构，在此架构基础上，设计一种优化问题复杂度低并占用路边单元资源较少的分布式任务卸载策略。
[0006]为实现上述目的，本专利技术提供一种基于多智能体强化学习的车联网雾计算分层任务卸载方法，该方法包括：S1、基于车辆信息和RSU位置构建拓扑结构图，并对所述拓扑结构图中每一个节点进行初始化，根据聚类算法生成服务区域：S2、根据所述RSU的位置信息及相应的服务区域内部的资源与负载信息，生成RSU协作组；S3、当任务车辆生成任务卸载请求时，执行区域内任务卸载；S4、完成任务卸载对应的计算；S5、车辆按自身的速度行驶。
[0007]在一些示例性的实施例中，所述S1具体包括：每个RSU作为一个服务区域的中心节点，创建自己的服务区域；每个车辆根据自己的速度、方向及位置信息选择最优的RSU，加入所述RSU对应的服务区域；每个车辆向RSU上传自己的车辆属性；其中，车辆属性包括任务车辆或者服务车辆。
[0008]在一些示例性的实施例中，还包括：考虑到车辆的移动性，每个车辆每经过一段时间需要更新服务区域。
[0009]在一些示例性的实施例中，所述S2具体包括：所述RSU统计自身的资源与负载信息，评估自身的资源需求信息；基于资源与任务尽量分布均衡以及邻近的原则，将多个服务区域划分为协作组；每个所述RSU协作组内的资源富余区域共享空闲计算资源给资源匮乏区域。
[0010]在一些示例性的实施例中，所述S3具体包括：在每个时隙开始时，当任务车辆生成任务卸载请求时，它在以下条件之一响应任务卸载请求：对于资源富余区域内部，任务车辆执行任务卸载决策；其中，由于当前服务区域资源充足，因此不需要外部资源；对于资源富余区域，RSU统计所有车辆卸载完成后的空闲资源，将所述空闲资源共享给所述协作组内资源匮乏区域的RSU，并由所述协作组内资源匮乏区域的RSU完成任务分配；对于资源匮乏区域，RSU将当前区域内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多智能体强化学习的车联网雾计算分层任务卸载方法，其特征在于，该方法包括：S1、基于车辆信息和RSU位置构建拓扑结构图，并对所述拓扑结构图中每一个节点进行初始化，根据聚类算法生成服务区域：S2、根据所述RSU的位置信息及相应的服务区域内部的资源与负载信息，生成RSU协作组；S3、当任务车辆生成任务卸载请求时，执行区域内任务卸载；S4、完成任务卸载对应的计算；S5、车辆按自身的速度行驶。2.根据权利要求1所述的基于多智能体强化学习的车联网雾计算分层任务卸载方法，其特征在于，所述S1具体包括：每个RSU作为一个服务区域的中心节点，创建自己的服务区域；每个车辆根据自己的速度、方向及位置信息选择最优的RSU，加入所述RSU对应的服务区域；每个车辆向RSU上传自己的车辆属性；其中，车辆属性包括任务车辆或者服务车辆。3.根据权利要求2所述的基于多智能体强化学习的车联网雾计算分层任务卸载方法，其特征在于，还包括：考虑到车辆的移动性，每个车辆每经过一段时间需要更新服务区域。4.根据权利要求1所述的基于多智能体强化学习的车联网雾计算分层任务卸载方法，其特征在于，所述S2具体包括：所述RSU统计自身的资源与负载信息，评估自身的资源需求信息；基于资源与任务尽量分布均衡以及邻近的原则，将多个服务区域划分为协作组；每个所述RSU协作组内的资源富余区域共享空闲计算资源给资源匮乏区域。5.根据权利要求1所述的基于多智能体强化学习的车联网雾计算分层任务卸载方法，其特征在于，所述S3具体包括：在每个时隙开始时，当任务车辆生成任务卸载请求时，它在以下条件之一响应任务卸载请求：对于资源富余区域内部，任务车辆执行任务卸载决策；其中，由于当前服务区域资源充足，因此不需要外部资源；对于资源富余区域，RSU统计所有车辆卸载完成后的空闲资源，将所述空闲资源共享给所述协作组内资源匮乏区域的RSU，并由所述协作...

【专利技术属性】
技术研发人员：张荣庆，侯钰凯，魏智伟，李冰，
申请(专利权)人：同济大学，
类型：发明
国别省市：