一种基于多智能体强化学习的车辆协作雾计算系统技术方案

本发明专利技术公开一种基于多智能体深度强化学习的车辆协作计算系统。该系统包括远程服务器所处的云层、本地雾服务器所处的小云朵层以及车辆所处的雾层。在该系统中，本地雾服务器的区域内部构建车对车的计算资源购买架构、不同的车辆间形成联盟进行协同计算和信息传输、联盟与本地雾服务器间进行任务交付与信息传输、本地雾服务器根据区域内部的计算资源供需进行资源定价与资源买卖、车辆根据激励机制和自身状态应用多智能体深度强化学习算法最大化自身收益来采取资源买卖策略。利用本发明专利技术，车辆在满足自身意愿前提下以较低的复杂度在不同路况环境形成稳定的协作联盟进行计算资源共享和任务卸载，有效提升了边缘雾节点的任务完成率和计算能力。完成率和计算能力。完成率和计算能力。

【技术实现步骤摘要】
一种基于多智能体强化学习的车辆协作雾计算系统


[0001]本专利技术涉及车辆协同计算
，更具体地，涉及一种基于多智能体强化学习的车辆协作雾计算系统。

技术介绍

[0002]近年来，随着智能交通系统和智慧城市概念的提出和发展，车联网受到越来越广泛的关注和研究。伴随智能车辆的数目逐渐攀升，车载单元(OBU)对计算任务的需求也在不断增加。移动应用诸如虚拟现实(VR)、增强现实(AR)、自动驾驶以及各种车载娱乐项目对计算量和计算实时性的要求进一步上升，车辆自身的计算能力已经无法满足需求，而将计算任务卸载至远程服务器处理的传输时延又过于昂贵，不能满足一些对实时性要求高的服务(如自动驾驶)。因此，为了解决这一问题，车辆雾计算(VFC)的概念应运而生。
[0003]雾计算的目标是将远端的计算存储能力带到系统的边缘。VFC的架构主要包括三个层次：远程服务器和数据中心所处的云层(Cloud Layer)，本地雾服务器(LFS)所处的小云朵层(Cloudlet Layer)，以及车辆所处的雾层(Fog Layer)。本地雾服务器的作用是调度车辆产生的计算任务，决定将其传输至远程服务器或是在雾层解决。本地雾服务器在地理位置上分布较广，如路边中心单元(RSU)、基站(BS)等，其有效覆盖区域可被视作服务区(Service Zone)，多个服务区可以覆盖一个城市。在VFC架构下，车辆产生任务的同时也是服务的提供者，被视作一种计算和通讯的基础设施。其中车与车(V2V)以及车与设施(V2I)之间通过专用短程通信技术(DSRC)进行交流。在整个计算任务处理的过程中，最关键的问题在于“谁来计算任务”。车辆生成任务后，由LFS对计算任务进行调度，决定是将其卸载(offload)到远端服务器、在本地服务区内交给车辆解决，或是传输给邻近服务区的LFS处理。
[0004]在现有技术中，对于任务调度问题的处理主要有两种思路：一是将整个调度任务看作一个优化问题，总目标是在保证用户服务体验(QoE)和服务质量(QoS)的前提下，最小化任务时延或能源消耗，将任务分配给指定车辆，例如，X.Wang等所著的“Offloading in Internet of Vehicles:AFog
‑
Enabled Real
‑
Time Traffic Management System”(IEEE Transactions on Industrial Informatics,vol.14,no.10,pp.4568
‑
4578,Oct.2018)；二是对车辆用户进行激励措施，包括合同机制、市场化货币机制等，鼓励车辆分享自身的计算和存储资源，从而增加系统整体的资源量，参见Z.Zhou等所著的“Computation Resource Allocation and Task Assignment Optimization in Vehicular Fog Computing:A Contract
‑
Matching Approach”(IEEE Transactions on Vehicular Technology,vol.68,no.4,pp.3113
‑
3125,April2019)和R.Zhang等所著的“Blockchain
‑
Incentivized D2D and Mobile Edge Caching:A Deep Reinforcement Learning Approach”(IEEE Network,vol.34,no.4,pp.150
‑
157,July/August 2020)。
[0005]然而，在现有VFC架构下的协同计算方案中，不论是从整体优化角度还是从激励机制的角度，通常都将车辆视作一种可以调度的资源而非具有利益诉求的自私节点，忽视了
车辆自主调整结构以提升系统效率的潜能。由于任务调度的最优化问题是NP(非确定性多项式)问题，随着智能车辆数量进一步增多，调度优化问题的复杂度会继续增加。因此，需要提供切实可行的方案，以协同考虑车辆间计算服务和计算任务的分配问题。

技术实现思路

[0006]本专利技术的目的是克服上述现有技术的缺陷，针对车辆雾计算架构，设计一种满足车辆自主计算服务意愿的多车协同计算方案，从而有效提升多车协同的计算效率，充分调度车辆间的服务意愿与资源利用率，以分布式方法有效提升区域内部计算任务的吞吐量。
[0007]本专利技术的技术方案是：提供一种基于多智能体强化学习的车辆协作雾计算系统，该系统包括远程服务器所位于的云层、本地雾服务器所位于的小云朵层以及车辆节点所位于的雾层，其中：本地雾服务器作为资源零售商给出面向服务区内部的单位计算资源买卖价格，并控制进行服务区内部任务分配以及跨服务区的任务转接；车辆节点根据本地雾服务器公布的范围内的车辆信息形成协作联盟，在协作联盟内部进行计算资源的交易和计算任务卸载；各协作联盟的首领车辆向本地雾服务器反馈联盟的状态信息，并由本地雾服务器广播至服务区域内所有车辆，辅助车辆节点进行交易行为决策；协作联盟内部车辆通过中间市场价格定价机制达成一致的联盟内单位计算资源买卖成交价格，基于所达成的价格进行计算资源买卖；并针对协作联盟内过剩的计算资源供应或请求，面向本地雾服务器进行计算资源的买卖。
[0008]与现有技术相比，本专利技术的优点在于，提供在车辆雾计算架构下的基于多智能体深度强化学习的车辆协作计算系统，为了满足车辆自主服务意愿，同时为了鼓励车辆进行车对车计算任务卸载与计算资源共享，基于协作联盟与协作定价机制设计了P2P计算资源交易架构，允许区域内部车辆根据自身意愿进行计算资源交易，进而实现边缘计算任务服务的匹配。进一步地，为了挖掘车辆潜在计算能力和协作效率，设计多智能体深度强化学习算法，允许每辆车在连续时间片内协作学习交易买卖策略，从而有效地提升本地车联网对任务的计算效率，避免传输任务至远程服务器端，从而降低了服务时延和传输开销。
[0009]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0010]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0011]图1是根据本专利技术一个实施例的车辆雾计算架构示意图；
[0012]图2是根据本专利技术一个实施例的车辆雾计算架构下P2P计算资源交易架构示意图；
[0013]图3是根据本专利技术一个实施例的基于多智能体强化学习的车辆协作雾计算的架构示意图；
[0014]图4是根据本专利技术一个实施例的某智能体在仿真情况下所获得的平均奖励仿真图；
[0015]图5是根据本专利技术一个实施例的不同算法在训练模型过程中平均获得的奖励仿真图；
[0016]图6是根据本专利技术一个实施例的多智能体强化学习算法在不同货币敏感度情况下的奖励示意图；
[0017]图7是根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体强化学习的车辆协作雾计算系统，该系统包括远程服务器所位于的云层、本地雾服务器所位于的小云朵层以及车辆节点所位于的雾层，其特征在于：本地雾服务器作为资源零售商给出面向服务区内部的单位计算资源买卖价格，并控制进行服务区内部任务分配以及跨服务区的任务转接；车辆节点根据本地雾服务器公布的范围内的车辆信息形成协作联盟，在协作联盟内部进行计算资源的交易和计算任务卸载；各协作联盟的首领车辆向本地雾服务器反馈联盟的状态信息，并由本地雾服务器广播至服务区域内所有车辆，辅助车辆节点进行交易行为决策；协作联盟内部车辆通过中间市场价格定价机制达成一致的联盟内单位计算资源买卖成交价格，基于所达成的价格进行计算资源买卖；并针对协作联盟内过剩的计算资源供应或请求，面向本地雾服务器进行计算资源的买卖。2.根据权利要求1所述的系统，其特征在于，所述协作联盟基于联盟博弈理论构建，每个协作联盟根据其内部车辆的能力，评有相应的效用值，该效用值反映协作联盟内部车辆节点相较于直接与本地雾服务器进行交易所能获得的收益增量，每个车辆节点基于激励机制估算加入每个协作联盟所能获得的收益，并通过采取加入候选协作联盟或退出现有协作联盟的行为，使自身所能得到的收益最大化。3.根据权利要求1所述的系统，其特征在于，对于所述雾层内的车辆节点，将车辆节点之间的计算资源交易问题建模成部分可观察的马尔可夫决策过程，以车辆节点作为智能体，通过各智能体独立地观察环境信息，学习目前场景状态下最佳的资源交易行为策略，以对车辆节点协作计算问题进行基于个体的收益最大化，并进行全局效益优化。4.根据权利要求1所述的系统，其特征在于，在所述协作联盟内部，车辆根据计算资源与货币的相对需求意愿，自主决定交易数量，并通过协作方式共同决定交易单位价格，进而在满足双方供需意愿的前提下进行计算资源与计算需求的双边匹配。5.根据权利要求1所述的系统，其特征在于，所述协作联盟内部根据本地雾服务器提供的市场价格达成一致的单位计算资源买卖价格，在协作联盟内部...

【专利技术属性】
技术研发人员：张荣庆，魏智伟，
申请(专利权)人：同济大学，
类型：发明
国别省市：