基于深度强化学习的节能型自动互联车辆服务卸载方法技术

本发明专利技术公开了基于深度强化学习的节能型自动互联车辆服务卸载方法，该发明专利技术提出名为ECAC的分布式服务卸载方法。ECAC基于异步深度强化学习方法——异步优势行动者

【技术实现步骤摘要】
基于深度强化学习的节能型自动互联车辆服务卸载方法


[0001]本专利技术属于边缘计算
，具体涉及基于深度强化学习的节能型自动互联车辆服务卸载方法。

技术介绍

[0002]互联自动车辆(CAVs)是车对一切(V2X)通信赋能的自动驾驶车辆，是车联网和自动控制技术共同发展的产物。在自动驾驶车辆的基础上，CAVs通过无线通信技术连接到其它车辆、路边单元和外部服务器，使它们成为一个协同工作的整体。在CAVs中，车辆的决策不再只依赖车载传感器的数据收集和车载计算设备的计算，同时依赖其它车辆和道路智能体的共享数据，以及外部服务器，如边缘计算和云计算的支持。这种工作范式的一大显著优势是解决了计算资源受限的自动车辆对于许多计算密集型服务的需求,例如增强现实、目标检测等，同时提高了数据的有效性、系统安全性，进一步提高了服务质量(QoS)。自动车辆将请求和收集到的数据发往服务端，服务器统筹路况数据并为各车辆分别提供相应的服务，包括路径规划、危险预警、路况分析、行为模拟、自动控制、绿色出行等，以保障自动驾驶的安全性和用户体验。这一过程被称为服务卸载
[0003]云服务器和边缘服务器是车载任务卸载的两大目的地。通常云服务器有充足的计算资源，适合处理计算密集型任务，但云端和车辆间较大的物理距离导致决定了通信过程中不可忽略的往返时延(Round
‑
Trip Time,RTT)，这对于高速行驶的车辆中的时延敏感型任务而言是不可接受的。而边缘计算则将服务器部署到靠近用户的边缘计算设备(ECD)，以此缩短用户和计算资源的距离，有效改善传输过程的通信时延。不过ECD中的算力、缓存等资源通常有限，面对高密度的车辆服务请求甚至可能过载和阻塞，反而会大大增加延迟[6]。因此，纯粹的边缘计算也不足以应对高车流量下的服务请求。
[0004]能耗是计算卸载过程中的另一个关键问题。不同的卸载方案也会产生不同能耗，例如，在数据传输过程由于传输功率不同导致的不同的通信能耗、或不同算力的设备计算同一任务产生的不同计算能耗等。得益于第五代通信技术(5G)的到来，为未来的CAV网络赋予了更高的频谱效率和数据速率，使得卸载方案在考虑时延之余能更多关注能耗问题。相比本地计算，边云服务器会带来明显的能耗。并且伴随路侧单元(RSUs)、ECDs等网络基础设施数目的不断增加，CAV系统中的关键能耗从车辆转移到了互联的基础设施中。
[0005]此外，人工智能技术在近几年取得了飞速进步，在包括自动控制、模式识别、自然语言处理等许多场景取得了成功的应用。这推动了人工智能赋能的车联网的发展，因此也诞生一些尝试用DL或DRL解决CAVs网络中计算卸载的研究。例如文献“L.Huang,X.Feng,A.Feng,Y.Huang,L.P.Qian,Distributed deep learning
‑
based offloading for mobile edge computing networks,Mobile Networks and Applications(2018).”设计了一种使用多个并行DNN生成卸载决策(offloading decisions)的分布式深度学习算法DDLO，解决了深度学习的维度数限制。DDLO使用共享重放内存(shared replay memory)来存储DNN输出的卸载决策,并用它进一步训练DNN。这种思想类似于DRL中的经验回放、能提高在过去的
决策中积累的经验的利用率、改善模型训练效果。文献“P.Yao,X.Chen,Y.Chen,Z.Li,Deep reinforcement learning based offloading scheme for mobile edge computing,in:2019IEEE International Conference on Smart Internet of Things(SmartIoT),2019,pp.1
–
7.”利用深度Q网络(DQN)来解决MEC的计算卸载中当用户数据的大小和优先级给定时，队列中的任务调度问题，它与资源分配一样是卸载决策的主要内容。文献“Y.Wang,K.Wang,H.Huang,T.Miyazaki,S.Guo,Traffic and computation co
‑
offloading with reinforcement learning in fog computing for industrial applications,IEEE Transactions on Industrial Informatics15(2)(2019)976
–
986.”设计了两种基于强化学习的交通和计算的协同卸载算法(co
‑
offloading algorithm of traffic and computation)，能在满足车辆机动性和资源约束的条件下最小化卸载成本。不过，这些使用了DRL的研究，没有充分利用边
‑
云协同的模式下ECDs本身的分布式特征，而是孤立地进行每个ECD卸载方案的学习，这不仅增大了系统的学习负担，还不利于提升系统对环境的泛化能力。最后，还有一些卸载方法不能根据服务类型动态权衡时延和能耗对于决策结果的影响比重、或根本不考虑能耗。这一算法在计算成本时同时考虑了能耗与延迟，但是不能根据任务类型动态改变能耗与延迟的权重。

技术实现思路

[0006]本专利技术正是为了解决上述技术问题而设计的基于深度强化学习的节能型自动互联车辆服务卸载方法，该专利技术使用户车辆在发送服务请求时，除了数据量和计算量等必要信息外，增加对服务时延敏感度的描述，并使此敏感度参与网络的输入和计算即时奖励中时延和能耗的权重。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]基于深度强化学习的节能型自动互联车辆服务卸载方法，基于由各车辆、各边缘计算设备、以及云服务器构成的端
‑
边
‑
云协同系统下，各边缘计算设备分别与各预设区域一一对应，针对预设时间段内各预设区域中的服务请求，端
‑
边
‑
云协同系统执行以下步骤，得到各边缘计算设备分别对应的车辆服务卸载模型，实现各边缘计算设备为对应预设区域的服务请求提供相应的服务卸载决策：
[0009]步骤A：针对端
‑
边
‑
云协同系统，基于各边缘计算设备的服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗模型，以及各边缘计算设备的服务卸载决策模型要求服务卸载到云服务器执行时的时延模型和能耗模型，构建端
‑
边
‑
云协同系统的目标函数与约束条件；
[0010]步骤B：基于端
‑
边
‑
云协同系统的目标函数与约束条件，针对预设时间段内各预设区域中的服务请求，采用异步强化学习方法对各边缘计算设备的服务卸载决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的节能型自动互联车辆服务卸载方法，其特征在于：基于由各车辆、各边缘计算设备、以及云服务器构成的端
‑
边
‑
云协同系统下，各边缘计算设备分别与各预设区域一一对应，针对预设时间段内各预设区域中的服务请求，端
‑
边
‑
云协同系统执行以下步骤，得到各边缘计算设备分别对应的车辆服务卸载模型，实现各边缘计算设备为对应预设区域的服务请求提供相应的服务卸载决策：步骤A：针对端
‑
边
‑
云协同系统，基于各边缘计算设备的服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗模型，以及各边缘计算设备的服务卸载决策模型要求服务卸载到云服务器执行时的时延模型和能耗模型，构建端
‑
边
‑
云协同系统的目标函数与约束条件；步骤B：基于端
‑
边
‑
云协同系统的目标函数与约束条件，针对预设时间段内各预设区域中的服务请求，采用异步强化学习方法对各边缘计算设备的服务卸载决策模型进行优化，得到各边缘计算设备分别一一对应的车辆服务卸载模型；步骤C：基于各边缘计算设备分别一一对应的车辆服务卸载模型，各边缘计算设备为对应区域的自动车辆的服务请求提供相应的服务卸载决策。2.根据权利要求1所述的基于深度强化学习的节能型自动互联车辆服务卸载方法，其特征在于：所述步骤A中各边缘计算设备执行服务卸载决策时由步骤A1至步骤A3,得到各边缘计算设备的服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗模型，以及各边缘计算设备的服务卸载决策模型要求服务卸载到云服务器执行时的时延模型和能耗模型；步骤A1：针对预设时间段内任意边缘计算设备中的第i个服务s
i
，车辆到边缘计算设备的最大通信速率表示为：其中，B
i
表示分配给服务s
i
的带宽，p
i
表示自动车辆v
i
与边缘计算设备间的传输功率,v
i
表示产生服务请求的车辆，g
i
表示自动车辆v
i
与边缘计算设备间的信道增益，N0则代表信道的噪声功率密度；当服务在车辆本地计算，总时延表示为：其中，f
iloc
表示产生服务s
i
的自动车辆的本地计算速率，c
i
表示服务s
i
的计算量；车辆本地的能耗表示为：其中，k表示能量因子；步骤A2：当服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗模型，计算过程如下：步骤A2.1：针对服务s
i
被服务卸载决策模型要求服务卸载到边缘计算设备执行时，边缘计算设备针对该服务s
i
分配计算资源；
车辆到边缘计算设备的传输时延表示为：式中，d
i
表示服务s
i
的数据量；车辆到边缘计算设备对应的传输能耗表示为：式中，p
i
表示车辆到边缘计算设备的传输功率，表示车辆到边缘计算设备的传输时间；步骤A2.2：边缘计算设备中总的计算资源平均地划分为各个可分配的子计算资源，每个子计算资源贡献固定份额的计算速率f
i
，即其中表示为服务s
i
分配的子计算资源个数，C
single
表示每个子计算资源的算力，当服务传输到边缘计算设备后，边缘计算设备基于该服务所分配的计算资源执行该服务，服务的计算耗时为：该服务的计算能耗为：步骤A2.3：最后，基于从该服务s
i
全部上传到边缘计算设备中到被边缘计算设备执行该服务的过程中，存在等待边缘计算设备服务器空出个子计算资源算力的时延个子计算资源算力的时延式中，表示服务开始执行的时刻，而表示服务数据全部卸载到边缘计算设备中的时刻；步骤A2.4：综上，当服务卸载到边缘计算设备执行时，整个端
‑
边
‑
云协同系统的总时延表示为：整个端
‑
边
‑
云协同系统的总能耗表示为：步骤A3:当服务卸载决策模型要求服务卸载到云服务器执行时的时延模型和能耗模型，计算过程如下：步骤A3.1：针对服务s
i
被服务卸载决策模型要求服务卸载到云服务器执行时，先将服务数据卸载到边缘计算设备中，再从边缘计算设备卸载到云服务器中；从边缘计算设备到云服务器之间的数据传输时延表示为：
其中，表示边云之间的传输功率，表示边云之间的信道增益；云服务器执行过程的计算能耗为：式中，C
cloud
表示云服务器的算力；步骤A3.2：综上，当服务卸载到云服务器执行时，整个端
‑
边
‑
云协同系统的总时延表示为：式中，RTT表示边缘计算设备到云服务器之间的物理传输时延；整个端
‑
边
‑
云协同系统的总能耗表示为：3.根据权利要求2所述的基于深度强化学习的节能型自动互联车辆服务卸载方法，其特征在于：基于各边缘计算设备的服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗模型，以及各边缘计算设备的服务卸载决策模型要求服务卸载到云服务器执行时的时延模型和能耗模型，构建端
‑
边
‑
云协同系统的目标函数与约束条件；目标函数为：其中，表示卸载方法为s
i
分配...

【专利技术属性】
技术研发人员：郭佳杰，许小龙，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：