一种基于深度强化学习的多车应用计算卸载方法及终端技术

本发明专利技术公开一种基于深度强化学习的多车应用计算卸载方法及终端，基于多个智能网联汽车、多个路边单位以及与所述多个智能网联汽车对应的多个DNN应用构建车辆边缘计算网络；根据所述车辆边缘计算网络确定计算卸载问题，并根据所述计算卸载问题建立马尔科夫决策过程模型；基于所述马尔科夫决策过程模型使用SA

【技术实现步骤摘要】
一种基于深度强化学习的多车应用计算卸载方法及终端


[0001]本专利技术涉及边缘计算
，尤其涉及一种基于深度强化学习的多车应用计算卸载方法及终端。

技术介绍

[0002]随着物联网(Internet of Things，IoT)技术的快速发展，车辆逐渐成为一种智能、互联、自主的终端，即智能网联汽车(Connected and Automat
‑
ed Vehicles，CAVs)。CAVs集成了人工智能辅助(Artificial Intelligence
‑
aided，AI
‑
aided)的信息和通信技术，在构建更安全、更智能的交通系统(Intelligent Transportation System，ITS)的过程中发挥着关键作用。在移动通信技术的帮助下，CAVs采用车辆到一切通信(Vehicle to Every
‑
thing，V2X)与基础设施或者其他CAVs互联，通过它们间的信息交换，CAVs可以全面感知周边环境，有效改善人为失误造成的交通事故，缓解交通拥堵。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的多车应用计算卸载方法，其特征在于，包括：基于多个智能网联汽车、多个路边单位以及与所述多个智能网联汽车对应的多个DNN应用构建车辆边缘计算网络；根据所述车辆边缘计算网络确定计算卸载问题，并根据所述计算卸载问题建立马尔科夫决策过程模型；基于所述马尔科夫决策过程模型使用SA
‑
MADDPG算法确定卸载策略，并执行所述卸载策略。2.根据权利要求1所述的一种基于深度强化学习的多车应用计算卸载方法，其特征在于，每一所述DNN应用包括多个DNN层；所述基于多个智能网联汽车、多个路边单位以及与所述多个智能网联汽车对应的多个DNN应用构建车辆边缘计算网络包括：确定多个智能网联汽车、多个路边单位以及与所述多个智能网联汽车对应的多个DNN应用；根据所述多个智能网联汽车以及与所述多个智能网联汽车对应的多个DNN应用构建DNN应用模型；根据所述多个智能网联汽车、所述多个路边单位、所述多个DNN应用和所述多个DNN层建立与所述多个智能网联汽车对应的第一DNN层队列以及与所述多个路边单位对应的第二DNN层队列；根据所述多个智能网联汽车、所述多个路边单位构建所述多个智能网联汽车与所述多个路边单位的通信模型；根据所述多个智能网联汽车、所述多个路边单位以及所述多个DNN层构建所述多个DNN层从所述多个智能网联汽车卸载至所述多个路边单位的计算模型；根据所述DNN应用模型、所述第一DNN层队列、所述第二DNN层队列、所述通信模型以及所述计算模型生成车辆边缘计算网络。3.根据权利要求2所述的一种基于深度强化学习的多车应用计算卸载方法，其特征在于，所述根据所述多个智能网联汽车以及与所述多个智能网联汽车对应的多个DNN应用构建DNN应用模型包括：根据所述多个智能网联汽车以及与所述多个智能网联汽车对应的多个DNN应用构建所述DNN应用模型A
i，j，k
：A
i，j，k
＝{G
i，j，k
，d
i，j，k
}，i∈{1,2,...,n}，j∈{1,2,...,z}，k∈{1,2,...,t}；式中，i表示所述DNN应用对应的所述智能网联汽车的标识，j表示所述DNN应用的类型，k表示所述DNN应用对应的生成时间片，G
i，j，k
表示由所述DNN应用构建的有向无环图，d
i，j，k
表示所述DNN应用的可容忍时间片个数。4.根据权利要求2所述的一种基于深度强化学习的多车应用计算卸载方法，其特征在于，所述根据所述多个智能网联汽车、所述多个路边单位构建所述多个智能网联汽车与所述多个路边单位的通信模型包括：定义信道带宽、信道衰落因子、高斯白噪声功率以及路径损耗因子；获取所述多个智能网联汽车的传输功率以及所述多个路边单位的通信范围；基于所述多个智能网联汽车、所述多个路边单位、所述信道带宽、所述信道衰落因子、
所述高斯白噪声功率、所述路径损耗因子、所述传输功率以及所述通信范围构建所述多个智能网联汽车与所述多个路边单位的通信模型；所述通信模型为：式中，表示在第k个时间片，第i个智能网联汽车与第j个路边单位的数据传输率，B表示信道带宽，h表示信道衰落因子，p
tr
表示所述多个智能网联汽车的传输功率，x表示所述高斯白噪声功率，表示所述路径损耗因子，表示第i个智能网联汽车与第j个路边单位的距离，r表示所述多个路边单位的通信范围。5.根据权利要求2所述的一种基于深度强化学习的多车应用计算卸载方法，其特征在于，所述根据所述多个智能网联汽车、所述多个路边单位以及所述多个DNN层构建所述多个DNN层从所述多个智能网联汽车卸载至所述多个路边单位的计算模型包括：获取所述多个智能网联汽车对应的第一算力以及所述多个路边单位对应的第二算力；确定预设DNN层数据处理密度；基于所述第一算力、预设时间片长度、所述预设DNN层数据处理密度确定所述多个智能网联汽车在任一时间片内对应的第一数据处理总量；基于所述第二算力、预设时间片长度、所述预设DNN层数据处理密度确定所述多个智能网联汽车在任一时间片内对应的第二数据处理总量；根据所述第一数据处理总量和所述第二数据处理总量得到所述多个DNN层从所述多个智能网联汽车卸载至所述多个路边单位的计算模型；所述第一数据处理总量ε
v
为：式中，f
v
表示所述第一算力，l表示预设时间片长度，c表示所述预设DNN层数据处理密度；所述第二数据处理总量ε
r
为：式中，f
r
表示所述第二算力。6.根据权利要求1所述的一种基于深度强化学习的多车应用计算卸载方法，其特征在于，所述根据所述车辆边缘计算网络确定计算卸载问题包括：所述计算卸载问题为：式中，Minimize表示最小化，AFR表示所述多个智能网联汽车的平均卸载失败率，FR
i
表
示第i个智能网联汽车的卸载失败率，n表示所述多个智能网联汽车的数量。7.根据权利要求4所述的一种基于深度强化学习的多车应用计算卸载方法，其特征在于，所述根据所述计算卸载问题建立马尔科夫决策过程模型包括：获取目标时间片内目标智能网联汽车对应的状态s
i
(k)以及对应的动作a
i
(k)；根据所述目标智能网联汽车对应的状态确定所述多个智能网联汽车的联合状态S(k)；根据所述目标智能网联汽车对应的动作确定所述多个智能网联汽车的联合动作A(k)；获取目标时间片内目标智能网联汽车对应的卸载失败应用集合Δ
i
(k)以及卸载成功应用集合Υ
i
(k)；根据所述卸载失败应用集合以及卸载成功应用集合确定目标智能网联汽车的奖励函数r
i
(k)；根据所述目标智能网联汽车的奖励函数确定所述多个智能网联汽车的联合奖励R(k)；根据所述联合状态、所述联合动作、所述联合奖励生成马尔科夫决策过程模型；所述s
i
(k)为：式中，k...

【专利技术属性】
技术研发人员：林兵，林凯，卢宇，黄志高，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：