车联网中一种基于深度强化学习的多目标联合优化任务卸载策略制造技术

本发明专利技术公开了车联网中一种基于深度强化学习的多目标联合优化任务卸载策略。该策略综合考虑任务类型、数据流量、计算资源和地理环境等因素，以任务超时率、车辆能耗、资源租赁费用和服务器负载均衡系数等多项指标为优化目标，以提高系统总效益为最终目的。该策略基于改进的TD3深度强化学习算法构建系统决策模型，基于簇建立多任务多目标的局部卸载环境。为了提高决策正确性，提出采用双噪声策略网络以提高智能体的探索率；提出使用混合动作空间以提高算法的适应性。本发明专利技术针对现有策略优化目标单一、环境适应性较差的问题，可以通过分析任务、车辆和边缘计算环境特征，自适应完成计算任务，有效减少车联网任务卸载成本，提高资源利用率。资源利用率。资源利用率。

【技术实现步骤摘要】
车联网中一种基于深度强化学习的多目标联合优化任务卸载策略


[0001]本专利技术属于车联网边缘计算领域，更为具体地讲，涉及车联网中一种基于深度强化学习的多目标联合优化任务卸载策略。

技术介绍

[0002]车联网边缘计算是一种在靠近车辆的边缘节点上放置计算和存储资源的技术，其目的是为了减少数据传输延迟和网络带宽消耗，从而提高车联网系统的实时性和可靠性。其中，任务卸载是边缘计算的关键技术之一，它可以将车载计算任务交给边缘节点进行处理，从而有效减轻车载计算负担，提高车载计算性能和效率。车联网边缘计算任务卸载的研究目的是通过解决任务调度、资源管理和负载均衡等问题，提高车联网的系统性能和效率。但目前该领域存在资源不足、环境多变和决策复杂等问题，进而导致任务卸载高时延、高能耗和低资源利用率等问题。因此，为了推动车辆边缘计算和任务卸载的研究和应用，我们需要加强理论探索和实践创新，不断改进和完善相关技术和算法，以提升车联网系统的性能和效益。
[0003]目前已有相关研究对车联网边缘计算领域的任务卸载策略进行了探讨，但大多数研究成果集中在单一优化目标或单一用户。刘国志等人[刘国志,代飞,莫启,等.车辆边缘计算环境下基于深度强化学习的服务卸载方法[J].计算机集成制造系统,2022,28(10):12.]提出了车辆边缘环境下一种端
‑
边
‑
云协同的服务卸载架构，并采用基于深度Q网络(Deep Q Network,DQN)的任务卸载方法，以最小化平均服务时延为优化目标，在边缘服务器计算和通信资源约束下有效降低了任务的处理时延。然而，该方法优化目标单一，没有考虑其他可能影响任务卸载决策的因素。
[0004]Xiaolong Xu等人[Xu X,Huang Q,Zhu H,et.Secure Service Offloading for Internet of Vehicles in SDN
‑
Enabled Mobile Edge Computing[J].IEEE Transactions on Intelligent Transportation Systems,2021,22(6):3720
–
3729.]提出了一种基于SDN(Software Defined Network)和移动边缘计算技术的安全服务卸载框架，但该框架侧重点在于互联车辆的通信安全性和协作效率问题，此外，该框架的安全性问题也需要更详细的研究。
[0005]Hansong Wang等人[Wang H,Li X,Ji H,etc.Federated Offloading Scheme to Minimize Latency in MEC
‑
Enabled Vehicular Networks[A].2018IEEE Globecom Workshops(GC Wkshps)[C].Abu Dhabi,United Arab Emirates:IEEE,2018:1
–
6.]提出了一个联合卸载方案来最小化总延迟。将任务分为了本地计算、边缘计算、邻近车辆计算等三部分，并考虑三方的任务分配比例以实现完成整个任务的最短延迟。该方案可以有效提高计算资源的利用率，并减少任务延迟。但同样存在优化目标单一，环境适应性较差等问题。
[0006]虽然上述相关工作在一定程度上解决了车联网边缘计算中任务卸载的一些关键问题，但从中可以看出一些不足之处。第一，这些方法的优化目标大多单一，没有从系统层
面综合考虑影响任务卸载的多种因素，无法有效地全面提升系统整体效益，实际应用中可能存在困难。第二，这些方法未考虑到任务的性质和用户需求可能会不断变化，而这些方法可能无法快速适应这些变化。因此，在车联网任务卸载策略的研究中，一方面不仅需要考虑用户需求和服务质量，还需要考虑多种影响系统整体效益的因素；另一方面，算法本身还需要具有较高的环境适应性，能够快速适应不断变化的车联网环境。本专利技术从这两方面出发，制定任务卸载策略。

技术实现思路

[0007]本专利技术旨在解决现有技术的不足，提供一种车联网环境下基于深度强化学习的多目标联合优化任务卸载策略。该策略可以有效提高任务在指定时延需求下的完成率，降低任务卸载成本并提高系统资源的利用率。
[0008]为实现上述目的，本专利技术的车联网中一种基于深度强化学习的多目标联合优化任务卸载策略包括以下步骤：
[0009]S1.1基于簇构建车辆边缘计算任务卸载系统模型：
[0010]将一定区域内的车联网组件聚合成簇C
s
,s∈{1,2,...S}，各簇之间相互独立，每个簇可视为一行为独立的个体，主要由以下四部分组成：(1)一个集成SDN的主控基站即控制中心；(2)M个可提供边缘计算服务的基站每个基站各绑定一个边缘服务器；(3)N
s
个处于C
s
内的任务车辆(4)云服务器C
server
，控制中心通过任务卸载指令进行任务卸载和资源调度控制，任务卸载指令定义为：
[0011][0012]集合中的元素分别表示任务卸载节点、任务卸载比例、资源租赁比例、信号发射功率；
[0013]控制中心依据决策因子确定任务卸载指令，决策因子包括任务时延、车辆能耗、资源租赁费用、服务器负载惩罚值(delay,consume,fee,load)，并依次设置各部分权重系数为：(λ1,λ2,λ3,λ4)，满足条件：
[0014]S1.2建立各组件的基础模型：
[0015]S1.2.1建立任务车辆的基础模型：
[0016]v
i
＝{i,p
i
,f
i
,k
i
}
[0017]其中，i为任务车辆的流水号；p
i
为车辆的相对位置；f
i
为车辆的计算频率，k
i
为车载OBU的计算功率；
[0018]S1.2.2建立任务车辆的任务模型：
[0019][0020]其中j为任务等级，j∈{1,2,...,J}，共有J个等级，in
j
为任务输入数据量；cal
j
为任务计算量；为任务的最大期望时延，任务等级越高，对时延要求越高，相应的在任务卸载时优先权越大；
[0021]S1.2.3建立服务基站的基础模型：
[0022]b
m
＝{m,f
m
,p
m
,l
m
}
[0023]其中m为基站编号，m∈(1,2,...M)；f
m
为服务器计算频率，p
m
为计算单价，其值与任务实时计算频率呈正相关，l
m
为基站负载系数；
[0024]S1.2.4建立云服务器的基础模型：
[0025]c
c
＝{f
c
,p...

【技术保护点】

【技术特征摘要】
1.车联网中一种基于深度强化学习的多目标联合优化任务卸载策略，其特征在于，包括以下步骤：S1.1基于簇构建车辆边缘计算任务卸载系统模型：将一定区域内的车联网组件聚合成簇C
s
,s∈{1,2,...S}，各簇之间相互独立，每个簇可视为一行为独立的个体，主要由以下四部分组成：(1)一个集成SDN的主控基站即控制中心；(2)M个可提供边缘计算服务的基站每个基站各绑定一个边缘服务器；(3)N
s
个处于C
s
内的任务车辆(4)云服务器C
server
，控制中心通过任务卸载指令进行任务卸载和资源调度控制，任务卸载指令定义为：集合中的元素分别表示任务卸载节点、任务卸载比例、资源租赁比例、信号发射功率；控制中心依据决策因子确定任务卸载指令，决策因子包括任务时延、车辆能耗、资源租赁费用、服务器负载惩罚值(delay,consume,fee,load)，并依次设置各部分权重系数为：(λ1,λ2,λ3,λ4)，满足条件：S1.2建立各组件的基础模型：S1.2.1建立任务车辆的基础模型：v
i
＝{i,p
i
,f
i
,k
i
}其中，i为任务车辆的流水号；p
i
为车辆的相对位置；f
i
为车辆的计算频率，k
i
为车载OBU的计算功率；S1.2.2建立任务车辆的任务模型：其中j为任务等级，j∈{1,2,...,J}，共有J个等级，in
j
为任务输入数据量；cal
j
为任务计算量；为任务的最大期望时延，任务等级越高，对时延要求越高，相应的在任务卸载时优先权越大；S1.2.3建立服务基站的基础模型：b
m
＝{m,f
m
,p
m
,l
m
}其中m为基站编号，m∈(1,2,...M)；f
m
为服务器计算频率，p
m
为计算单价，其值与任务实时计算频率呈正相关，l
m
为基站负载系数；S1.2.4建立云服务器的基础模型：c
c
＝{f
c
,p
c
,t
c
}其中f
c
为计算频率，p
c
为计算单价，数据传输时延t
c
满足高斯分布S1.3建立任务卸载模型：基于5G蜂窝通信，基站采用大规模天线阵列(Massive MIMO)技术增加数据传输能力，结合非正交频分多址接入技术(Non
‑
Orthogonal Multiple Access,NOMA)进行车对车(Vehicle
‑
to
‑
Vehicle,V2V)和车对基础设施(Vehicle
‑
to
‑
Infrastructure,V2I)通信建
模。车辆之间通过PC5接口进行V2V通信；车辆与基站之间则通过Uu接口进行V2I通信；基站、控制中心和云服务器之间主要通过光纤通信；基站之间通过控制中心进行双向交互；任务卸载有两种模式，一是全部卸载；二是部分卸载，部分卸载根据任务可分性按一定划分规则将部分计算任务卸载到目标服务器执行；目标服务器为若干具有较高性能的边缘服务器，以及具有较高传输时延的高性能云服务器；车联网的数据传输通过基站进行，基站会被分配一定的带宽资源，这些资源可以被分配给不同的车辆进行数据传输；为了描述多径信道的衰落特性，通信信道被建模为瑞利信道；基站对带宽资源的分配需要考虑多个因素，如车辆的通信需求、网络拥塞程度、基站的负载等；数据传输速率被定义为：其中表示基站b
m
分配给车辆v
i
的带宽，ρ
i
表示车辆的信号发射功率，δ
i
表示车辆所处环境的信号增益，σ
m
表示环境中的高斯白噪声的标准差；根据卸载方式和计算节点的不同，任务卸载可分为本地计算、边缘计算和云计算；S1.3.1建立本地计算模型：本地计算的时延主要为任务决策时延和计算时延，任务决策时延t
dec
满足高斯分布满足高斯分布计算时延：本地计算能耗：定义本地计算成本：S1.3.2建立边缘计算模型：边缘计算的时延主要为任务决策时延、任务上传时延、任务中转时延及任务执行时延，计算结果回传时延忽略不计；
边缘计算能耗：边缘计算租赁费用：边缘计算负载惩罚值：定义边缘计算成本：其中L表示车道的长度；t
loss
表示传输损耗率；表示任务t
j
的实际计算速率，边缘服务器b
m
的计算速率与负载率l
m
有关；a,b,c是关于负载惩罚值的二元一次函数的系数；S1.3.3建立边缘计算模型：云计算的时延主要为任务决策时延、任务上传时延、任务传输时延和任务计算时延，结果回传时延忽略不计；任务计算时延：云计算租赁费用：定义云计算成本：S1.4建立多目标联合优化模型：系统成本即优化目标定义为任务时延、车辆能耗、资源租赁费用和服务器负载惩罚值的加权和；
其中λ
i
满足0＜λ
i
＜1,符号(*)表示规一化后的奖励值；任务卸载策略即定义为：求解长期一段时间内，使得平均系统成本最小，即奖励最大化或系统效益最大化的一组服务策略，因此，问题可以被建模为：或系统效益最大化的一组服务策略，因此，问题可以被建模为：或系统效益最大化的一组服务策略，因此，问题可以被建模为：或系统效益最大化的一组服务策略，因此，问题可以被建模为：或系统效益最大化的一组服务策略，因此，问题可以被建模为：或系统效益最大化的一组服务策略，因此，问题可以被建模为：或系统效益最大化的一组服务策略，因此，问题可以被建模为：其中n(τ)表示在τ时隙计算任务的数目；D
i
表示车辆v
i
的任务处理能耗；C
i
表示车辆v
i
的任务处理能耗；F
i
表示车辆v

【专利技术属性】
技术研发人员：马强，何杰，邢玲，高建平，吴红海，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：