【技术实现步骤摘要】
本专利技术涉及一种车联网优化资源方法，特别涉及一种车联网通信资源联合分配方法。
技术介绍
1、随着信息技术的快速发展，车联网应用作为智能交通系统的重要组成部分，已经成为了智能交通、智能驾驶等领域的研究热点。
2、在车联网应用中，无线通信技术扮演着至关重要的角色，它连接着车辆与车辆、车辆与基础设施之间的信息交流，为车辆提供了实时的交通信息、路况信息以及安全警示信息。然而，无线通信网络中端边资源分布的不均匀性，异构任务的差异性以及有限的频谱资源，是无线通信技术在车联网应用中面临的挑战。
3、在车联网环境下的异构任务有不同的时延要求和干扰限制，对无线网络的计算和通信资源分配造成了极大困难。
技术实现思路
1、本专利技术的目的在于提供一种车联网通信资源联合分配方法，本专利技术面向多用户-多服务器场景下车载网络中异构高并发任务的协同处理问题，考虑异构任务的时延要求，车辆的最大发射功率等限制，以及网络端边设备的计算能力，提出了一种基于深度强化学习的车载网络通信和计算资源联合分配方法，解决了传统资源分配方法难以应对动态网络环境下的状态空间爆炸难题，实现了异构车辆任务总开销的最小化，可以支持计算密集型、时延敏感型等异构高并发车辆任务的实时协同处理。
2、本专利技术是通过以下技术方案实现的：
3、一种车载边缘网络的计算和通信资源联合分配方法，基于深度强化学习实现车载边缘网络中服务节点与任务车辆的计算和通信资源协同分配，包括以下步骤：
4、1
5、2)根据异构车辆任务的时延要求构建关于服务节点与任务车辆的计算和通信资源分配的优化问题；
6、3)将上述优化问题转化为马尔科夫决策过程问题；
7、4)通过深度强化学习对马尔科夫决策过程问题进行求解；
8、5)离线训练神经网络，获得计算和通信资源分配结果；
9、6)车载网络内服务节点和任务车辆在线执行计算和通信资源分配，进行无线通信以及任务卸载，以协同处理异构任务，最小化系统开销。
10、所述具备边缘计算能力的车载网络，包含n个任务车辆、m个服务节点和c个信道；
11、所述任务车辆，负责生成计算任务，可用于对异构任务进行本地计算，并支持将任务通过信道卸载至服务节点进行边缘计算；
12、所述服务节点，包括rsu与其连接的mec服务器和附近空闲的服务车辆，用于为任务车辆提供计算资源，每个服务节点最多分配v个信道；
13、所述信道，用于提供任务车辆与服务节点之间的无线通信；
14、对于单个计算任务，可以选择本地计算或卸载计算xi,j,k表示卸载决策，xi,j,k＝1表示任务车辆vi将任务通过信道k卸载到服务节点ej，否则进行本地计算；
15、所述任务车辆通过信道进行任务卸载时的传输速率为
16、
17、其中，pi表示vi的发射功率，hi,j,k和α分别表示信道的小尺度rayleigh衰落系数和大尺度路径损耗因子，|hi,j,k|2服从单位指数分布，ri,j和b分别表示vi和ej之间的距离以及信道带宽。表示其他任务车辆选择与vi相同信道的干扰。n0表示高斯白噪声功率。
18、所述服务节点与任务车辆的计算和通信资源联合分配的优化问题为
19、
20、s.t.c1:xi,j,k∈{0,1},1≤i≤n,1≤j≤m,1≤k≤v
21、
22、c3:0≤fi,j≤fj,1≤i≤n,1≤j≤m
23、
24、c5:0≤pi≤pmax,1≤i≤n
25、
26、其中，为任务目标，及最小化系统总开销，分别表示任务车辆的决策和发射功率；
27、c1和c2为卸载决策的约束；允许每个任务车辆选择本地计算或将其任务卸载到服务节点；
28、c3和c4为计算资源约束；其中，fi,j表示服务节点ej分配给车辆终端vi的计算资源，fj表示服务节点ej的总计算资源，即保证分配到服务节点ej上的车辆任务计算资源之和不超过其最大计算能力；
29、c5为发射功率约束，其中，pmax表示车辆终端的最大发射功率，即保证任务i的发射功率不能超过其允许的最大发射功率；
30、c6为时延约束，其中表示任务i在给定的截止时间内完成，否则为未完成。
31、所述计算任务的开销，由本地开销和卸载开销决定，表示为
32、
33、所述本地开销由本地处理时延和能耗决定，表示为
34、
35、其中，wi为完成计算任务所需的cpu周期数，为任务车辆vi的计算能力，κ为能耗参数，β为能耗的权重因子；
36、所述卸载开销由卸载处理时延和传输能耗决定，表示为
37、
38、其中，di为任务量大小，fi,j为服务节点ej分配给任务i的计算资源；
39、所述基于马尔科夫决策过程问题如下：
40、(1)建立马尔科夫决策模型，包括状态、动作及奖励；
41、所述状态为任务车辆在时隙t的状态，记为
42、其中，表示车辆vi在时隙t的状态，为车辆vi在前一时隙(t-1)实际访问的信道，是任务量大小，是任务的优先级；
43、所述动作为任务车辆在时隙t的动作，记为
44、其中，为车辆vi在时隙t实际接入的信道，表示车辆vi通过信道k成功接入服务节点ej，否则进行本地计算；
45、所述奖励为任务车辆在时隙t的奖励，记为
46、其中表示车辆vi在时隙t的奖励由卸载奖励和优先级奖励决定，为优先级奖励的权重因子；
47、(2)确定长期累积回报；所述长期累积回报为
48、
49、其中γ(0<γ<1)表示折扣系数，决定预期未来奖励对当前奖励的影响程度；
50、所述基于深度强化学习构建的深度神经网络模型，通过actor-critic(ac)框架实现，由主网络和目标网络组成，二者结构相同，但采用不同的策略参数θ；
51、所述离线训练神经网络模型直至奖励收敛，包括以下步骤：
52、(1)从经验池中提取数据di作为训练数据
53、(2)对于actor网络，智能体i选择动作ai
54、(3)执行ai得到奖励ri和下一状态si'
55、(4)将当前时刻的状态、动作、奖励和下一时刻状态(si,ai,ri,s'i)存储到经验池中
56、(5)更新critic网络参数θq与actor网络参数θμ；所述更新critic网络参数θq与actor网络参数θμ通过以下实现，为critic网络的损失函数，为actor网络的确定性梯度；
57、(6)更新目标critic网络参数θq'与目标actor网络参数θμ'本文档来自技高网...
【技术保护点】
1.一种车联网通信资源联合分配方法，其特征在于，所述方法包括基于深度强化学习实现车载边缘网络中服务节点与任务车辆的计算和通信资源协同分配过程，具体包括以下步骤：
2.根据权利要求1所述的一种车联网通信资源联合分配方法，其特征在于，所述具备边缘计算能力的车载网络，包含N个任务车辆、M个服务节点和C个信道；
3.根据权利要求2所述的一种车联网通信资源联合分配方法，其特征在于，对于所述计算任务，选择本地计算或卸载计算；xi,j,k表示卸载决策，xi,j,k＝1表示任务车辆vi将任务通过信道k卸载到服务节点Ej，否则进行本地计算；
4.根据权利要求1所述的一种车载边缘网络的计算和通信资源联合分配方法，其特征在于，所述服务节点与任务车辆的计算和通信资源联合分配的优化问题为
5.根据权利要求4所述的一种车载边缘网络的计算和通信资源联合分配方法，其特征在于，所述计算任务的开销，由本地开销和卸载开销决定，表示为
6.根据权利要求1所述的一种车载边缘网络的计算和通信资源联合分配方法，其特征在于，所述基于马尔科夫决策过程问题如下：
<...【技术特征摘要】
1.一种车联网通信资源联合分配方法，其特征在于，所述方法包括基于深度强化学习实现车载边缘网络中服务节点与任务车辆的计算和通信资源协同分配过程，具体包括以下步骤：
2.根据权利要求1所述的一种车联网通信资源联合分配方法，其特征在于，所述具备边缘计算能力的车载网络，包含n个任务车辆、m个服务节点和c个信道；
3.根据权利要求2所述的一种车联网通信资源联合分配方法，其特征在于，对于所述计算任务，选择本地计算或卸载计算；xi,j,k表示卸载决策，xi,j,k＝1表示任务车辆vi将任务通过信道k卸载到服务节点ej，否则进行本地计算；
4.根据权利要求1所述的一种车载边缘网络的计算和通信资源联合分配方法，其特征在于，所述服务节点与任务车辆的计算和通信资源联合分配的优化问题为
5.根据权利要求4所述的一种车载边缘网络的计算和通...
【专利技术属性】
技术研发人员：王倚天，刘婧娴，张伟，潘多涛，
申请(专利权)人：沈阳化工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。