基于MAPPO的多RIS辅助车联网吞吐量提升方法技术

本发明专利技术提供一种基于MAPPO的多RIS辅助车联网吞吐量提升方法，包括：步骤S1、建立优化模型；步骤S2、根据所述优化模型，分别确定状态模型、动作模型以及奖励模型，构建深度强化学习中多智能体目标状态预测模型；步骤S3、根据深度强化学习中的多智能体近端优化策略进行初始化操作；步骤S4、使用深度强化学习中的多智能体近端优化策略方法，进行模型训练，并根据训练得到的最优动作，对所有RIS设备的部署位置和反射系数矩阵、所有车辆用户的计算服务器进行配置，使得总时间内整个车辆边缘计算网络的车辆用户总吞吐量得到提升。本发明专利技术能够将每个时隙内所有车辆用户的时延限制在一定的范围内，并最大限度地提高一定时间内移动车辆用户的总吞吐量。户的总吞吐量。户的总吞吐量。

【技术实现步骤摘要】
基于MAPPO的多RIS辅助车联网吞吐量提升方法


[0001]本专利技术涉及基于MAPPO的多RIS辅助车联网吞吐量提升方法。

技术介绍

[0002]随着第五代通信网络和移动边缘计算范式的发展，智能车辆具备了利用车载传感和计算能力获取周围环境信息并实现正确机动的能力，并能够通过车辆和边缘服务器之间的合作统筹安排通信和计算资源，从而实现系统能效与通信质量的大幅度提升。此外，位于云计算网络边缘的计算服务器可以帮助处理相关车辆卸载的计算密集型任务，如数据处理和动态路径规划等，实现了车辆用户(vehicularuserequipment,车辆用户)与边缘服务器间的计算资源调度。随着对边缘智能的需求日益增长，边缘服务器之间的通信和计算资源调度变得至关重要。
[0003]为了应对智能车辆卸载的愈加复杂的计算任务，出现了一些对于多维边缘资源(即网络、计算和缓存)优化的研究，其中车辆能够通过任务卸载的方式使用更为丰富的边缘资源，且边缘服务器通过服务迁移实现卸载任务计算需求的主动平衡，从而大大提升智能驾驶系统的总体性能。
[0004]智能反射面(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于MAPPO的多RIS辅助车联网吞吐量提升方法，其特征在于：包括如下步骤：步骤S1、遍历所有车辆用户，表述各车辆用户的迁移延迟、任务卸载吞吐量、任务卸载延迟、任务回程延迟、任务计算吞吐量、任务计算延迟、总吞吐量和总时延，并建立优化模型，该优化模型以总时间内整个车辆边缘计算网络的车辆用户总吞吐量为目标，同时将每个时隙内所有车辆用户的时延限制在一定的范围内；步骤S2、根据所述优化模型，以各个街区的基站和车辆边缘计算网络中的车辆用户作为深度强化学习的基站智能体和车辆用户智能体，分别确定状态模型、动作模型以及奖励模型，构建深度强化学习中多智能体目标状态预测模型，其中，以当前时隙各基站本地服务的所有车辆用户的总吞吐量与总时延作为各基站智能体的状态模型，以当前时隙各基站所在街区的RIS设备的理论部署位置及发射系数矩阵作为各基站智能体的动作模型，以当前时隙各车辆用户与各基站的链接关系、总吞吐量和总时延作为各车辆用户智能体的状态模型，以当前时隙各车辆用户的计算服务器的选择作为各车辆用户智能体的动作模型，以所有车辆用户的总吞吐量作为所有基站智能体和车辆用户智能体共享的奖励模型；步骤S3、根据深度强化学习中的多智能体近端优化策略，对步骤S2得到的多智能体目标状态预测模型进行初始化操作；步骤S4、使用深度强化学习中的多智能体近端优化策略方法，根据步骤S2得到的多智能体目标状态预测模型以及步骤S3的初始化内容进行模型训练，并根据训练得到的最优动作，对所有RIS设备的部署位置和反射系数矩阵、所有车辆用户的计算服务器进行配置，使得总时间内整个车辆边缘计算网络的车辆用户总吞吐量得到提升。2.根据权利要求1所述的基于MAPPO的多RIS辅助车联网吞吐量提升方法，其特征在于：所述步骤S1具体包括：步骤S11、遍历所有车辆用户，用表述车辆用户k在时隙t的迁移延迟，其中，表示总时间，T表示时隙总个数，j表示车辆用户k在时隙t对应的边缘服务器承载于基站e
j
，j'表示车辆用户k在时隙t
‑
1对应的边缘服务器承载于基站e
j'
，表示车辆用户k的虚拟机数据的大小，表示基站e
j'
与基站e
j
服务器之间的服务迁移路径的长度，η
m
表示迁移路径上的网络带宽，σ
m
是用于计算迁移延迟的正系数；步骤S12、遍历所有车辆用户，用表述车辆用户k在时隙t的信干燥比，其中，p
k
表示车辆用户k在时隙t的发射功率，w
k
[t]表示车辆用户k上行波束成形矢量，表示车辆用户k与基站e
i
之间的信道，R＝{1,2,...,|ε|}表示每个街区边缘部署的一个RIS设备的索引表示，|ε|表示车辆边缘计算网络中基站的总个数，g
r,i
[t]表示RIS设备r和基站e
i
之间的信道，之间的信道，表示车辆用户k和基站e
i
之间的信道，Θ
r
[t]表示RIS设备r的反射系数对角矩阵，表示零均值高斯白噪声的方差，x
i,k'
[t]表示判断在时隙t车辆用户k'的本地基站是否为e
i
的二元决策变量，K表示车辆用户
总数，p
k
'表示在时隙t车辆用户k'的发射功率；获取信干燥比SINR
i,k
[t]后，根据公式计算卸载吞吐量根据公式计算卸载延迟其中，下标i表示车辆用户k在对应的本地基站为e
i
的情况，即x
i,k
[t]＝1，B表示车辆用户与基站之间的传输带宽，表示VUE车辆用户k在时隙t的卸载任务大小；步骤S13、遍历所有车辆用户，用表述车辆用户k在时隙t的任务回程延迟，其中，下标i表示车辆用户k对应的本地基站为的e
i
情况，下标j表示车辆用户k在时隙t对应的边缘服务器承载于基站e
j
的情况，表示基站e
i
与基站e
j
服务器之间的任务回程路径的长度，η
b
表示任务回程路径上的网络带宽，σ
h
是用于计算任务回程延迟的正系数；步骤S14、遍历所有车辆用户，用表述车辆用户k在时隙t的任务计算吞吐量用表述车辆用户k在时隙t的任务计算延迟其中，下标j表示车辆用户k在时隙t对应的边缘服务器承载于基站e
j
的情况，f
j,k
表示车辆用户k的虚拟机在基站e
j
上独立运行时的预期计算吞吐量，d
j
表示基站e
j
上的性能下降系数；步骤S15、基于上述计算的迁移延迟、卸载吞吐量、卸载延迟、任务回程延迟、任务计算吞吐量和任务计算延迟，用表示时隙t内整个车辆边缘计算网络的每个车辆用户的总吞吐量，用表示时隙t内整个车辆边缘计算网络的每个车辆用户的总时延，其中，表示卸载吞吐量所占的权重，ε表示基站集合，x
i,k
[t]表示判断在时隙t车辆用户k的本地基站是否为e
i
的二元决策变量，y
j,k
[t]表示判断在时隙t车辆用户k的虚拟机是否承载于基站e
j
的边缘服务器上的二元决策变量，表示时隙t车辆用户k的任务在e
j
处计算所需的时延；步骤S16、构造优化模型其中，Θ表示所有RIS设备的反射相移矩阵，r表示RIS设备的索引，Y＝[[y[1]],[y[2]],...,[y[T]]]表示所有车辆用户的计算服务器选择，W表示所有车辆用户的波束赋形矢量，表示车辆用户集合，表示总时间，D
max
表示车辆用户的时延容限，c
r
表
示RIS设备r的位置，表示RIS设备r所有可能的部署位置的离散集合，θ
r,n
[t]表示RIS设备r的第n个元件的振幅反射系数。3.根据权利要求1所述的基于MAPPO的多RIS辅助车联网吞吐量提升方法，其特征在于：所述步骤S2中：以当前时隙t基站本地服务的所有车辆用户的总吞吐量与总时延作为基站智能体的状态模型其中，下标l1表示第l1个智能体的索引，当智能体为基站时，l1取值满足l1＝1,2,...,|ε|；以当前时隙t基站所在街区的RIS设备的理论部署位置及反射系数矩阵作为基站智能体的动作模型其中，表示基站智能体所在街区的RIS设备的位置；以当前时隙t车辆用户l2与各基站服务器的链接关系、总吞吐量和总时延作为车辆用户智能体l2的状态模型其中，下标l2表示第l2个智能体的索引，当智能体为车辆用户时，l2取值满足l2＝|ε|+1,|ε|+2,...,|ε|+K；以当前时隙t车辆用户l2的计算服务器的选择作为车辆用户智能体l2的动作模型以所有车辆用户的总吞吐量作为所有基站智能体和车辆用户智能体共享的奖励模型其中l∈{1,2,...,K+|ε|}表示全体智能体索引。4.根据权利要求1或2或3所述的基于MAPPO的多...

【专利技术属性】
技术研发人员：曾鸣，宁祥瑞，周胜平，费泽松，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：