一种基于深度强化学习的低时延高可靠性V2V资源分配方法组成比例

本发明专利技术提出的一种基于深度强化学习的低时延高可靠性资源分配方法，考虑了处于基站覆盖范围外的NR‑V2X侧链资源分配，其中车辆根据自己观测到的信息以及在训练阶段得到的Q网络调度5G网络中供V2V用户使用的URLLC切片资源。为了最大化V2V通信的能量效率，并且保证通信的可靠性以及时延要求，提出了一种使用集中式训练、分布式执行的深度强化学习架构，借助DDQN学习方法训练出满足上述要求的模型。将资源分配问题中目标和约束的建模都转化为深度强化学习中收益的设计，可以有效解决V2V用户信道分配和功率选择的联合优化问题，可以在一系列连续动作空间的优化中表现稳定。

【技术实现步骤摘要】
一种基于深度强化学习的低时延高可靠性V2V资源分配方法
本专利技术涉及一种车联网技术，尤其涉及一种车联网的资源分配方法，更具体地说，涉及一种基于深度强化学习的低时延高可靠性车间(Vehicle-to-vehicle，V2V)通信资源分配方法。
技术介绍
车联网(Vehicle-to-everything，V2X)是物联网(InternetofThings，IoT)在智能交通系统(IntelligentTransportationSystem，ITS)领域中的典型应用，它是指基于Intranet、Internet和移动车载网络而形成的无处不在的智能车网络。车联网根据约定的通信协议和数据交互标准共享和交换数据。它通过对行人、路边设施、车辆、网络和云之间的实时感知和协作，实现了智能交通管理和服务，例如改善了道路安全，增强了路况感知并减少了交通拥堵。深度强化学习是机器学习算法中的一种，它结合了深度学习的感知能力和强化学习的决策能力，无需像传统的最优化方法一样对优化目标作出假设或为了降低复杂度做次优化处理，采用函数逼近的方法，可以很好地解决复杂高本文档来自技高网...

【技术保护点】
1.车联网中一种基于深度强化学习的低时延高可靠性V2V资源分配方法，其特征在于，包括步骤如下：/n(1)，考虑未被基站覆盖的区域，车与车之间(V2V)为了传输与行车安全有关的数据，使用URLLC切片资源块；/n(2)，训练阶段，车辆将本地观测信息，如信道增益、干扰信息、剩余V2V负载大小以及各自剩余的时间告诉计算单元，V2V智能体k的观测信息定义如下：/n

【技术特征摘要】
1.车联网中一种基于深度强化学习的低时延高可靠性V2V资源分配方法，其特征在于，包括步骤如下：
(1)，考虑未被基站覆盖的区域，车与车之间(V2V)为了传输与行车安全有关的数据，使用URLLC切片资源块；
(2)，训练阶段，车辆将本地观测信息，如信道增益、干扰信息、剩余V2V负载大小以及各自剩余的时间告诉计算单元，V2V智能体k的观测信息定义如下：



(3)，基站使用DDQN线下训练出每辆车V2V通信的资源分配模型，资源分配目标为最大化V2V链路传输速率的同时，保证每条链路的时延和每条链路的中断概率不超过门限值；
(4)，执行阶段，车辆根据本地观测信息使用训练好的网络进行子信道分配和功率等级的选择。


2.根据权利要求1所述的基于深度强化学习的低时延高可靠性资源分配，其特征在于，所述步骤(3)中，包括如下具体步骤：
(3a)，将每辆车看作一个智能体，对于每个智能体执行下面的操作；
(3b)，随机初始化每个智能体的Q网络；<...

【专利技术属性】
技术研发人员：缪娟娟，宋晓勤，王书墨，张昕婷，雷磊，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32