【技术实现步骤摘要】
本专利技术涉及一种车联网技术，尤其涉及一种车联网的无线资源分配方法，更具体地说，涉及一种基于增强型双深度q网络(eddqn，enhanced double deep q-network)的车联网无线资源分配方法。
技术介绍
1、伴随着人工智能、大数据和移动通信等领域新技术的不断突破，车载网络正呈现出蓬勃发展的态势。车联网作为新一代智能交通系统(its，intelligent transportationsystem)的信息承载平台，对于提升道路安全、运输效率和互联网接入等方面交通管理能力至关重要，同时也为自动驾驶等新型应用提供行车安全保障和实时路况监测等信息。第三代合作伙伴计划3gpp引入了车联万物(v2x，vehicle-to-everything)的新型车载基础设施架构，包括车辆与周围环境和基础设施之间的通信，包括车辆与其他车辆(v2v，vehicle-to-vehicle)、车辆与道路基础设施、车辆与行人以及车辆与网络等，为车辆提供无线通信服务，并在最新的release 17版本中进一步增强和优化了车联网通信能力。因此，车联网作为物联网技术在智能交通系统中的关键应用，可实现车与车和基础设施等之间的智能协同，大幅度提高道路的安全性，同时提升交通管理效率。
2、然而，车辆通信系统在处理海量大数据时面临这严峻的挑战。由于车辆间通信资源有限，无法满足实时传输大量数据的需求，这给通信车辆节点之间的信息传输带来冲突问题。此外，由于车联网中的车辆具有不同的需求和优先级，通信资源在分配过程中存在不均衡的问题，导致一些重要数据的
3、本专利技术提出一种基于eddqn的分布式多目标联合优化的车联网无线资源分配算法，该方法针对高动态车载环境中的城市道路资源分配场景，以最小化网络总成本为优化目标。同时，该方法引入优先经验回放和多步学习等技巧到双深度q网络(ddqn，doubledeep q-network)中，优化v2v链路的子带和功率分配策略，具有良好的可靠性和鲁棒性。
技术实现思路
1、专利技术目的：针对现有技术存在的上述问题，提出一种基于增强型双深度q网络的车联网无线资源分配方法。该方法针对高动态车载环境中的城市道路资源分配场景，拟采用ddqn的深度强化学习模型，同时在该模型中引入优先经验回放和多步学习技术，在满足时延限制和信噪比门限的条件下，实现系统中联合总时延和能耗的加权和最小化。
2、技术方案：针对高动态车载环境中的城市道路资源分配场景，以合理高效的资源分配达到网络的时延和能耗的加权和最小化的目的。为降低系统成本同时提升频谱利用率，在有限的频谱资源和一定的通信密度下，v2v链路共享信道资源。与相邻车辆直接进行链路通信的v2v用户(vue，vehicle user)通过pc5接口接入网络，共享有限的频谱资源，实现低延时、高可靠性的直连通信，并高效地交换传输车辆距离、速度等与行车安全相关的重要信息。采用分布式的资源分配方法，可以无需基站集中调度信道状态信息，每条v2v链路被视为一个智能体，通过观察本地状态信息和基站广播的信道信息来选择信道和发射功率。构建基于ddqn的多智能体深度强化学习模型，然后引入优先经验回放和多步学习技巧优化深度强化学习模型。根据优化后的eddqn模型，得到最优的v2v用户发射功率和信道分配策略。完成上述专利技术通过以下技术方案实现：一种基于增强型双深度q网络的车联网无线资源分配方法，包括步骤如下：
3、(1)构建具有车辆运动和信道时变特征的车联网无线资源分配系统，以满足城区双向道路环境下v2v通信业务的低延迟和高可靠性要求；
4、(2)为了以合理高效的方式为每条v2v链路联合分配无线资源(传输功率和子带)，建立包含k对v2v链路和m个子带的通信模型；
5、(3)计算每条v2v链路网络时延和能耗，并综合考虑网络时延和能耗的加权和，得到网络总成本，在满足v2v链路延迟和可靠性的条件下，以最小化网络总成本为优化目标；
6、(4)根据优化目标，构建基于ddqn的多智能体深度强化学习模型；
7、(5)为了增强深度强化学习模型性能，引入优先经验回放和多步学习技巧到多智能体ddqn；
8、(6)训练优化后的深度强化学习模型；
9、(7)在执行阶段，每个v2v链路根据当前的本地观察获得状态，并加载已训练好的模型得到最优的v2v用户发射功率和信道分配策略；
10、进一步的，所述步骤(1)包括如下具体步骤：
11、(1a)，建立v2v用户资源分配系统模型，该模型环境为城区双向道路，引入道路方向和网络拓扑信息，同时对道路容量做出限制；
12、(1b)，在系统模型中，车辆用户的位置遵循空间泊松分布随机产生，并为车辆按照车道规定了前进方向。
13、(1c)，与相邻车辆直接进行链路通信的v2v用户通过pc5接口接入网络，共享有限的频谱资源，实现低延时、高可靠性的直连通信，并高效地交换传输车辆距离、速度等与行车安全相关的重要信息。
14、进一步的，所述步骤(2)包括如下具体步骤：
15、(2a)建立车联网资源分配的通信模型，系统包括m个子带和k对v2v链路，分别用集合和表示，v2v链路的用户设备通过urllc切片请求服务。总的授权带宽w0被等分成m个带宽为w的子信道。该模型采用正交频分复用(ofdm，orthogonal frequency division multiplexing)技术进行信道传输，子带之间相互正交且不产生干扰。但相同子带可以被多个用户共用，从而共享同一子带的v2v链路用户之间就会产生干扰，进而影响信号的传输速率；
16、(2b)，在每个子带内，信道功率增益是平坦的。信道功率增益g[m]包含大尺度衰落和小尺度衰落，表示为：
17、g[m]＝α|h[m]|2 表达式1
18、其中，α为大尺度衰落，包括路径损耗和阴影衰落，在子带内是平稳不变的；|h[m]|2为小尺度衰落，在子带内和非相关时间上是按照瑞利衰落变化的；
19、(2c)，第k条v2v链路在第m个子带上的sinr表示为：
20、
21、其中，pk[m]表示第k个v2v链路用户的发射功率，gk[m]表示第k个v2v链路所使用信道的信道功率增益，σ2表示系统噪声功率；ik[m]表示第k个v2v的链路受到干扰；
22、(2d)，第k条v2v链路在第m个子带上受到的干扰表示为：
23、
24、其中，ρk′[m]表示子带的分配指示符，ρk′[m]＝1表示第k′个v2v链路用户复用第m个子带频谱，否则ρk′[本文档来自技高网...
【技术保护点】
1.一种基于增强型双深度Q网络的车联网无线资源分配方法，其特征在于，包括步骤如下：
【技术特征摘要】
1.一种基于增强型双深度q网络的车联网无线...
【专利技术属性】
技术研发人员：张文静，宋晓勤，张莉涓，雷磊，吴志豪，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。