基于深度强化学习的无人机网络多用户接入控制方法技术

本发明专利技术属于无线通信技术领域，涉及一种基于深度强化学习的无人机网络多用户接入控制方法。本发明专利技术利用深度强化学习学习环境中固有的变化规律，提出了适应用无人机网络中多用户接入情况下的深度强化学习框架，并实现了这种在全局网络信息未知情况下基于深度强化学习的无人机网络多用户接入控制方案。本发明专利技术提出的接入控制方式与传统的接入控制方式相比能够实现更高的系统吞吐量和更低的切换次数。同时，通过调整切换惩罚项可以在吞吐量和切换次数实现不同的折中，并且在不同切换惩罚情况下性能均可得到保障。

Multi-user access control method for UAV network based on deep reinforcement learning

【技术实现步骤摘要】
基于深度强化学习的无人机网络多用户接入控制方法
本专利技术属于无线通信
，涉及一种基于深度强化学习的无人机网络多用户接入控制方法。
技术介绍
传统的接入控制技术，是利用门限比较的方式，通过选择不同的度量(例如接收信号强度等)并选取合适的门限值实现的。当用户设备(UE)来自源基站的接收信号强度低于设定的门限时，就会选择能够提供高于门限接收信号强度的基站进行接入。但对于利用无人机作为基站的无人机网络，由于基站具有移动性，所以基站与用户之间的相对距离变化频繁，导致用户处的接收信号强度变化剧烈，此时传统的接入控制技术会带来频繁切换问题，造成大量额外的信号开销；另外，多个UE同时进行切换时，传统接入控制技术只能保证单个用户的吞吐量，而无法保证到整体系统的吞吐量。
技术实现思路
为了解决传统接入控制技术在无人机网络中的频繁切换问题以及保证多用户接入情形网络整体的吞吐量，本专利技术主要关注于整体系统长期的吞吐量以及切换次数情况。由于深度强化学习在复杂的动态环境决策问题中有着优秀的性能，为了克服无人机网络环境中全局网络信息难以收集的问题，本专利技术利用深度强化学习学习环境中固有的变化规律，提出了适本文档来自技高网...

【技术保护点】
1.基于深度强化学习的无人机网络多用户接入控制方法，该方法用于以无人机作为移动基站为地面用户UE提供服务的系统，其特征在于，所述控制方法为：构建分布决策集中训练的深度强化学习框架，即为每个UE配置一个结构相同的神经网络，每个UE根据自身的神经网络独立的获得接入无人机基站的策略；同时设置一个具有相同神经网络的中央节点，用于从各个UE处收集经验信息并训练神经网络参数，在每个训练阶段完成后中央节点把训练好的参数传递给每一个UE。

【技术特征摘要】
1.基于深度强化学习的无人机网络多用户接入控制方法，该方法用于以无人机作为移动基站为地面用户UE提供服务的系统，其特征在于，所述控制方法为：构建分布决策集中训练的深度强化学习框架，即为每个UE配置一个结构相同的神经网络，每个UE根据自身的神经网络独立的获得接入无人机基站的策略；同时设置一个具有相同神经网络的中央节点，用于从各个UE处收集经验信息并训练神经网络参数，在每个训练阶段完成后中央节点把训练好的参数传递给每一个UE。2.根据权利要求1所述的基于深度强化学习的无人机网络多用户接入控制方法，其特征在于，所述中央节点从各个UE处收集经验信息的具体方法为：UE需要根据自身状态选择合适的动作，执行后获得相应的奖励，UE的吞吐量主要与基站接入用户数和接收信号强度有关，所以UE的状态表示为：si(t)＝{ui,0(t-1),…,ui,K-1(t-1),ωi(t-1)}其中，ui,j为定义的接入指示变量，是一个二元指示变量，即为“1”表示表示接入该基站，为“0”表示没有选择接入该基站；状态包含了该用户上一个时刻的接入指示变量ui,j(t-1)，上一个时刻和此时刻的接收信号强度和各个基站在上一个时刻的接入用户数N0(t-1)，ωi(t-1)表示该UE在上一个时刻的吞吐量；UE在做出自身的接入选择之后，向选中的无人机基站发送接入请求，无人机接收请求后...

【专利技术属性】
技术研发人员：梁应敞，曹阳，张蔺，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51