一种基于协同强化学习技术的大规模无线网络优化方法技术

本发明专利技术公开了一种基于协同强化学习技术的大规模无线网络优化方法

【技术实现步骤摘要】
一种基于协同强化学习技术的大规模无线网络优化方法


[0001]本专利技术涉及一种大规模无线网络优化方法，具体涉及一种基于协同强化学习技术的大规模无线网络优化方法
。

技术介绍

[0002]随着移动通信用户需求的持续升级，移动网络运营商不断积极尝试提高网络的频谱效率以满足日益增长的流量需求
。
无线网络优化是提高网络频谱效率的关键手段
。
它通过调整基站参数来优化移动无线网络的功率覆盖范围和系统吞吐量
。
功率覆盖范围是指信号强度能确保可靠通信的区域，而系统吞吐量则依赖于信噪比，与参考信号和干扰信号的强度有关
。
提高传输功率可能会扩大基站的功率覆盖范围，但功率增加同时会对邻近的基站造成更多的干扰，从而降低系统的吞吐量
。
用户信干比分布曲线如图1所示
。
因此，无线网络优化的关键点在于从这两个相互冲突的目标之间找到折中
。
[0003]天线角度优化是实现网络优化的一种重要手段
。
合适的天线角度不仅可以减少信号弱覆盖区域，还可以抑制基站之间的干扰
。
此外，与建设新的基站或安装额外设备等其余网络优化方法相比，调整天线角度耗时更短且成本更低
。
[0004]5G
和后
5G
移动通信引入毫米波技术以利用额外的频谱资源，这给天线角度优化带来了新的挑战
。
具体来说，由于波长更短，毫米波信号相比
6GHz/>以下频带的信号传播损耗更为严重
。
为了应对这一损耗，一方面，区域内需要部署更多基站，也即网络致密化；另一方面，天线的能量需要集中到某一窄波束内而非平均分散在各个方向，这意味着有向天线将取代传统的全向天线搭载到毫米波系统中
。
因此，毫米波系统中的天线方向优化通常涉及对大量天线的方位角和倾角的调整
。
[0005]一般来说，天线角度优化问题可以归约成一个组合优化问题，它的搜索空间随着天线数量的增加呈指数级增大
。
尽管暴力搜索
(Brute
‑
Force Search)
算法可以直观地求解该问题，但即使对于中等数量天线规模，它的计算量也过于巨大
。
主流算法可大致分为随机搜索算法和近似算法两大类
。
随机搜索算法，包括禁忌搜索
(Tabu Search)、
模拟退火
(Simulated Annealing)
以及遗传算法
(Genetic Algorithm)
等，虽然其实现相对简单，但在计算时间和解的质量方面往往无法做出保证；近似算法是具有多项式复杂度的
、
性能界可证明的算法，然而，这类算法能够处理的约束十分有限，大多数情况下无法满足实际网络优化的要求
。
尤为严重的是，这两类算法都无法有效处理大规模的天线角度优化问题
。
近年来，强化学习算法在大量网络场景中表现出了强大的适应性
。
目前，强化学习已成为求解天线角度优化问题的一种有潜力的方法
。
然而，目前已有的基于强化学习的天线角度优化方法仍存在缺陷
。
具体来说，这些算法忽略或简化了天线之间的相互关联，这不可避免地导致求得的天线角度配置次优甚至不理想
。

技术实现思路

[0006]针对现有技术中存在的上述问题，本专利技术提供一种基于协同强化学习技术的大规
模无线网络优化方法
。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]一种基于协同强化学习技术的大规模无线网络优化方法，包括如下步骤：
[0009]步骤1：网络拓扑分析；
[0010]步骤1‑1：通过测量确定基站天线的最大服务半径；
[0011]步骤1‑2：根据最大覆盖半径，确定与每个栅格相关的天线的集合，进而确定目标区域的划分方案；
[0012]步骤1‑3：根据区域划分结果，为每个子区域
l
初始化一个价值表
Q
l
(h
l
,
θ
l
)
，表示该子区域中不同的天线角度配置组合对该子区域的性能
R
l
的影响；其中，
h
l
表示子区域
l
的观测历史，表示子区域
l
的邻域
N
l
的基站的天线角度配置的组合；
[0013]步骤2：天线配置；
[0014]步骤2‑1：利用观测数据不断更新价值表，更新策略为：
[0015][0016]其中，
α
表示学习速率，
γ
表示折扣因子，取值范围为
(0,1]，
θ
*
＝
argmax
θ
∑
l
Q
l
(h
l
,
θ
l
)
表示根据当前价值表得到的最优网络天线配置，而则是
θ
*
对应子区域
l
的邻域的部分
。
分别表示
t
时刻的观测结果
、
基站天线配置和即时奖赏；
[0017]步骤2‑2：在任意时刻，均可利用当前各子区域的价值表求出当前观测下的最优网络天线角度配置，即
argmax
θ
∑
l
Q
l
(h
l
,
θ
l
)
；对于给定时刻，
h
l
固定，
Q
l
(h
l
,
θ
l
)
可简写成
Q
l
(
θ
l
)
，优化目标则为
argmax
θ
∑
l
Q
l
(
θ
l
)
；采用分布式优化算法求解
θ
，以取得计算时间和求解质量的折中
。
[0018]进一步的，步骤1‑1中，最大服务半径的参考数据为：
2G
基站的覆盖半径为5‑
10
公里；
3G
基站的覆盖半径为2‑5公里；
4G
基站的覆盖半径为1‑3公里；
5G
基站的覆盖半径为
100
‑
300
米
。
[0019]进一步的，步骤1‑3中，价值表中的数值初始值均为
0。
[0020]进一步的，步骤2‑2中，所述分布式优化算法采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于协同强化学习技术的大规模无线网络优化方法，其特征在于，包括如下步骤：步骤1：网络拓扑分析；步骤1‑1：通过测量确定基站天线的最大服务半径；步骤1‑2：根据最大覆盖半径，确定与每个栅格相关的天线的集合，进而确定目标区域的划分方案；步骤1‑3：根据区域划分结果，为每个子区域
l
初始化一个价值表
Q
l
(h
l
,
θ
l
)
，表示该子区域中不同的天线角度配置组合对该子区域的性能
R
l
的影响；其中，
h
l
表示子区域
l
的观测历史，表示子区域
l
的邻域
N
l
的基站的天线角度配置的组合；步骤2：天线配置；步骤2‑1：利用观测数据不断更新价值表，更新策略为：其中，
α
表示学习速率，
γ
表示折扣因子，取值范围为
(0,1]
，
θ
*
＝
argmax
θ
∑
l
Q
l
(h
l
,
θ
l
)
表示根据当前价值表得到的最优网络天线配置，而则是
θ
*
对应子区域
l
的邻域的部分，分别表示
t
时刻的观测结果
、
基站天线配置和即时奖赏；步骤2‑2：在任意时刻，均可利用当前各子区域的价值表求出当前观测下的最优网络天线角度配置，即
argmax
θ
∑
l
Q
l
(h
l
,
θ
l
)
；对于给定时刻，
h
l
固定，
Q
l
(h
l
,
θ
l
)
可简写成
Q
l

【专利技术属性】
技术研发人员：王少尉，沈林之，
申请(专利权)人：南京大学，
类型：发明
国别省市：