Massive MIMO的优化方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供的Massive MIMO的优化方法、装置、设备及介质，根据专家经验模式对状态信息矩阵的特征进行识别和判断，确定优化策略，在线强化学习生成多个马克可夫决策过程MDP训练序列，并将MDP训练序列存入每个波束扇区的处理缓存中；根据异步优势加权的行动者‑评论家Actor‑Critic深度增强学习网络并行计算MDP训练序列，并将学习到的最优的优化策略函数和状态值函数的权值信息，通过全局共享模式进行更新和复制；根据行动者‑评论家深度增强学习网络学习到的优化策略，确定Massive MIMO系统最优的天线权值和无线参数配置组合，实现优化调整与现网性能评估的在线实时交互，实时采用最优的天线权值和无线参数配置组合，实现网络性能最佳。

Massive MIMO optimization methods, devices, equipment and media

The optimization method, device, equipment and medium of Massive MIMO provided by the embodiment of the present invention identify and judge the characteristics of the state information matrix according to the expert experience mode, determine the optimization strategy, generate multiple Markov decision-making process MDP training sequences by online reinforcement learning, and store the MDP training sequences in the processing buffer of each beam sector; weighted according to the asynchronous advantage; Actor Critic Deep Enhanced Learning Network (DELEN) calculates MDP training sequence in parallel, updates and replicates the weight information of the optimal optimization strategy function and state value function through global sharing mode, and determines the optimal antenna weights and none of Massive MIMO system according to the optimization strategy learned by the actor Critic DELEN. The online parameter configuration combination realizes the online real-time interaction between the optimization adjustment and the performance evaluation of the existing network. The optimal combination of antenna weight and wireless parameter configuration is used in real-time to achieve the best network performance.

【技术实现步骤摘要】
MassiveMIMO的优化方法、装置、设备及介质
本专利技术涉及通信
，尤其涉及一种大规模多输入多输出(MassiveMultipleInputMultipleOutput，MassiveMIMO，MM)的优化方法、装置、设备及介质。
技术介绍
MassiveMIMO技术是第五代移动通信技术5G中提高网络覆盖和系统容量的关键技术。在大规模MIMO系统中，基站配置有大量的天线，数目通常有几十、几百甚至几千根，是现有MIMO系统天线数目的数倍、数十倍以上。MassiveMIMO充分利用大规模天线阵列和空间自由度，改进了长期演进(LongTermEvolution，LTE)的广播机制，通过波束赋形的机制发射多个波束扇区，提高发射电磁波的功率密度，增强了覆盖范围。但是，MassiveMIMO系统的权值参数，随着波束扇区数目和动态扫描维度的增加，波束扇区天线权值和无线参数的组合数由200多个增加至10000多个，再加上小区重选参数、小区切换参数，使波束扇区天线权值和无线参数的组合数量更多，导致MassiveMIMO系统的优化调整变得异常复杂。已有的针对MassiveMIMO网络扇区的优化方案大致有三种，以下分别做简要介绍：第一种，按照网络规划中的仿真模型进行MassiveMIMO网络扇区优化调整。按照网络规划中使用的地图匹配，利用热点场景模型进行业务预测、覆盖仿真和干扰仿真等处理，模型可输出规划仿真后的波束扇区天线权值。规划仿真的目的是尽量使MassiveMIMO基站的各个扇区的主瓣方向指向用户需求集中的方向，使用户获得尽可能强的信号，同时还可规划仿真同频、邻频扇区的无线参数，使用户在使用业务过程中获得尽可能大的增益。第二种，通过人工调整的方式进行MassiveMIMO网络扇区优化调整。通过MassiveMIMO网络统计得到不同方向的业务分布数据、覆盖数据和干扰数据等，大致判断用户业务的聚集程度，再使用测试仪表，进行实地测试，发现覆盖、干扰较差的区域，然后通过人工调整的方式修改MassiveMIMO网络的天线权值和无线参数，实现对MassiveMIMO网络扇区的权值和无线参数的优化调整。第三种，基于轮询迭代方式进行MassiveMIMO网络扇区优化调整。使MassiveMIMO网络的每个波束扇区对所有天线权值、无线参数进行轮询遍历，对采集到的海量网络数据进行存储、评估和测试，并以MassiveMIMO网络的性能增益为目标，对采集到的样本数据与天线权值以及无线参数的不同组合进行寻优迭代，最终得到MassiveMIMO网络扇区最佳的参数组合，从而可实现MassiveMIMO网络扇区优化调整。虽然上述这些方案能够在一定程度上实施MassiveMIMO网络扇区优化调整，但是，对于快速发展的5G通信技术而言，移动通信基站的建设更新速度很快，已有的方案已远远不能满足实际应用的需求。具体而言，对于第一种，按照网络规划中的仿真模型进行MassiveMIMO网络扇区优化调整的方案，仿真模型中每一批新增入网的MassiveMIMO基站的网络规划都是严格按照规划仿真计算出的天线方位角、下倾角、半功率角、参考信号功率等参数设置。但是，当不断有新增基站入网时，已经入网的相邻MassiveMIMO基站就需要相应地优化调整；且由于新的基站入网后可使无线环境发生变化，这导致按照规划仿真的参数配置缺乏可持续性，后期网络性能下降。对于第二种，通过人工调整的方式进行MassiveMIMO网络扇区优化调整的方案，由于MassiveMIMO网络波束扇区天线权值和无线参数的组合数超过10000，基于人工调整的方案不但严重依赖操作人员的经验，而且需要后台数据分析和实地测试，分问题类型、分时间段、分批次地调整网络参数，每次优化评估均要耗费大量人力成本。特别是在MassiveMIMO网络规模入网后，需要优化调整的参数数量巨大，人工调整方式显然已无法满足应用需求，效率极低。对于第三种，基于轮询迭代方式进行MassiveMIMO网络扇区优化调整，处理时需要对所有天线权值、无线参数进行逐个轮询遍历，采集得到的海量样本数据需要存储和计算，对存储器和计算能力均有很高要求；通过采集到的历史样本数据，再迭代得到最优的权值参数组合是基于旧的优化策略得到的结果，一旦网络环境发生变化，需要采集新的数据才能迭代更新优化策略；并且，由于每个MassiveMIMO网络的扇区的无线环境不同，往往需要逐个轮询迭代进行优化配置，即使应用基于有效样本得出的预测模型进行参数组合配置，仍存在误差，仍需要返回现网继续测试和评估，后期还需要进行多次参数修正，整个过程耗时耗力。
技术实现思路
本专利技术实施例提供了一种MassiveMIMO系统优化方案，使MassiveMIMO系统不仅在优化效率和网络评估能力可以在线同时提升，而且实现优化调整与现网性能评估的在线实时交互，实时采用最优的天线权值和无线参数配置组合，实现网络性能最佳。第一方面，本专利技术实施例提供了一种MassiveMIMO系统优化方法，方法包括：为用户设备UE配置多个波束扇区，接收UE上报的测量报告MR数据和统计波束扇区性能KPI数据，并根据所述MR数据和所述KPI数据生成波束扇区状态信息矩阵；根据专家经验模式对所述状态信息矩阵的特征进行识别和判断，确定优化策略，在线强化学习生成多个马克可夫决策过程MDP训练序列，并将所述MDP训练序列存入每个波束扇区的处理缓存中；根据异步优势加权的行动者-评论家Actor-Critic深度增强学习网络并行计算所述MDP训练序列，并将学习到的最优的优化策略函数和状态值函数的权值信息，通过全局共享模式进行更新和复制；根据所述行动者-评论家深度增强学习网络学习到的优化策略，确定MassiveMIMO系统最优的天线权值和无线参数配置组合。在第一方面的一些实施例中，采用波束赋形的方式形成多个所述波束扇区覆盖不同空间区域的UE；根据所述波束扇区的参考信号接收功率强度，确定所述UE接入的波束扇区。在第一方面的一些实施例中，所述波束扇区状态信息矩阵的方程为：Xt＝{X_throughput，X_rsrp，X_Ni，X_TA，X_AOA，...}T，其中，X_throughput为波束扇区的吞吐量效率，X_rsrp为波束扇区的覆盖水平，X_Ni为波束扇区的干扰水平，X_TA为在该波束扇区下UE用于调整其主小区物理上行链路控制信道PUCCH/物理上行链路共享信道PUSCH/探测参考信号SRS上行发送的时间，X_AOA为确定UE的波达角度，t为时刻，t＝1,2,3…T。在第一方面的一些实施例中，所述根据专家经验模式对所述状态信息矩阵的特征进行识别和判断，确定优化策略，包括：根据专家经验模式对所述波束扇区不同状态信息进行识别和判断；从天线权值和无线参数的集合中选取相应的天线权值和无线参数；对选取的所述天线权值和无线参数进行优化；根据贪婪算法进行所述优化，确定优化策略。在第一方面的一些实施例中，所述天线权值和无线参数的集合的方程为：A＝{ɑ_SS-RSRP/CSI-RSRP_power，ɑ_azimuth_angle，ɑ_elevation_angle，ɑ_horizontal_HPBW，ɑ_vertical_HPBW，ɑ本文档来自技高网...

【技术保护点】
1.一种大规模多入多出Massive MIMO系统优化方法，其特征在于，所述方法包括：为用户设备UE配置多个波束扇区，接收UE上报的测量报告MR数据和统计波束扇区性能KPI数据，并根据所述MR数据和所述KPI数据生成波束扇区状态信息矩阵；根据专家经验模式对所述状态信息矩阵的特征进行识别和判断，确定优化策略，在线强化学习生成多个马克可夫决策过程MDP训练序列，并将所述MDP训练序列存入每个波束扇区的处理缓存中；根据异步优势加权的行动者‑评论家Actor‑Critic深度增强学习网络并行计算所述MDP训练序列，并将学习到的最优的优化策略函数和状态值函数的权值信息，通过全局共享模式进行更新和复制；根据所述行动者‑评论家深度增强学习网络学习到的优化策略，确定Massive MIMO系统最优的天线权值和无线参数配置组合。

【技术特征摘要】
1.一种大规模多入多出MassiveMIMO系统优化方法，其特征在于，所述方法包括：为用户设备UE配置多个波束扇区，接收UE上报的测量报告MR数据和统计波束扇区性能KPI数据，并根据所述MR数据和所述KPI数据生成波束扇区状态信息矩阵；根据专家经验模式对所述状态信息矩阵的特征进行识别和判断，确定优化策略，在线强化学习生成多个马克可夫决策过程MDP训练序列，并将所述MDP训练序列存入每个波束扇区的处理缓存中；根据异步优势加权的行动者-评论家Actor-Critic深度增强学习网络并行计算所述MDP训练序列，并将学习到的最优的优化策略函数和状态值函数的权值信息，通过全局共享模式进行更新和复制；根据所述行动者-评论家深度增强学习网络学习到的优化策略，确定MassiveMIMO系统最优的天线权值和无线参数配置组合。2.根据权利要求1所述的方法，其特征在于，所述为用户设备UE配置多个波束扇区，包括：采用波束赋形的方式形成多个所述波束扇区覆盖不同空间区域的UE；根据所述波束扇区的参考信号接收功率强度，确定所述UE接入的波束扇区。3.根据权利要求1所述的方法，其特征在于，所述波束扇区状态信息矩阵的方程为：Xt＝{X_throughput，X_rsrp，X_Ni，X_TA，X_AOA，...}T，其中，X_throughput为波束扇区的吞吐量效率，X_rsrp为波束扇区的覆盖水平，X_Ni为波束扇区的干扰水平，X_TA为在该波束扇区下UE用于调整其主小区物理上行链路控制信道PUCCH/物理上行链路共享信道PUSCH/探测参考信号SRS上行发送的时间，X_AOA为确定UE的波达角度，t为时刻，t＝1,2,3…T。4.根据权利要求1所述的方法，其特征在于，所述根据专家经验模式对所述状态信息矩阵的特征进行识别和判断，确定优化策略，包括：根据专家经验模式对所述波束扇区不同状态信息进行识别和判断；从天线权值和无线参数的集合中选取相应的天线权值和无线参数；对选取的所述天线权值和无线参数进行优化；根据贪婪算法进行所述优化，确定优化策略。5.根据权利要求4所述的方法，其特征在于，所述天线权值和无线参数的集合的方程为：A＝{ɑ_SS-RSRP/CSI-RSRP_power，ɑ_azimuth_angle，ɑ_elevation_angle，ɑ_horizontal_HPBW，ɑ_vertical_HPBW，ɑ_handover_parameter，ɑ_reselection_parameter，…}，其中，ɑ_SS-RS/CSI_RS_power为同步信号参考信号接收功率SS-RSRP/信道信息状态参考信号接收功率CSI_RSRP功率参数优化调整，ɑ_azimuth_angle为波束方位角优化调整，ɑ_elevation_angle为波束俯仰角优化调整，ɑ_horizontal_HPBW为波束水平波瓣宽度优化调整，ɑ_vertical_HPBW为波束垂直波瓣宽度优化调整，ɑ_handover_parameter为MassiveMIMO小区切换参数优化调整，ɑ_reselection_parameter为MassiveMIMO小区重选参数的优化调整；所述优化策略的表达式为：π(ɑt|St)，其中，π为优化策略函数，ɑt为天线权值和无线参数优化调整，St为波束扇区的网络状态函数。6.根据权利要求1-5任一项所述的方法，其特征在于，所述MDP训练序列的方程为：(S1，ɑ1，S2，r1，…,St，ɑt，St+1，rt，…,ST-1，ɑT-1，ST，rT)，其中，rt为性能回报，ɑt为选取的所述天线权值和无线参数优化调整，St为波束扇区的网络状态函数。7.根据权利要求6所述的方法，其特征在于，所述性能回报的方程为：rt＝η×r_CASEt+(1-η)×r_CESEt，其中，r_CASEt为小区平均吞吐效率，r_CESEt为小区边缘吞吐效率，η为小区平均吞吐效率和小区边缘吞吐量频谱效率的期望平衡的权重系数，且0≤η≤1。8.根据权利要求1所述的方法，其特征在于，所述根据专家经验模式对所述状态信息矩阵的特征进行识别和判断，确定优化策略，包括：根据专家经验模式对有助于优化网络性能的特征进行识别和判断，确定优化策略；其中，所述有助于优化网络性能的特征包括所述波束扇区的弱覆盖特征、波束扇区间干扰特征、波束扇区方向与业务UE分布特征。9.根据权利要求1所述的方法，其特征在于，所述异步优势加权的行动者-评论家深度增强学习网络并行计算所述MD...

【专利技术属性】
技术研发人员：乔勇，
申请(专利权)人：中国移动通信集团江苏有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏,32