无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法技术

本发明专利技术公开了一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法。该方法针对无蜂窝毫米波多用户移动网络中的波束分配与追踪的复杂度高，提出一种基于波束图像堆叠的多智能体深度强化学习方法，同时智能体与环境交互，动态感知环境变化，缩小波束搜索空间，从而降低了波束分配与追踪的开销。此外，本发明专利技术提出一种有效的智能体动作空间的设计方法，以解决常规方法学习速度慢以及无法进行有效最优波束的预测等问题。仿真结果证明所提方法能有效提升智能体的学习能力，降低波束扫描开销的同时提升系统性能，对于实现无蜂窝毫米波多用户移动网络中的低开销通信具有非常重要的意义，因此本发明专利技术具有一定的实际价值。因此本发明专利技术具有一定的实际价值。因此本发明专利技术具有一定的实际价值。

【技术实现步骤摘要】
无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法


[0001]本专利技术涉及一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，属于移动通信


技术介绍

[0002]创新应用和设备驱动的对高数据速率无线通信的需求不断增长，是无线网络演进的关键推动因素。微波波段(如sub
‑
6GHz以下)有限的频谱资源已无法满足流量需求。毫米波通信具有丰富的频谱资源(在30
‑
300GHz范围内)，有望成为第五代无线通信中最突出的技术，实现超高速和超低延迟传输。
[0003]对于毫米波波段的无线通信来说，严重的路径损耗和低穿透率是主要的挑战，阻碍了毫米波通信从理论概念向实际应用的发展。为了解决从基础设施层面的所有路径损耗问题，基站(Base Station，BS)采用了多输入多输出(Multiple
‑
Input Multiple
‑
Output，MIMO)技术，通过波束成形使能量聚焦，从而对抗毫米波的大衰减。对于毫米波大规模MIMO通信的实际实现，采用了高效模拟/数字混合波束形成体系结构，显著减少了射频链的数量，以提供足够的信道增益，同时保持可承受的硬件成本和能源消耗。另一个能提高毫米波大规模通信的可行方法是基站密集化，即使用更小的小区尺寸，缩短用户的访问距离，提高基站的覆盖。此外，由于毫米波波束容易被阻塞，在小区边缘的用户仍然可能遭受通信质量差和中断。无蜂窝网络打破了传统小区边界的限制，成为进一步提高系统吞吐量的一种有前途的解决方案。无蜂窝网络不仅提高了空间自由度，而且通过相干传输和接收实现协调传输，从而提供高质量的毫米波通信。
[0004]波束成形可以使能量聚焦，对抗一部分的毫米波衰减。在毫米波大规模MIMO中，常用的波束对准方法是穷举法和分层搜索法，但在无蜂窝毫米波网络中，存在多个接入点(Access Points，APs)以及移动用户(Mobile Users，MUs)，全局最优的模拟波束的复杂度与AP的数量成指数关系，性能最优的同时会带来过大的访问延迟。且基于中央处理器(Central Processing Unit，CPU)的数字预编码也会因为矩阵维度过大导致计算开销大。毫米波通信容易堵塞，且用户在移动，多AP需要重新进行波束对准，因此需要为无蜂窝毫米波网络中设计一种快速有效的波束对准与追踪方案，降低波束对准与追踪的开销，提高系统的整体性能。
[0005]同时在无线通信中，主要依靠信道状态信息(Chanel State Information，CSI)来设计模拟预编码和数字预编码。但是在无蜂窝毫米波网络中通常难以准确获得。因此可以使用波束扫描获得的等效信道来替代CSI。深度Q
‑
网络(Deep Q
‑
network，DQN)通过衡量状态
‑
动作对的好坏，为深度强化学习(Deep Reinforcement Learning，DRL)构建了一个价值函数模型，有效地解决了q值表大小对Q
‑
learning网络的限制问题。但在多用户移动的网络时，若只有当前的状态输入网络，则无法判断移动的速度和方向，这使得系统成为一个部分可观察马尔科夫决策过程(Partially Observation Markov Decision Process，POMDP)，DQN不能很好的解决该类问题。并且在进行波束追踪的时候，下一个时刻的波束也与之前的
状态有关，之前的状态有利于智能体提取出有用的历史信息。因此，需要将波束扫描的等效信道构建成波束图像，并堆叠波束图像，增加时间维度，以提高DQN智能体的学习以及感知能力，从而降低系统的波束分配开销和提高系统的用户频谱效率。

技术实现思路

[0006]技术问题：本专利技术针对无蜂窝毫米波多用户移动网络中的波束分配与追踪的复杂度高，传统常规的波束对齐方案难以感知环境变化，且一般的DQN状态定义方法难以较好解决多用户移动网络等问题，提出一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，以解决常规方法学习速度慢以及无法进行有效最优波束的预测等问题。
[0007]技术方案：本专利技术的一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法应用于无蜂窝毫米波网络中，包括以下步骤：
[0008]步骤1：在无蜂窝毫米波下构建多用户移动网络，网络中包含多个毫米波接入点AP和多个移动用户MU。AP与MU进行无线通信前，需要通过波束对准。在用户移动场景下进行的波束对准叫做波束追踪。在进行波束追踪前，需要构建信道以及获取一些必须的信息；
[0009]步骤2：基于已有的信息，定义波束图像、深度Q
‑
网络DQN中的状态、动作和回报函数，以及初始化智能体；
[0010]步骤3：智能体初始化之后，开始进行训练，主要包括：执行动作并与环境交互，获得观测值计算回报值以及将一次交互的数据存储；
[0011]步骤4：基于已有的信息，智能体开始进行智能决策，主要工作是基于DQN算法动态智能求解波束子空间：
[0012]步骤4.1，获取最优指向波束：每个智能体进行波束扫描以获得初始的最优指向波束；
[0013]步骤4.2，实时交互训练DQN网络：包括采用动态贪心算法决策出最大Q值的动作，进行步骤3.1
‑
3.3，不断交互训练，同时使用经验重放更新记忆池。
[0014]所述步骤1具体包括：
[0015]步骤1.1，构建信道模型：在无蜂窝毫米波用户移动网络中，一共有L个随机分布的毫米波接入点AP连接到中央处理器CPU，每个AP有N
AP
根天线，N
RF
个射频链；同时有K个单天线移动用户MU随机分布在覆盖区域内，MU和AP通信前，需要通过波束对准与毫米波AP执行波束分配，假设第k个MU与第l个AP之间的信道为：采用毫米波窄带e_SV模型；同时每个AP端为均匀线性天线的天线阵列ULA，为了降低无蜂窝毫米波网络中的干扰，模拟预编码码本采用正交的离散傅里叶变化DFT码本,即其中n,q分别表示行和列元素；
[0016]步骤1.2，确定AP与MU的服务状态：表示第k个MU的服务AP集合，表示第l个AP的服务用户集合，这两个集合为已知；每个AP只需为其服务的MU设计数字预编码向量，每一条服务关系都对应一个智能体，因此每个AP有N
RF
个智能体，其中活跃的智能体数量不大于N
RF
；
[0017]步骤1.3，构建接收信号模型：依据系统架构和信道模型给出MU的接收信号表达
式。
[0018]所述步骤2具体包括：
[0019]步骤2.1，定义波束图像：每个AP从预定义的模拟码本中发送全向的训练信号，MU测量接收到的所有等效信道为其中的每一列表示第k个MU与第l个AP之间的信道的共轭转置与DFT码本中的一个码本相乘；波束图像定义为为实际波束扫描获取到的等效信道的矩阵拼接，若某一个码本模式未被选用来进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，其特征在于：该方法应用于无蜂窝毫米波网络中，包括以下步骤：步骤1：在无蜂窝毫米波下构建多用户移动网络，网络中包含多个毫米波接入点AP和多个移动用户MU。AP与MU进行无线通信前，需要通过波束对准。在用户移动场景下进行的波束对准叫做波束追踪。在进行波束追踪前，需要构建信道以及获取一些必须的信息；步骤2：基于已有的信息，定义波束图像、深度Q
‑
网络DQN中的状态、动作和回报函数，以及初始化智能体；步骤3：智能体初始化之后，开始进行训练，主要包括：执行动作并与环境交互，获得观测值计算回报值以及将一次交互的数据存储；步骤4：基于已有的信息，智能体开始进行智能决策，主要工作是基于DQN算法动态智能求解波束子空间：步骤4.1，获取最优指向波束：每个智能体进行波束扫描以获得初始的最优指向波束；步骤4.2，实时交互训练DQN网络：包括采用动态贪心算法决策出最大Q值的动作，进行步骤3.1
‑
3.3，不断交互训练，同时使用经验重放更新记忆池。2.根据权利要求1所述无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，其特征在于：所述步骤1具体包括：步骤1.1，构建信道模型：在无蜂窝毫米波用户移动网络中，一共有L个随机分布的毫米波接入点AP连接到中央处理器CPU，每个AP有N
AP
根天线，N
RF
个射频链；同时有K个单天线移动用户MU随机分布在覆盖区域内，MU和AP通信前，需要通过波束对准与毫米波AP执行波束分配，假设第k个MU与第l个AP之间的信道为：采用毫米波窄带e_SV模型；同时每个AP端为均匀线性天线的天线阵列ULA，为了降低无蜂窝毫米波网络中的干扰，模拟预编码码本采用正交的离散傅里叶变化DFT码本,即其中n,q分别表示行和列元素；步骤1.2，确定AP与MU的服务状态：表示第k个MU的服务AP集合，表示第l个AP的服务用户集合，这两个集合为已知；每个AP只需为其服务的MU设计数字预编码向量，每一条服务关系都对应一个智能体，因此每个AP有N
RF
个智能体，其中活跃的智能体数量不大于N
RF
；步骤1.3，构建接收信号模型：依据系统架构和信道模型给出MU的接收信号表达式。3.根据权利要求1所述无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，其特征在于：所述步骤2具体包括：步骤2.1，定义波束图像：每个AP从预定义的模拟码本中发送全向的训练信号，MU测量接收到的所有等效信道为其中的每一列表示第k个MU与第l个AP之间的信道的共轭转置与DFT码本中的一个码本相乘；波束图像定义为为实际波束扫描获取到的等效信道的矩阵拼接，若某一个码本模式未被选用来进行波束扫描，则该数据为0；步骤2.2，定义状态：将波束图像进行堆叠，构造成时间维度上的波束图像；
步骤2.3，定义动作：由(a,b)表示，a代表智能体对用户移动之后的下一个波束搜索中心的预测，b代表在预测的波束中心附近搜索的范围大小；步骤2.4，定...

【专利技术属性】
技术研发人员：李佳珉，金忻月，林子彦，叶枫，朱鹏程，王东明，尤肖虎，
申请(专利权)人：东南大学，
类型：发明
国别省市：