【技术实现步骤摘要】
本专利技术属于无线通信领域波束管理领域，涉及毫米波大规模多输入多输出场景的波束对准领域，具体涉及一种基于态势感知信息辅助的波束对准方法及相关设备。
技术介绍
1、当前，毫米波技术由于具有实现高数据速率的潜力，已成为6g无线通信的候选技术之一。然而，由于频率高，毫米波通信系统经常遭受严重的空间路径损失。为了对抗路径损耗，基站和用户设备需要配备大型天线阵列来实现波束成形增益。只有基站和用户将其波束与mimo信道正确对准，才能确保高的波束成形增益。在传统的穷举搜索或分层搜索方法中，发送端和接收端需要扫描码本中的大量候选波束，导致开销和时延过高。因此，开发一种既能实现高精度又能实现低开销的毫米波大规模mimo波束对准方法势在必行。
2、近年来，机器学习凭借其出色的学习能力，在波束对准领域越来越显示出巨大的潜力。然而，现有的基于机器学习的波束对准方案大多是采用监督学习的方法，需要前期大量数据集的收集和训练，为实际应用带来了负担和阻碍。而与监督学习相比，结合了深度学习的感知能力与强化学习的决策能力的深度强化学习(deep reinforcement learning,drl)备受研究人员青睐。它不需要标签并且具有自适应性，可以在与环境交互的过程中不断地改进智能体的决策策略，因此能够适应各种应用场景。
3、为了进一步减少训练开销，位置信息辅助波束对准成为一种很有前途的方案。然而，已有的解决方案大多是只利用用户终端的位置信息来进行波束对准，而忽略了影响信道的其他物体的信息，这使得预测非视距链路变得困难；忽略了系统中用户通
技术实现思路
1、为克服上述技术的缺点，本专利技术提供一种基于态势感知信息辅助的波束对准方法及相关设备，能够解决现有对准措施只利用用户终端的位置信息来进行波束对准，而忽略了影响信道的其他物体的信息，导致无法满足用户高质量通信需求的技术问题。
2、为了达到上述目的，本专利技术采用技术方案如下：
3、一种基于态势感知信息辅助的波束对准方法，应用于基站，包括：
4、采集态势感知信息；所述态势感知信息包括用户终端和周围车辆的位置信息；
5、将态势感知信息输入至波束对准模型，输出待训练的波束对集合；
6、将待训练的波束对集合中的各波束对进行波束训练，输出最优波束对以实现波束对准，并利用最优波束对的方向与用户终端进行数据传输以实现波束对准；
7、其中，所述波束对准模型采用dqn网络，并基于同一车流密度分布下的态势感知信息及所对应的波束对集合进行模型经构建和训练得到。
8、进一步地，所述将待训练的波束对集合中的各波束对进行波束训练，输出最优波束对以实现波束对准的具体步骤如下：
9、基站和用户终端分别通过对待训练的波束对集合中的不同波束对进行信号发送和接收；
10、在信号发送和接收的过程中，对每一个波束对，测量信号的质量参数；
11、基站和用户终端根据测量的信号质量参数，选择具有最高信号质量参数的波束对作为最优波束对；
12、基站和用户终端将天线指向最优波束对的方向进行对准。
13、进一步地，所述波束对准模型的构建和训练步骤如下：
14、基于dqn网络初始化完全相同的用于实时估计q值的当前q网络和提供稳定的目标q值的目标q网络；
15、将获取的同一车流密度分布下的态势感知信息作为状态，输入至当前q网络；当前q网络根据ε-贪心策略从动作空间选择动作，并将动作与环境进行交互；确定与动作对应的奖励和执行动作后环境到达的下一状态；将当前状态、动作、奖励与下一状态确定为一条经验数据；并将经验数据存于回放记忆池中；将下一状态输入至所述初始当前q网络，以使初始当前q网络与环境继续进行交互，得到多条经验数据；
16、根据多条经验数据对当前q网络与目标q网络进行更新，将当前q网络更新后的参数全部复制给目标q网络，直至当前q网络收敛，得到训练好的波束对准模型。
17、进一步地，更新当前q网络的q值的具体公式如下：
18、
19、其中，θ为当前q网络的参数，θ-表示目标q网络的参数；q(s,a)为在状态s下执行动作a所能获得的价值，γ为折扣因子，为学习率，s，a，r和s'分别为状态、动作、奖励与下一状态，maxa'q(s',a')表示在下一状态下选择具有最大q值的动作；
20、更新目标q网络的q值的具体公式如下：
21、
22、其中，θ-表示目标q网络的参数，r是即时奖励，γ是折扣因子，s'是下一状态，a'是在下一个状态选择的最优动作，maxa'q(s',a'；θ-)表示在下一状态下选择具有最大q值的动作；
23、其中，所述波束对准模型的第i次迭代的损失函数计算公式如下：
24、
25、其中，(s,a,r,s'):d是从回放记忆池中随机抽样得到的经验数据；是第i次迭代的目标q网络参数，θi是当前q网络参数。
26、进一步地，所述动作空间的获取步骤包括：
27、通过离线观测位置箱上先后经过的n个车辆，记录每辆车在每个波束对下的接收信号功率，然后将每个波束对下记录的n次观测值求平均得到关于所有波束对的平均接收功率；将得到的所有平均接收功率由大到小排序，最后将排名前m的波束对作为q网络的动作空间；其中，m小于总的波束对数目。
28、进一步地，所述态势感知信息基于全球定位系统得到，其中，每辆车的位置记为(x,y,z)，其中x为车辆距基站的水平距离，y为距基站的垂直距离，z为距地面的高度；将态势感知信息中的车辆按照距离用户终端由近到远的顺序排列。
29、进一步地，当通信环境中车流密度发生剧变时，根据重新获取新态势感知信息对波束对准模型进行重新构建和训练。
30、一种基于态势感知信息辅助的波束对准系统，用于实现上述基于态势感知信息辅助的波束对准方法的步骤，包括：
31、信息采集模块，用于采集态势感知信息；所述态势感知信息包括用户终端和周围车辆的位置信息；
32、数据处理模块，用于将态势感知信息输入至波束对准模型，输出待训练的波束对集合；
33、波束对准模块，用于将待训练的波束对集合中的各波束对进行波束训练，输出最优波束对以实现波束对准，并利用最优波束对的方向与用户终端进行数据传输以实现波束对准；
34、其中，所述波束对准模型采用dqn网络，并基于同一车流密度分布下的态势感知信息及所对应的波束对集合进行模型经构建和训练得到。
35、一种设备，包括：
36、存储器，用于存储计算机程序；
37、处理器，用于执行所述计算机程序时实现上述基于态势感知信息辅助的波束对准方法的步骤。
38、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机本文档来自技高网...
【技术保护点】
1.一种基于态势感知信息辅助的波束对准方法，应用于基站，其特征在于，包括：
2.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述将待训练的波束对集合中的各波束对进行波束训练，输出最优波束对以实现波束对准的具体步骤如下：
3.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述波束对准模型的构建和训练步骤如下：
4.根据权利要求3所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，更新当前Q网络的Q值的具体公式如下：
5.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述动作空间的获取步骤包括：
6.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述态势感知信息基于全球定位系统得到，其中，每辆车的位置记为(x,y,z)，其中x为车辆距基站的水平距离，y为距基站的垂直距离，z为距地面的高度；将态势感知信息中的车辆按照距离用户终端由近到远的顺序排列。
7.根据权利要求1所述的一种基于态势感知信息辅助的波束对
8.一种基于态势感知信息辅助的波束对准系统，用于实现权利要求1-7任一项所述基于态势感知信息辅助的波束对准方法的步骤，其特征在于，包括：
9.一种设备，其特征在于，包括：
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现权利要求1-7任一项所述基于态势感知信息辅助的波束对准方法的步骤。
...【技术特征摘要】
1.一种基于态势感知信息辅助的波束对准方法，应用于基站，其特征在于，包括：
2.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述将待训练的波束对集合中的各波束对进行波束训练，输出最优波束对以实现波束对准的具体步骤如下：
3.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述波束对准模型的构建和训练步骤如下：
4.根据权利要求3所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，更新当前q网络的q值的具体公式如下：
5.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述动作空间的获取步骤包括：
6.根据权利要求1所述的一种基于态势感知信息辅助的波束对准方法，其特征在于，所述态势感知信息基于全球定位系...
【专利技术属性】
技术研发人员：徐静，张华，范武杰，樊思萌，张渭乐，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。