基于信道预测的波束切换方法及装置制造方法及图纸

本发明专利技术公开了一种基于信道预测的波束切换方法及装置，该方法结合了通感一体化(ISAC)技术，在通信和感知资源共享的基础上，同时引入了可重构智能表面(RIS)对信道情况进行预测，做出波束切换的决策。该方法包括在每一个时隙内，获取车联网场景中的状态信息；将状态信息输入到强化学习Q值网络中，以便得到所有动作对应的Q值，并采用ε

【技术实现步骤摘要】
基于信道预测的波束切换方法及装置


[0001]本专利技术涉及无线通信
，特别涉及一种基于信道预测的波束切换方法和一种基于信道预测的波束切换装置。

技术介绍

[0002]随着无线通信技术的快速发展，毫米波技术具有大带宽、频率高等特性，逐渐成为人们研究的热点，但是毫米波同样存在着严重的传播损耗，随着大规模多输入多输出(multiple
‑
in multiple
‑
out,MIMO)天线技术的发展，毫米波MIMO技术可以补偿毫米波带来的传播损耗，充分利用空域资源，发送定向波束，具有更高的系统容量和频谱效率。
[0003]在车联网当中，考虑到频谱资源的有限，通感一体化技术被广泛应用在该场景中，该技术将感知和通信融合在一起，二者共用频谱资源，着重为车联网提供较低的时延和较高的可靠性；基于车联网场景的复杂性，信号传输很容易受到地面障碍物或者移动的障碍物的阻挡，这会导致信号中断，另外，车辆大多处于一个高速移动的状态，这造成了车辆和基站端的位置不断发生着变化，尤其是在多基站、多车辆的场景下，高移动性会导致频繁的波束切换，信道阻塞也会影响波束切换的频率，如何实现快速且精准的波束切换，并减少波束切换的开销，是当前研究的一大挑战。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于信道预测的波束切换方法，综合考虑了通信和感知两种功能，一定程度上节省了频谱资源，并引入了RIS无源中继，解决了车联网中信道容易受到阻塞的问题，同时也可以减少信道阻塞造成的过度切换次数，从而提高了通信链路的稳定性。
[0005]本专利技术的第二个目的在于提出一种基于信道预测的波束切换装置。
[0006]为达到上述目的，本专利技术第一方面实施例提出了一种基于信道预测的波束切换方法，包括在每一个时隙内，获取车联网场景中的当前时隙的状态信息，其中，所述状态信息包括车辆接收信号、信道阻塞情况、基站回波信号、通信感知性能、车辆和通信基站之间的通信速率、估计的车辆和其他候选基站之间的通信速率；将所述状态信息输入到强化学习Q值网络中，以便得到所述强化学习Q值网络的所有动作对应的Q值，并采用ε
‑
贪婪法在当前Q值中输出对应的动作，其中，所述动作包括每个车辆的切换指示、基站到车辆的发射波束向量、每个RIS设备的相移矩阵和每个基站发射到每个车辆的功率；执行所述动作，此时当前环境的状态会进行更新得到一个新的状态信息以作为下一时隙的状态信息，且每执行完一个动作都会得到对应的奖励值；将所述当前时隙的状态信息、所述动作、所述奖励值和所述下一时隙的状态信息存储在经验池中，以便在经验池中得到每一个时隙对应的当前时隙的状态信息、动作、奖励值和下一时隙的状态信息；从所述经验池中进行数据采样，以便根据采样的数据对所述强化学习Q值网络进行训练，以得到训练好的Q值网络，以便根据训练好的Q值网络进行波束切换。
[0007]根据本专利技术实施例的基于信道预测的波束切换方法，首先，在每一个时隙内，获取车联网场景中的当前时隙的状态信息，其中，状态信息包括车辆接收信号、信道阻塞情况、基站回波信号、通信感知性能、车辆和通信基站之间的通信速率、估计的车辆和其他候选基站之间的通信速率；将状态信息输入到强化学习Q值网络中，以便得到强化学习Q值网络的所有动作对应的Q值，并采用ε
‑
贪婪法在当前Q值中输出对应的动作，其中，动作包括每个车辆的切换指示、基站到车辆的发射波束向量、每个RIS设备的相移矩阵和每个基站发射到每个车辆的功率；执行动作，此时当前环境的状态会进行更新得到一个新的状态信息以作为下一时隙的状态信息，且每执行完一个动作都会得到对应的奖励值；将当前时隙的状态信息、动作、奖励值和下一时隙的状态信息存储在经验池中，以便在经验池中得到每一个时隙对应的当前时隙的状态信息、动作、奖励值和下一时隙的状态信息；然后，从经验池中进行数据采样，以便根据采样的数据对强化学习Q值网络进行训练，以得到训练好的Q值网络，以便根据训练好的Q值网络进行波束切换；由此，综合考虑了通信和感知两种功能，一定程度上节省了频谱资源，并引入了RIS无源中继，解决了车联网中信道容易受到阻塞的问题，同时也可以减少信道阻塞造成的过度切换次数，从而提高了通信链路的稳定性。
[0008]另外，根据本专利技术上述实施例提出的基于信道预测的波束切换方法还可以具有如下附加的技术特征：
[0009]可选地，所述车联网场景中包括若干个基站、车辆和RIS设备，所述若干个基站和RIS设备的位置固定，所述车辆在所述车联网场景中随机运动，中央控制器作为强化学习的智能体，掌握着所有基站的信息。
[0010]可选地，在每一轮迭代开始时，初始化所述强化学习的智能体，以便基站端随机形成车辆功率分配、发射信号矢量、发射波束矩阵和RIS设备的相移矩阵。
[0011]可选地，在每一个时隙内，获取车联网场景中的当前时隙的状态信息，包括：所述车辆接收信号、信道阻塞情况、基站回波信号、通信感知性能、车辆和通信基站之间的通信速率、估计的车辆和其他候选基站之间的通信速率。
[0012]可选地，如果车辆的切换指示为1时，则所述车辆发生基站切换；如果车辆的切换指示为0时，则所述车辆未发生基站切换。
[0013]可选地，根据预设终止条件在每一个时隙内进行状态信息更新迭代，并将迭代过程中的每一个时隙对应的当前时隙的状态信息、动作、奖励值和下一时隙的状态信息存储到经验池中。
[0014]为达到上述目的，本专利技术第二方面实施例提出了一种基于信道预测的波束切换装置，包括：获取模块，用于在每一个时隙内，获取车联网场景中的当前时隙的状态信息，其中，所述状态信息包括车辆接收信号、信道阻塞情况、基站回波信号、通信感知性能、车辆和通信基站之间的通信速率、估计的车辆和其他候选基站之间的通信速率；处理模块，用于将所述状态信息输入到强化学习Q值网络中，以便得到所述强化学习Q值网络的所有动作对应的Q值，并采用ε
‑
贪婪法在当前Q值中输出对应的动作，其中，所述动作包括每个车辆的切换指示、基站到车辆的发射波束向量、每个RIS设备的相移矩阵和每个基站发射到每个车辆的功率；状态更新模块，用于执行所述动作，此时当前环境的状态会进行更新得到一个新的状态信息以作为下一时隙的状态信息，且每执行完一个动作都会得到对应的奖励值；存储模块，用于将所述当前时隙的状态信息、所述动作、所述奖励值和所述下一时隙的状态信息存
储在经验池中，以便在经验池中得到每一个时隙对应的当前时隙的状态信息、动作、奖励值和下一时隙的状态信息；训练切换模块，用于从所述经验池中进行数据采样，以便根据采样的数据对所述强化学习Q值网络进行训练，以得到训练好的Q值网络，以便根据训练好的Q值网络进行波束切换。
[0015]根据本专利技术实施例的基于信道预测的波束切换装置，通过获取模块，在每一个时隙内，获取车联网场景中的当前时隙的状态信息，其中，状态信息包括车辆接收信号、信道阻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信道预测的波束切换方法，其特征在于，包括以下步骤：在每一个时隙内，获取车联网场景中的当前时隙的状态信息，其中，所述状态信息包括车辆接收信号、信道阻塞情况、基站回波信号、通信感知性能、车辆和通信基站之间的通信速率、估计的车辆和其他候选基站之间的通信速率；将所述状态信息输入到强化学习Q值网络中，以便得到所述强化学习Q值网络的所有动作对应的Q值，并采用ε
‑
贪婪法在当前Q值中输出对应的动作，其中，所述动作包括每个车辆的切换指示、基站到车辆的发射波束向量、每个RIS设备的相移矩阵和每个基站发射到每个车辆的功率；执行所述动作，此时当前环境的状态会进行更新得到一个新的状态信息以作为下一时隙的状态信息，且每执行完一个动作都会得到对应的奖励值；将所述当前时隙的状态信息、所述动作、所述奖励值和所述下一时隙的状态信息存储在经验池中，以便在经验池中得到每一个时隙对应的当前时隙的状态信息、动作、奖励值和下一时隙的状态信息；从所述经验池中进行数据采样，以便根据采样的数据对所述强化学习Q值网络进行训练，以得到训练好的Q值网络，以便根据训练好的Q值网络进行波束切换。2.如权利要求1所述的基于信道预测的波束切换方法，其特征在于，所述车联网场景中包括若干个基站、车辆和RIS设备，所述若干个基站和RIS设备的位置固定，所述车辆在所述车联网场景中随机运动，中央控制器作为强化学习的智能体，掌握着所有基站的信息。3.如权利要求2所述的基于信道预测的波束切换方法，其特征在于，在每一轮迭代开始时，初始化所述强化学习的智能体，以便基站端随机形成车辆功率分配、发射信号矢量、发射波束矩阵和RIS设备的相移矩阵。4.如权利要求3所述的基于信道预测的波束切换方法，其特征在于，在每一个时隙内，获取车联网场景中的当前时隙的状态信息，包括：所述车辆接收信号、信道阻塞情况、基站回波信号、通信感知性能、车辆和通信基站之间的通信速率、估计的车辆和其他候选基站之间的通信速率。5.如权利要求4所述的基于信道预测的波束切换方法，其特征在于，如果车辆的切换指示为1时，则所述车辆发生基站切换；如果车辆的切换指示为0时，则所述车辆未发生基站切换。6.如权利要求5所述的基于信道预测的波束切换方法，其特征在于，根据预设终止...

【专利技术属性】
技术研发人员：赵毅峰，刘炫慧，王晓琦，刘浩然，黄轩，
申请(专利权)人：厦门大学，
类型：发明
国别省市：