基于深度强化学习的通感融合车联网信息传输增强方法技术

本发明专利技术涉及车辆网信息传输技术领域，公开了一种基于深度强化学习的通感融合车联网信息传输增强方法，包括：S1、设计目标车辆相对于路边单元的克拉美

【技术实现步骤摘要】
基于深度强化学习的通感融合车联网信息传输增强方法


[0001]本专利技术涉及车辆网信息传输
，具体涉及一种基于深度强化学习的通感融合车联网信息传输增强方法。

技术介绍

[0002]通信和感知技术融合(Integrated communication and sensing，ISAC)将提升第六代通信网络信息传输速率和感知精度性能。因此，ISAC技术具有共享频谱、硬件平台和联合信号处理的框架，可以作为车联网和自动驾驶等领域的新型关键技术之一。
[0003]自动驾驶和车联网技术正在成为智能交通网络的重要发展趋势。通过在车辆本身搭载传感器和微型处理单元，车辆可以获取环境信息辅助驾驶，同时与周围车辆、基础设施和人类用户进行通信。然而，车辆高速移动和计算能力受限等问题会导致传感器精度下降，存在大量感知数据处理和传输等难点问题。因此，为了解决这些问题，可以在道路周围架设基础设施，例如小型基站和路边单元，将部分或全部感知任务交由路边基础设施执行，并建立高速通信链路，实时交互数据。
[0004]该路边基础设施部署的ISAC信号由雷达通信发射一体机实现发射，路边基础设施通过发射ISAC信号与目标车辆通信，同时执行感知任务。获得的感知数据可用于辅助通信，减少通信的信令开销，提升信息传输速率。这种技术在智能交通领域有广泛的应用前景，可以提高车辆通信和感知的效率和精度，使智能交通网络更加安全和便捷。现有的技术大通常采用传统的凸优化方法，去求解波束成形和功率分配以保证信息传输速率，但是该方法存在计算复杂度高、收敛性能差等不足。此外，ISAC技术中必须考虑目标感知的约束，非凸的克拉美
‑
罗下界(Cramer
‑
Rao lower bound，CRLB)作为感知约束将使得现有方法难以应用。

技术实现思路

[0005]本专利技术提供一种基于深度强化学习的通感融合车联网信息传输增强方法，以解决上述问题。
[0006]本专利技术通过下述技术方案实现：
[0007]一种基于深度强化学习的通感融合车联网信息传输增强方法，包括：
[0008]S1、设计目标车辆相对于路边单元的克拉美
‑
罗下界作为感知约束；
[0009]S2、获取所有目标车辆与路边单元之间的ISAC信号的和速率；
[0010]S3、基于所述ISAC信号的和速率以及所述感知约束，建立关于路边单元的波束成形和发射功率相关的和速率最大模型；
[0011]S4、将所述和速率最大模型基于深度强化学习方法进行求解，通过联合优化路边单元的波束成形和发射功率，得到最优的波束成形和发射功率，从而在保证感知性能的需求下提升车联网信息传输速率。
[0012]作为优化，S1中，所述目标车辆相对于路边单元的克拉美
‑
罗下界包括目标车辆相
对于路边单元角度的角度克拉美
‑
罗下界以及距离的距离克拉美
‑
罗下界，其中，所述角度克拉美
‑
罗下界为：
[0013][0014]所述距离克拉美
‑
罗下界为：
[0015][0016]其中，θ
m
为目标车辆m相对于路边单元的角度，d
m
为目标车辆m相对于路边单元的距离，w
m
表示路边单元对目标车辆m的ISAC信号波束成形导向矢量，p
m
表示路边单元对目标车辆m发射ISAC信号的发射功率，和表示角度和距离对应的估计噪声方差，c表示电磁波信号中在真空中传播的速度。
[0017]作为优化，S2中，所有目标车辆与路边单元之间的ISAC信号的和速率具体为：
[0018][0019]其中，M为目标车辆的总数量，γ
m
(w
m
,p
m
)为目标车辆m接收ISAC信号的信号干扰噪声比。
[0020]作为优化，目标车辆m接收ISAC信号的信号干扰噪声比γ
m
(w
m
,p
m
)具体公式为：
[0021][0022]其中，G表示路边单元的天线阵列的增益，a
H
(θ
m
)为天线阵列的发射导向矢量，为车辆端接收噪声功率，w
j
表示路边单元对非目标车辆m的车辆j进行ISAC信号波束成形的导向矢量，p
j
表示路边单元对非目标车辆m的车辆j发射ISAC信号的发射功率，α
m
为目标车辆m与路边单元通信传输信道的路径损耗系数。
[0023]作为优化，目标车辆m与路边单元通信传输信道的路径损耗系数α
m
具体为：
[0024][0025]其中，ζ和α0分别是路径损耗指数和参考距离d0处的路径损耗。
[0026]作为优化，所述和速率最大模型具体为：
[0027][0028][0029][0030][0031]其中，W表示路边单元与目标车辆之间的下行链路波束成形矩阵，p是路边单元发
射ISAC信号的功率矢量，P
max
是路边单元支持的最大发射功率，∈
θ
和∈
d
分别为保证感知精度的最大可容忍克拉美
‑
罗下界阈值，∈
θ
即为角度克拉美
‑
罗下界的最大阈值，∈
d
即为距离克拉美
‑
罗下界的最大阈值。
[0032]作为优化，在S4之前，对深度强化学习方法对应的神经网络进行迭代训练，优化迭代过程的策略，其迭代过程遵循贝尔曼方程，深度强化学习方法对应的神经网络包括目标神经网络和估计神经网络，训练过程为：
[0033]S4.1、将所述路边单元视为智能体，设计所述智能体的动作空间、状态空间和环境奖励；
[0034]S4.2、将所述智能体在决策阶段与环境交互获得的动作、状态和环境奖励信息存储于经验回放池中；
[0035]S4.3、从所述经验回放池中随机选择批量固定大小的训练数据进行训练；
[0036]S4.4、将所述批量训练数据分别传输到所述目标神经网络和所述估计神经网络中；
[0037]S4.5、所述批量训练数据输入至所述目标神经网络后输出目标Q值，所述小批量训练数据输入至所述估计神经网络后输出估计Q值；
[0038]S4.6、将所述目标Q值与所述估计Q值进行误差损失计算，所述估计神经网络基于所述误差损失进行反向梯度更新网络参数，以减少误差；
[0039]S4.7、依据所述估计神经网络的参数定期更新所述目标神经网络。
[0040]作为优化，S4.2中，将所述智能体在决策阶段与环境交互获得的动作、状态和环境奖励信息存储于经验回放池中的具体过程为：
[0041]S4.2.1、初始化所述目标神经网络和估计神经网络的参数，并获得所述智能体的初始状态s0；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的通感融合车联网信息传输增强方法，其特征在于，包括：S1、设计目标车辆相对于路边单元的克拉美
‑
罗下界作为感知约束；S2、获取所有目标车辆与路边单元之间的ISAC信号的和速率；S3、基于所述ISAC信号的和速率以及所述感知约束，建立关于路边单元的波束成形和发射功率相关的和速率最大模型；S4、基于深度强化学习方法对所述和速率最大模型进行求解，通过联合优化路边单元的波束成形和发射功率，得到最优的波束成形和发射功率，从而在保证感知性能的需求下提升车联网信息传输速率。2.根据权利要求1所述的一种基于深度强化学习的通感融合车联网信息传输增强方法，其特征在于，S1中，所述目标车辆相对于路边单元的克拉美
‑
罗下界包括目标车辆相对于路边单元角度的角度克拉美
‑
罗下界以及距离的距离克拉美
‑
罗下界，其中，所述角度克拉美
‑
罗下界为：所述距离克拉美
‑
罗下界为：其中，θ
m
为目标车辆m相对于路边单元的角度，d
m
为目标车辆m相对于路边单元的距离，w
m
表示路边单元对目标车辆m的ISAC信号波束成形导向矢量，p
m
表示路边单元对目标车辆m发射ISAC信号的发射功率，和表示角度和距离对应的估计噪声方差，c表示电磁波信号中在真空中传播的速度。3.根据权利要求2所述的一种基于深度强化学习的通感融合车联网信息传输增强方法，其特征在于，S2中，所有目标车辆与路边单元之间的ISAC信号的和速率具体为：其中，M为目标车辆的总数量，γ
m
(w
m
,p
m
)为目标车辆m接收ISAC信号的信号干扰噪声比。4.根据权利要求3所述的一种基于深度强化学习的通感融合车联网信息传输增强方法，其特征在于，目标车辆m接收ISAC信号的信号干扰噪声比γ
m
(w
m
,p
m
)具体公式为：其中，G表示路边单元的天线阵列的增益，a
H
(θ
m
)为天线阵列的发射导向矢量，为车辆接收噪声功率，w
j
表示路边单元对非目标车辆m的车辆j进行ISAC信号波束成形的导向矢量，p
j
表示路边单元对非目标车辆m的车辆j发射ISAC信号的发射功率，α
m
为目标车辆m与路边单元通信传输信道的路径损耗系数。
5.根据权利要求4所述的一种基于深度强化学习的通感融合车联网信息传输增强方法，其特征在于，目标车辆m与路边单元通信传输信道的路径损耗系数α
m
具体为：其中，ζ和α0分别是路径损耗指数和参考距离d0处的路径损耗。6.根据权利要求5所述的一种基于深度强化学习的通感融合车联网信息传输增强方法，其特征在于，所述和速率最大模型具体为：(P1):(P1):(P1):(P1):其中，W表示路边单元与目标车辆之间的下行链路波束成形矩阵，p是路边单元发射ISAC信号的功率矢量，P
max
是路边单元支持的最大发射功率，∈
θ
和∈
d
分别为保证感知精度的最大可容忍克拉美
‑
罗下界阈值，∈
θ
即为角度克拉美
‑
罗下界的最大阈值，∈
d
即为距离克拉美
‑
...

【专利技术属性】
技术研发人员：王鑫，李新民，刘易阳，张晓强，赵龙，汪玉，肖家锴，张敏，邢璐，蔡翔，付颖，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：