【技术实现步骤摘要】
一种基于约束强化学习的通信感知联合优化方法及系统
[0001]本专利技术涉及感知通信联合
,尤其涉及一种基于约束强化学习的通信感知联合优化方法及系统。
技术介绍
[0002]近年来,由于其显著优势,联合感知与通信引起了越来越多的关注;首先,联合感知与通信允许雷达感知系统和通信系统彼此共享频带,从而减少由于两者频谱逐渐重叠而导致的频谱稀缺;其次,联合感知与通信使单个硬件平台能够同时执行感知和通信功能,从而减小系统尺寸和硬件成本,同时满足大量新兴应用对高质量无线连接和高精度感知能力的需求;然而,雷达感知系统与通信系统的联合也会导致系统对有限资源的竞争;因此,需要进一步研究通信与感知的联合优化问题;事实上,目前已有许多工作开展了相关的研究;然而,现有工作在优化问题中并没有联合考虑及时性与有效性的指标,并且现在工作在求解优化问题时并没有考虑到系统所处环境往往具有高度动态性和不确定性从而难以建模,这使得它们不能很好地满足各种应用场景的需求。
技术实现思路
[0003]为了解决上述技术问题,本专利技术的目的是提供一 ...
【技术保护点】
【技术特征摘要】
1.一种基于约束强化学习的通信感知联合优化方法,其特征在于,包括以下步骤:将通信感知系统建模为一个约束马尔可夫决策过程,并确定优化目标和约束条件;构建策略网络、值网络和拉格朗日乘子并采集样本数据;基于优化目标和约束条件,通过样本数据对策略网络、值网络和拉格朗日乘子进行更新训练,得到训练后的策略网络、训练后的值网络和训练后的拉格朗日乘子;通信感知系统基于训练后的策略网络、训练后的值网络和训练后的拉格朗日乘子进行信息交互。2.根据权利要求1所述一种基于约束强化学习的通信感知联合优化方法,其特征在于,所述约束马尔可夫决策过程其具体包括系统状态空间、系统动作空间和奖励函数,其表达式具体如下所示:(S,A,Pr(
·
|
·
),μ,R,C,γ)上式中,S表示系统状态空间,在时隙t开始时的状态定义为s
t
,A表示动作空间,动作a
t
表示在时隙t内执行的时间分配,Pr(
·
|
·
)表示执行动作后的状态转移概率,μ表示状态的初始分布,R表示奖励函数,R
t
表示在状态s
t
下执行动作a
t
后智能体所获的即时奖励,C表示成本函数,C
t
表示在状态s
t
下执行动作a
t
后智能体所耗费的即时成本,γ表示折扣因子。3.根据权利要求2所述一种基于约束强化学习的通信感知联合优化方法,其特征在于,所述优化目标为通信感知系统中的长期平均感知互信息,所述约束条件为通信感知系统中的长期平均年龄惩罚,其中:所述优化目标的表达式为,所述优化目标的表达式为,上式中,s1表示初始状态,δ
max
表示平均年龄惩罚的预设约束值,表示期望算子,π
θ
表示基于参数化深度神经网络的策略,相应参数为θ,T表示在环境中执行任务的总步数;所述约束条件的表达式为,上式中,Irad(U(t))表示通信接收机接收到的最新数据包的大小,表示预设的斜率上限,δ(t)表示通信接收机的信息年龄。4.根据权利要求3所述一种基于约束强化学习的通信感知联合优化方法,其特征在于,所述构建策略网络、值网络和拉格朗日乘子这一步骤,其具体包括:所述策略网络包括均值网络和标准差网络,所述策略网络用于将系统状态输入策略网络,基于得到的动作均值和动作标准差构建高斯分布,采样得到的高斯分布获取预输出动作,预输出动作经过裁剪操作限制在区间[0,1]后,得到输出动作;所述值网络包括输入层、全连接层、激活层和输出层,所述值网络用于更新策略网络的
目标函数中有优势函数的存在,并提供值函数的估计,进而用于计算优势函数估计;所述拉格朗日乘子用于拉格朗日松弛并将成本吸收进奖励中。5.根据权利要求4所述一种基于约束强化学习的通信感知联合优化方法,其特征在于,所述采集样本数据这一步骤,其具体包括:根据约束马尔可夫决策过程中的状态的初始分布,对通信感知系统进行初始化处理,得到初始化后的系统状态;将初始化后的系统状态输入至策略网络进...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。