System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于深度Q学习的FMCW雷达相干干扰抑制方法技术_技高网

一种基于深度Q学习的FMCW雷达相干干扰抑制方法技术

技术编号:41722145 阅读:31 留言:0更新日期:2024-06-19 12:47
随着汽车雷达的日益普及,雷达之间的互相干扰正在成为一个严重的问题。为了解决这个问题,我们提出了一种基于深度强化学习的时域和频域联合策略。该方法可以在时、频两个域内帮助汽车雷达避免互相干扰。数值仿真结果表明我们所提出的方法可以有效地避开与受干扰雷达有着相同扫频参数的干扰。相较于跳频,该方法将平均避开率从33.7%提升至49.6%。为了进一步提升该方法的实用性,我们引入了动作代价机制来降低雷达参数切换频率。我们所提出的方法可用于频谱和硬件资源受限的情况。

【技术实现步骤摘要】

本专利技术涉及调频连续波(frequency modulated continuous wave,fmcw)雷达抗干扰领域,特别涉及汽车雷达场景中,消除扫频参数相同的雷达之间的互相干扰方法。


技术介绍

1、汽车雷达在高级辅助驾驶系统中至关重要。其中,调频连续波(frequencymodulated continuous wave,fmcw)雷达由于其广泛的适用性和低成本而成为最受欢迎的选择之一。然而,当装备在车辆上的fmcw雷达数量急剧增加,在交通繁忙的区域,不同雷达设备之间的相互干扰在所难免。强干扰会遮挡弱目标并产生虚假目标,这将提升发生交通事故的风险。因此,出于安全考虑,消除干扰迫在眉睫。

2、目前,已有多种对抗干扰的方法被研究。有些研究发展了信号处理方法,该类方法通过处理接收信号来消除干扰。这些方法利用了干扰和目标回波在时域、频域或时频域上的差异来与受干扰雷达扫频斜率不同的干扰,也即非相干干扰。然而,当面对相干干扰,即扫频斜率与受干扰雷达相同的干扰时,这些信号处理方法不再适用。另一些研究人员提出了新的雷达系统或波形设计,这些方法将干扰在频谱上分散开以消除虚假目标,从而抑制相干干扰并提升探测性能。但是,他们需要新的系统和硬件设计以及更复杂的信号处理流程。fmcw雷达结合通信系统被提出以通过中心化或去中心化的资源分配来消除相互干扰。但是这些方法需要额外的通信开销。另有非合作式的方法来进行跳频和相位编码,这种方法不需要雷达网络间的通信。但是,接收信号中包含的关于干扰的信息并没有利用上来实现更好的性能。

3、近些年来,人们探索了基于强化学习的认知雷达来主动避开干扰。认知的方法使雷达能感知电磁环境并作出决策来提升性能。通常,这个决策过程被建模为马尔可夫决策过程并用强化学习算法优化。近几年已有多种方法被提出,使用深度强化学习实现频域上的干扰避免。虽然跳频是最常见的避开干扰策略,但是它的能力受限于频谱资源。当面对更对干扰时,在有限带宽上进行频谱分配不足以同时保持探测和抗干扰性能。

4、因此,我们提出一种联合时域和频域的方法来缓解频谱资源有限的问题并提升避开干扰的性能。该方法的执行过程被建模为马尔可夫决策过程,并使用深度q学习来实现。同时,加入动作代价来减少雷达参数切换的频率,从而降低硬件负担。当频谱和硬件资源受限时,联合域策略是一种可行的抗干扰方案。


技术实现思路

1、本文中提出了一种新的fmcw汽车雷达干扰避免策略,联合了时域和频域来提升避开相干干扰的性能。所提出的策略使用马尔可夫决策过程模型和深度强化学习来实现,以应对实际中动态的干扰场景。另外,我们引入动作代价机制来减少不必要的动作并增强鲁棒性,并且通过调整动作代价权重,获得了不同风格的策略。

2、本专利技术的fmcw雷达相干干扰抑制方法如附图1所示,主要包括步骤200-步骤240,其中,步骤200-步骤230为雷达执行抗干扰策略的步骤,步骤240为训练时更新策略的步骤。

3、步骤200,根据当前的状态得到下一次探测的中心频率和发射时间td。我们用一个神经网络来估计执行策略的价值,输入即为当前状态,输出为各个雷达工作参数组合的价值,选择价值最大的组合作为下一次的发射参数。

4、步骤210,雷达依据已选定的工作参数发射一帧探测信号。

5、步骤220,雷达接收信号,其中包括目标回波和来自其他雷达的干扰。从接收信号中估计信干噪比(signal-to-interference-plus-noise ratio,sinr)。

6、步骤230,更新雷达的状态,即本次探测的中心频率发射时间td以及接收信号的sinr。在实际应用时,到这一步就完成了一次探测的步骤,之后将回到步骤200准备下一次探测。而在训练执行策略时,还需要进行步骤240。

7、步骤240,根据当前状态和上一步状态计算奖励,并更新执行策略的价值网络,奖励包括抗干扰性能和策略开销,分别使用sinr和动作代价来计算,用来表示在上一个状态下选择该组工作参数组合的好坏。

8、有益效果

9、本专利技术的fmcw雷达相干干扰抑制方法,建立了联合时域和频域的雷达间相干干扰避免的宏观流程框架,给出了动态干扰场景下的训练和推理方案。具体地,构建了马尔可夫决策过程模型,给出了序贯决策的优化目标,并利用深度强化学习解决环境部分可观测条件下的决策。此外,我们根据现实中的场景参数,构建了仿真场景,并进行了大量仿真与比较。我们详细分析了联合域干扰避免方法面对不同数量干扰的性能,并给出了实例分析,这验证了所提方案的可有效性。我们进一步将所提算法和单一域策略进行了对比,对比结果显示了所提算法的优越性。

本文档来自技高网...

【技术保护点】

1.一种FMCW雷达相干干扰抑制方法,其特征在于,包括:时域和频域联合的工作参数调整策略来将相干干扰移出雷达通带;根据当前发射参数和接收信号信干噪比,选择下一次探测的中心频率和发射时间;抗干扰策略执行过程以及将其建模为马尔可夫决策过程所设计的状态空间、动作空间和奖励函数;求解最优策略的强化学习算法设计;多目标多干扰动态场景设计以及仿真。

2.根据权利要求1所述的方法,其特征在于,通过对信号模型和信号处理过程进行分析,找到相干干扰在时域频域上的特点,并据此设计调整中心频率和发射时间的方法,将干扰移出雷达通带,从而达到避开干扰的效果。

3.根据权利要求1所述方法,其特征在于,将当前的中心频率和发射时间以及接收信号的信干噪比作为状态,动作即为各工作参数组合切换的操作;本方法为model-free方法,故不关注也不显式地求解状态转移概率;特别设计了奖励函数,以实现抗干扰性能和动作开销的优化,定义了时、频域联合的动作代价,并设计了加权归一化的奖励函数,通过设置不同的权重参数来可以得到不同风格的执行策略,以实现抗干扰性能和开销优化之间的权衡。

4.根据权利要求1所述方法,其特征在于,使用深度强化学习,用神经网络来拟合状态-动作价值函数,即Q网络,为了应对部分可观测条件,即每一时刻雷达仅能观测到当前通带内干扰的情况并估计信干噪比,将状态扩展到最近多步的观测,为了处理观测序列,在Q网络中加入循环神经网络,使得智能体具备记忆能力,从而能应对长时间动态的环境;同时,为了应对不稳定的环境及其带来的训练困难的情况,特别设计了训练方案,即先在静态场景下训练基础的只关注抗干扰性能的策略,再在此基础上在动态场景下训练同时关注抗干扰性能和开销优化的策略。

5.根据权利要求1所述方法,其特征在于,设置了多目标多干扰场景,并且设定了目标和干扰源相较于受干扰雷达的距离、运动速率,以一帧信号为单位进行仿真,同时通过调整时间步之间的时间间隔,改变目标和干扰源的相对运动对雷达通带内信号的影响,从而形成短时间内的静态场景和长时间的动态场景;设置了多个干扰数的场景进行对比实验,展现了抗干扰策略在抗干扰性能和策略开销在不同干扰数下的表现。

6.根据权利要求1所述方法,其特征在于,在给定干扰数下,给出一个回合内,各个智能体在每一个时间步的状态变化,更清晰直观地展现抗干扰策略的执行过程,并且体现本专利技术所提方法的优越性,即更好的抗干扰性能和稳定性。

...

【技术特征摘要】

1.一种fmcw雷达相干干扰抑制方法,其特征在于,包括:时域和频域联合的工作参数调整策略来将相干干扰移出雷达通带;根据当前发射参数和接收信号信干噪比,选择下一次探测的中心频率和发射时间;抗干扰策略执行过程以及将其建模为马尔可夫决策过程所设计的状态空间、动作空间和奖励函数;求解最优策略的强化学习算法设计;多目标多干扰动态场景设计以及仿真。

2.根据权利要求1所述的方法,其特征在于,通过对信号模型和信号处理过程进行分析,找到相干干扰在时域频域上的特点,并据此设计调整中心频率和发射时间的方法,将干扰移出雷达通带,从而达到避开干扰的效果。

3.根据权利要求1所述方法,其特征在于,将当前的中心频率和发射时间以及接收信号的信干噪比作为状态,动作即为各工作参数组合切换的操作;本方法为model-free方法,故不关注也不显式地求解状态转移概率;特别设计了奖励函数,以实现抗干扰性能和动作开销的优化,定义了时、频域联合的动作代价,并设计了加权归一化的奖励函数,通过设置不同的权重参数来可以得到不同风格的执行策略,以实现抗干扰性能和开销优化之间的权衡。

4.根据权利要求1所述方法,其特征在于,使用深度强化学习,用神...

【专利技术属性】
技术研发人员:何元肖赫
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1