一种基于深度强化学习的雷达波形博弈系统构建方法、装置、计算机及储存介质，涉及雷达信号处理与智能博弈领域。本发明专利技术解决了智能认知雷达在干扰场景与样式复杂多变的情况下，抗干扰波形无法快速有效的判断决策的问题。方法包括：雷达与干扰环境进行数据交互，获取仿真干扰波形；根据当前时刻回波波形与前一时刻的回波波形，计算获得抗干扰行为的奖励值，并存入记忆库；离线训练模块采用记忆库储存的数据进行神经网络的训练与更新，获得预训练模型；在线学习模块加载离线训练模块的预训练模型，进行雷达的在线学习，获得深度强化学习的雷达波形博弈系统。本发明专利技术应用于认知雷达波形对抗博弈智能决策领域。博弈智能决策领域。博弈智能决策领域。
【技术实现步骤摘要】
一种基于深度强化学习的雷达波形博弈系统构建方法、装置、计算机及储存介质
[0001]本专利技术涉及雷达信号处理与智能博弈领域，尤其涉及一种基于深度强化学习的雷达波形博弈系统构建方法。
技术介绍
[0002]随着现代电子战的发展，雷达面临着来自干扰机的更大的威胁与挑战。在这些不同类型的干扰方式中，主瓣干扰尤其难以应对。
[0003]对抗主瓣干扰的抗干扰方法可分为两大类：无源抑制方法和有源对抗方法。传统无源抑制的方法旨在识别或消除雷达被干扰后的干扰信号。有源对抗的方法要求雷达提前采取措施来对抗可能受到的威胁，有源对抗的方法包括但并不限于频率捷变、脉冲重复间隔捷变、脉冲分集等。其中发射波形中的频率捷变被认为是对抗主瓣干扰的有效方法，频率捷变雷达可以随机且主动地改变其载波频率，使得干扰机难以拦截和干扰。
[0004]然而，由于干扰机内置干扰样式丰富且快速变化的特点，传统雷达无法智能感知态势，导致抗干扰效果不够理想。认知雷达在智能态势感知的基础上，仍无法对抗干扰的波形样式进行快速有效的判断决策，严重影响了抗干扰效果。
技术实现思路
[0005]本专利技术解决了智能认知雷达在干扰场景与样式复杂多变的情况下，抗干扰波形无法快速有效的判断决策的问题。
[0006]本专利技术提供一种基于深度强化学习的雷达波形博弈系统构建方法，所述方法包括：
[0007]雷达与干扰环境进行数据交互，获取仿真干扰回波波形；
[0008]根据所述当前时刻回波波形与前一时刻的回波波形，计算获得抗干扰行为的奖励值，并将所述交互式数据及抗干扰行为的奖励值存入记忆库；
[0009]离线训练模块采用所述记忆库储存的数据进行神经网络的训练与更新,获得预训练模型；
[0010]在线学习模块加载离线训练模块的预训练模型，进行雷达的在线学习，获得深度强化学习的雷达波形博弈系统。
[0011]进一步的，还提供一种优选实施方式，所述雷达与干扰环境进行数据交互，包括：
[0012]雷达在每个脉冲时刻感知干扰机的动作；
[0013]干扰机的动作采用窄带瞄准压制干扰；
[0014]雷达采用强化学习算法对抗干扰机的主瓣抑制干扰。
[0015]进一步的，还提供一种优选实施方式，所述在线学习模块包括探测波形单元、强化学习算法单元和奖励函数单元；
[0016]所述探测波形单元用于干扰机选择不同的发射探测波形与不同的干扰方式；
[0017]所述强化学习算法单元用于根据发射探测波形和干扰方式的选择SAC、DDPG、TD3和PPO四种深度强化学习算法；
[0018]所述奖励函数单元用于判断干扰机的干扰效果。
[0019]进一步的，还提供一种优选实施方式，所述计算获得抗干扰行为的奖励值包括：回波信干比和目标探测概率。
[0020]基于同一专利技术构思，本专利技术还提供一种基于深度强化学习的雷达波形博弈系统构建装置，所述装置包括：
[0021]仿真干扰波形获取单元，用于雷达与干扰环境进行数据交互，获取仿真干扰回波波形；
[0022]根据所述当前时刻回波波形与前一时刻的回波波形，计算获得抗干扰行为的奖励值，并将所述交互式数据及抗干扰行为的奖励值存入记忆库；
[0023]离线训练模块采用所述记忆库储存的数据进行神经网络的训练与更新,获得预训练模型；
[0024]在线学习模块加载离线训练模块的预训练模型，进行雷达的在线学习，获得深度强化学习的雷达波形博弈系统。
[0025]进一步的，还提供一种优选实施方式，所述雷达与干扰环境进行数据交互，包括：
[0026]雷达在每个脉冲时刻感知干扰机的动作；
[0027]干扰机的动作采用窄带瞄准压制干扰；
[0028]雷达采用强化学习算法对抗干扰机的主瓣抑制干扰。
[0029]进一步的，还提供一种优选实施方式，所述在线学习模块包括探测波形单元、强化学习算法单元和奖励函数单元；
[0030]所述探测波形单元用于干扰机选择不同的发射探测波形与不同的干扰方式；
[0031]所述强化学习算法单元用于根据发射探测波形和干扰方式的选择SAC、DDPG、TD3和PPO四种深度强化学习算法；
[0032]所述奖励函数单元用于评估智能雷达抗干扰波形选择的有效性。
[0033]进一步的，还提供一种优选实施方式，所述计算获得抗干扰行为的奖励值包括：回波信干比和目标探测概率。
[0034]基于同一专利技术构思，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任一项所述的一种基于深度强化学习的雷达波形博弈系统构建方法。
[0035]基于同一专利技术构思，本专利技术还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上述中任一项中所述的一种基于深度强化学习的雷达波形博弈系统构建方法。
[0036]本专利技术的有益之处在于：
[0037]本专利技术解决了智能认知雷达在干扰场景与样式复杂多变的情况下，抗干扰波形无法快速有效的判断决策的问题。
[0038]本专利技术提供了一种基于深度强化学习的雷达波形博弈系统构建方法，通过雷达波形博弈系统实现雷达的主动对抗能力。考虑了频率捷变雷达的特殊性与智能干扰机的干扰方法，并且在强化学习算法的理论支持下，形成了有效的雷达波形博弈抗干扰优化策略。同
时，本专利技术所述的系统包括强化学习算法单元、探测波形单元、奖励函数单元三个单元，后续抗干扰能力的提升与场景的丰富提供了可能。
[0039]本专利技术提供的一种基于深度强化学习的雷达波形博弈系统构建方法的一个具体实施方式中，集成了四种深度强化学习算法与三种奖励函数，在噪声瞄准干扰的场景下进行了算法验证并取得了较好的效果，针对不同的奖励函数分别进行实验，得到奖励函数对算法收敛性与稳定性的影响。提高了智能雷达应对干扰场景时的抗干扰反应速度与决策准确性和有效性。
[0040]本专利技术应用于认知雷达波形对抗博弈智能决策领域。
附图说明
[0041]图1为实施方式一所述的一种基于深度强化学习的雷达波形博弈系统示意图；
[0042]图2为实施方式十一所述的三种奖励机制下的四种强化学习算法训练结果比较图，其中，图2(a)为每步的奖励值统一在[
‑
5,0]区间内的结果，图2(b)为每步的奖励值统一在[
‑
10,0]区间内的结果，图2(c)为每步的奖励值统一在[0,5]区间内的结果；training episodes代表训练局数，一个episode表示智能体从开始状态到最终的结束状态，episode reward代表智能体从开始状态到结束状态间所获得的整体奖励值；
[0043]图3为实施方式十一所述的四种强化学习算法下使用三种奖励机制的训练结果比较图，其中，图3(a)是DDPG算法在三种不同奖励模式下的性能表现，图3本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度强化学习的雷达波形博弈系统构建方法，其特征在于，所述方法包括：雷达与干扰环境进行数据交互，获取仿真干扰回波波形；根据所述当前时刻回波波形与前一时刻的回波波形，计算获得抗干扰行为的奖励值，并将所述交互式数据及抗干扰行为的奖励值存入记忆库；离线训练模块采用所述记忆库储存的数据进行神经网络的训练与更新,获得预训练模型；在线学习模块加载离线训练模块的预训练模型，进行雷达的在线学习，获得深度强化学习的雷达波形博弈系统。2.根据权利要求1所述的一种基于深度强化学习的雷达波形博弈系统构建方法，其特征在于，所述雷达与干扰环境进行数据交互，包括：雷达在每个脉冲时刻感知干扰机的动作；干扰机的动作采用窄带瞄准压制干扰；雷达采用强化学习算法对抗干扰机的主瓣抑制干扰。3.根据权利要求1所述的一种基于深度强化学习的雷达波形博弈系统构建方法，其特征在于，所述在线学习模块包括探测波形单元、强化学习算法单元和奖励函数单元；所述探测波形单元用于干扰机选择不同的发射探测波形与不同的干扰方式；所述强化学习算法单元用于根据发射探测波形和干扰方式的选择SAC、DDPG、TD3和PPO四种深度强化学习算法；所述奖励函数单元用于评估智能雷达抗干扰波形选择的有效性。4.根据权利要求1所述的一种基于深度强化学习的雷达波形博弈系统构建方法，其特征在于，所述计算获得抗干扰行为的奖励值包括：回波信干比和目标探测概率。5.一种基于深度强化学习的雷达波形博弈系统构建装置，其特征在于，所述装置包括：仿真干扰波形获取单元，用于雷达与干扰环境进行数据交互，获取仿真干扰回波波形；根据所述当前时刻回波波形与前一时刻的回波波形，计算获得抗干扰行为的奖励值，并将所述交互式数据及...
【专利技术属性】
技术研发人员：刘环宇，解烽，李君宝，杨忠琳，王晓航，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。