一种基于行为克隆的干扰策略感知方法技术

本发明专利技术公开了一种基于行为克隆的干扰策略感知方法，包括：从雷达的角度，得到干扰机的干扰策略；根据不同时刻雷达的状态信息和动作、干扰机的干扰策略得到在线样本集；将在线样本集中的在线样本输入至干扰策略网络，以对干扰策略网络进行训练，得到训练好的干扰策略网络；基于未知的真实干扰策略对应的奖励的期望值和训练好的干扰策略网络输出的干扰策略对应的奖励的期望值得到用于训练抗干扰策略网络的干扰策略；基于PPO算法，利用干扰策略训练抗干扰策略网络，以得到训练好的抗干扰策略网络输出的抗干扰策略；利用抗干扰策略在线对抗真实干扰策略。本发明专利技术避免了在线对抗过程中的试错学习。的试错学习。的试错学习。

【技术实现步骤摘要】
一种基于行为克隆的干扰策略感知方法


[0001]本专利技术属于雷达
，具体涉及一种基于行为克隆的干扰策略感知方法。

技术介绍

[0002]在现代雷达和干扰对抗过程中，雷达的抗干扰能力不断被强调，因为干扰机可以采用先进的干扰措施来干扰雷达对电磁频谱的使用。此外，更智能的干扰机可以采用不同的干扰策略，利用雷达的历史信息分析雷达的抗干扰策略。因此，雷达智能抗干扰技术的研究具有重要意义。
[0003]频率捷变(FA)雷达因其抗干扰能力强、截获概率低而得到广泛应用。但是，频率捷变也会引起随机相位波动，破坏脉冲雷达回波之间的一致性，给相干积累带来困难。尽管有一些相干积累方法来补偿频率捷变引起的相位波动，但传统的随机频率跳变或者步进频跳变并不是雷达最好的工作方式。因为干扰机能够制定简单的策略成功干扰雷达系统。面对复杂多变的电磁环境，研究者利用强化学习的适应能力与学习能力，通过与环境交互，使得雷达能够自适应学习一个最优的反干扰策略。这些方法将频率捷变雷达和干扰机构建成一个马尔可夫决策过程，将雷达看作是一个智能体，干扰机是智能体通过观察其状态和收集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行为克隆的干扰策略感知方法，其特征在于，所述干扰策略感知方法包括：步骤1、初始化雷达的诱导策略；步骤2、获取每个时刻雷达的动作，并从雷达的角度，得到干扰机的干扰策略；步骤3、根据不同时刻雷达的状态信息和动作、干扰机的干扰策略得到在线样本集；步骤4、将在线样本集中的在线样本输入至干扰策略网络，以对干扰策略网络进行训练，得到训练好的干扰策略网络；步骤5、基于未知的真实干扰策略对应的奖励的期望值和训练好的干扰策略网络输出的干扰策略对应的奖励的期望值得到用于训练抗干扰策略网络的干扰策略；步骤6、基于PPO算法，利用步骤5得到的干扰策略训练抗干扰策略网络，以得到训练好的抗干扰策略网络输出的抗干扰策略；步骤7、利用步骤6得到的抗干扰策略在线对抗真实干扰策略。2.根据权利要求1所述的基于行为克隆的干扰策略感知方法，其特征在于，从雷达的角度，得到干扰机的干扰策略，包括：将雷达作为回合制马尔可夫决策过程中的智能体，依据当前诱导策略选择动作并与干扰机进行交互，并根据回合制马尔可夫决策过程的状态转移的定义，状态转移为从雷达角度表示干扰机的干扰策略，则第h时刻干扰机的干扰策略表示为：其中，为从雷达的角度，第h时刻干扰机的干扰策略，b
h
为第h时刻干扰机的动作，a
h
为第h时刻雷达的动作，s
h
为第h时刻雷达的状态信息，s
h+1
为第h+1时刻雷达的状态信息。3.根据权利要求1所述的基于行为克隆的干扰策略感知方法，其特征在于，在线样本集表示为：其中，为在线样本集，tr
i
为雷达收集的第i条轨迹信息，a
h
为第h时刻雷达的动作，s
h
为第h时刻雷达的状态信息，1≤h≤H，ρ0为初始状态分布，为第h时刻的初始化雷达的诱导策略，M
h
(
·
|s
h
,a
h
)为第h时刻干扰机的干扰策略，m为轨迹的总数。4.根据权利要求1所述的基于行为克隆的干扰策略感知方法，其特征在于，步骤4包括：步骤4.1、将在线样本集中的在线样本(s
h
,a
h
,s
h+1
)输入至干扰策略网络，输出为下一个状态s
h+1
的概率，其中，(s
h
,a
h
)为网络输入，s
h+1
为干扰策略网络的标签。步骤4.2、采用随机梯度下降法更新干扰策略网络的参数；步骤4.3、重复步骤4.1和步骤4.2，直至收敛，得到训练好的干扰策略网络。5.根据权利要求4所述的基于行为克隆的干扰策略感知方法，其特征在于，步骤4.1包括：将在线样本集中的在线样本(s
h
,a
h
,s
h+1
)输入至全连接网络中，并采用tanh函数进行激活，然后传递给下一层全连接网络，并采用tanh函数激活函数，最后传递...

【专利技术属性】
技术研发人员：纠博，李康，刘雪静，范友林，刘宏伟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：