一种基于强化学习的灵巧噪声干扰功率调整方法技术

本发明专利技术公开了一种基于强化学习的灵巧噪声干扰功率调整方法，包括以下步骤：S1、多功能雷达与认知干扰机的对抗过程分析；S2、确定干扰效果的评估指标；S3、灵巧噪声干扰的信号模型分析；S4、构建多步干扰功率调整的强化学习框架；S5、基于强化学习的灵巧噪声干扰功率调整。本发明专利技术利用强化学习方法选择一个干扰发射功率来释放灵巧噪声干扰信号，多功能雷达在干扰作用下切换工作模式，干扰机根据多功能雷达接收端的干信比来评估干扰效果，然后循环上述过程，直到目标被多功能雷达锁定或者目标成功逃脱。本发明专利技术方法可以连续调整干扰功率，并给予干扰机一定的环境探索能力，从而帮助干扰机找到最优的功率分配策略。找到最优的功率分配策略。找到最优的功率分配策略。

【技术实现步骤摘要】
一种基于强化学习的灵巧噪声干扰功率调整方法


[0001]本专利技术属于雷达对抗
，特别涉及一种基于强化学习的灵巧噪声干扰功率调整方法。

技术介绍

[0002]电子对抗在现代化战争中占据着越来越重要的地位，噪声干扰技术在电子对抗中起到关键性的作用。面对工作模式复杂多变的多功能雷达，传统的噪声干扰性能越来越差，在这种情况下有必要研究更好的智能噪声干扰措施。灵巧噪声干扰是新兴的一种压制性干扰，通过发射一种相干的似噪声信号，在时域中对目标回波信号进行重叠和覆盖，从而对雷达的目标检测和跟踪造成迷惑。然而灵巧噪声的干扰功率直接决定了干扰的有效性，因此灵巧噪声干扰功率的自适应调整问题目前已经成为国内外的重点研究课题。
[0003]大多数关于灵巧噪声干扰的研究都集中在干扰波形的设计与产生，却忽略了干扰功率的调整。然而，干扰机和雷达之间的对抗实际上是一个动态的过程，这就要求干扰机每次合理地发射干扰信号。在对抗过程中，干扰功率分配非常重要，但很少有研究对干扰功率在一段时间内的调整问题进行研究。目前，灵巧噪声干扰的多步功率调整通常依赖于专家经验，但是专家经验通常不够准确，这就会导致干扰性能的损失：1)干扰功率太小，无法有效降低MFR的性能；2)干扰功率太大，干扰会容易被MFR发现。
[0004]文献“L.Wang,L.Wang,Y.Zeng,and M.Wang,“Jamming power allocation strategy for MIMO radar based on MMSE and mutual information,”IET Radar,Sonar and Navigation,vol.11,no.7,pp.1081
–
1089,2017.”针对MIMO雷达研究了基于均方误差和互信息的干扰功率分配技术，但需要事先知道目标和噪声的功率谱密度，而先验知识在实践中是很难获得的。因此，有必要开发一种无需先验的功率分配方法。
[0005]申请号为201910321772.8的专利申请公开了一种基于无模型强化学习的多阶段灵巧噪声干扰方法，该方法利用Q学习实现多阶段的灵巧噪声干扰，但是Q学习只适用于离散的动作空间，故需要将发射功率量化成若干个等级，再使用Q学习进行选取，而量化器的设计和功率级别数量的设定都会对干扰性能产生影响。
[0006]如上所述，大量研究都集中在灵巧噪声干扰波形的设计与产生上，然而在对抗过程中干扰功率分配非常重要，干扰机的发射功率为连续变量，通过连续有效的动态功率调整，可以显著提高干扰成功率。因此，研究一种有效的多步干扰功率连续调整方法是有意义的。

技术实现思路

[0007]本专利技术的目的在于克服现有技术的不足，提供一种可以连续调整干扰功率，并给予干扰机一定的环境探索能力，从而帮助干扰机找到最优的功率分配策略的基于强化学习的灵巧噪声干扰功率调整方法。
[0008]本专利技术的目的是通过以下技术方案来实现的：一种基于强化学习的灵巧噪声干扰
功率调整方法，包括以下步骤：
[0009]S1、多功能雷达与认知干扰机的对抗过程分析：干扰机通过发射灵巧噪声干扰信号，使多功能雷达MFR逐渐由威胁等级较高的跟踪模式切换至威胁等级较低的搜索模式；MFR会根据任务和功能来切换自身的工作模式；
[0010]由于MFR会在多种工作模式之间进行切换，因此对抗MFR的干扰功率调整过程被认为是一个多步干扰功率选择问题，因此将其建模为一个马尔可夫决策过程；具体地说，干扰机和MFR在k＝0,1,2,
…
的交互过程中不断进行对抗，直到干扰机被MFR锁定或者干扰机成功逃脱则对抗结束；对于第k步干扰动作，干扰机首先获取工作模式s
k
∈S，S为MFR可能的工作模式集合；然后干扰机选择一个干扰功率乘积因子a
k
∈A来释放灵巧噪声干扰，A为干扰机可执行的干扰动作集合；经过一次干扰后，干扰机会获得这次干扰动作的奖励r
k
，并且切换至下一工作模式s
k+1
；
[0011]S2、确定干扰效果的评估指标；
[0012]S3、灵巧噪声干扰的信号模型分析；
[0013]S4、构建多步干扰功率调整的强化学习框架；
[0014]S5、基于强化学习的灵巧噪声干扰功率调整。
[0015]所述步骤S2具体实现方法为：选用MFR接收端的干信比来评估第k次干扰动作的干扰效果；最优策略π
*
表示为：
[0016][0017]其中，JSR
k
为第k次干扰行动后MFR接收端的干信比；π＝[a1,a2,
…
,a
k
,
…
]是干扰功率调整策略，a
k
为第k次干扰的干扰功率乘积因子。
[0018]所述步骤S3具体实现方法为：在第k次干扰时，假设MFR第n个脉冲的发射功率为P
tk(n)
，天线增益为G
tk
，天线有效孔径为A
r
，到目标的距离为R
k
；则干扰机接收到的第n个雷达脉冲的功率密度为：
[0019][0020]干扰机根据接收到的功率密度以及MFR的工作模式，来调整自身的干扰发射功率；假设干扰机的雷达截面积RCS为σ，服从U(σ
min
,σ
max
)之间的均匀分布，平均RCS记为σ
u
；则第n个干扰脉冲的发射功率为：
[0021][0022]MFR接收到的第n个干扰脉冲回波功率P
rjk(n)
为：
[0023][0024]MFR接收到的第n个真实目标回波功率P
rsk(n)
为：
[0025][0026]则MFR收到的第n个回波脉冲的功率P
rk(n)
为：
[0027][0028]对于压制性干扰，干扰信号会完全覆盖真实目标回波；因此，MFR无法从真实目标回波和干扰的混合信号中单独分离出这两部分；MFR根据每个回波脉冲的总功率来判断是否存在灵巧噪声干扰；假设MFR对目标距离的估计值为则MFR对第n个回波脉冲的总功率进行如下估计：
[0029][0030]MFR通过比较比值P
rk(n)
/P
erk(n)
与门限值T
r
的大小来判断干扰的有无，如果P
rk(n)
/P
erk(n)
＞T
r
，则MFR认为存在干扰，此时会立刻采取抗干扰措施，否则不进行处理。
[0031]所述步骤S4具体实现方法为：多步干扰功率调整问题对应的强化学习框架用一个五元组<S,A,P,R,γ>来表示，其中S是由MFR工作模式构成的状态空间；A是由干扰机的干扰功率因子组成的动作空间；P为状态转移函数，即MFR工作模式之间的转换关系；R为奖励函数，即MFR接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的灵巧噪声干扰功率调整方法，其特征在于，包括以下步骤：S1、多功能雷达与认知干扰机的对抗过程分析：干扰机通过发射灵巧噪声干扰信号，使多功能雷达MFR逐渐由威胁等级较高的跟踪模式切换至威胁等级较低的搜索模式；MFR会根据任务和功能来切换自身的工作模式；由于MFR会在多种工作模式之间进行切换，因此对抗MFR的干扰功率调整过程被认为是一个多步干扰功率选择问题，因此将其建模为一个马尔可夫决策过程；具体地说，干扰机和MFR在k＝0,1,2,
…
的交互过程中不断进行对抗，直到干扰机被MFR锁定或者干扰机成功逃脱则对抗结束；对于第k步干扰动作，干扰机首先获取工作模式s
k
∈S，S为MFR可能的工作模式集合；然后干扰机选择一个干扰功率乘积因子a
k
∈A来释放灵巧噪声干扰，A为干扰机可执行的干扰动作集合；经过一次干扰后，干扰机会获得这次干扰动作的奖励r
k
，并且切换至下一工作模式s
k+1
；S2、确定干扰效果的评估指标；S3、灵巧噪声干扰的信号模型分析；S4、构建多步干扰功率调整的强化学习框架；S5、基于强化学习的灵巧噪声干扰功率调整。2.根据权利要求1所述的基于强化学习的灵巧噪声干扰功率调整方法，其特征在于，所述步骤S2具体实现方法为：MFR接收端的干信比代表着MFR的检测及跟踪性能，而干扰机的性能反比于MFR的性能，因此选用MFR接收端的干信比来评估第k次干扰动作的干扰效果；最优策略π
*
表示为：其中，JSR
k
为第k次干扰行动后MFR接收端的干信比；π＝[a1,a2,
…
,a
k
,
…
]是干扰功率调整策略，a
k
为第k次干扰的干扰功率乘积因子。3.根据权利要求1所述的基于强化学习的灵巧噪声干扰功率调整方法，其特征在于，所述步骤S3具体实现方法为：在第k次干扰时，假设MFR第n个脉冲的发射功率为P
tk(n)
，天线增益为G
tk
，天线有效孔径为A
r
，到目标的距离为R
k
；则干扰机接收到的第n个雷达脉冲的功率密度为：干扰机根据接收到的功率密度以及MFR的工作模式，来调整自身的干扰发射功率；假设干扰机的雷达截面积RCS为σ，服从U(σ
min
,σ
max
)之间的均匀分布，平均RCS记为σ
u
；则第n个干扰脉冲的发射功率为：MFR接收到的第n个干扰脉冲回波功率P
rjk(n)
为：MFR接收到的第n个真实目标回波功率P
rsk(n)
为：
则MFR收到的第n个回波脉冲的功率P
rk(n)
为：对于压制性干扰，干扰信号会完全覆盖真实目标回波；因此，MFR无法从真实目标回波和干扰的混合信号中单独分离出这两部分；MFR根据每个回波脉冲的总功率来判断是否存在灵巧噪声干扰；假设MFR对目标距离的估计值为则MFR对第n个回波脉冲的总功率进行如下估计：MFR通过比较比值P
rk(n)
/P
erk(n)
与门限值T
r
的大小来判断干扰的有无，如果P
rk(n)
/P
erk(n)
＞T
r
，则MFR认为存在干扰，此时会立刻采取抗干扰措施，否则不进行处理。4.根据权利要求1所述的基于强化学习的灵巧噪声干扰功率调整方法，其特征在于，所述步骤S4具体实现方法为：多步干扰功率调整问题对应的强化学习框架用一个五元组<S,A,P,R,γ&...

【专利技术属性】
技术研发人员：霍伟博，黄钰林，张玉婕，梁彩玉，张翠，余妍秋，张寅，裴季方，杨建宇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：