一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法技术

一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法，本发明专利技术涉及车载雷达抗干扰波形设计方法。本发明专利技术的目的是为了解决现有车载雷达抗干扰处理技术不稳定，鲁棒性差的问题。过程为：一、估计车载雷达接收信号的信干比；二、构建车载雷达马尔可夫决策过程；三、构建并训练双深度Q网络模型；四、突变的电磁干扰环境下基于双深度Q网络模型参数在线自适应调整，得到突变条件下的电磁干扰环境下双深度Q网络模型；五、获取车载雷达所处的状态空间，输入突变条件下的电磁干扰环境下双深度Q网络模型，输出最优动作价值函数值对应的最优动作，即为车载雷达抗干扰波形。本发明专利技术用于雷达抗干扰领域。域。域。

【技术实现步骤摘要】
一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法


[0001]本专利技术涉及车载雷达抗干扰波形设计方法，该方法可用于车辆跟踪定位、自主导航以及高级驾驶员辅助系统(Advanced Driver Assistance System，ADAS)等领域中，属于雷达抗干扰领域。

技术介绍

[0002]随着信息技术的发展和人们生活水平的提高，汽车已逐渐成为日常生活的必需品，与此同时汽车的安全性能成为人们首要关注的因素。然而，城市交通系统中汽车和装载毫米波雷达的汽车数量激增，导致了非常严重的雷达干扰问题，使得参数感知性能下降甚至失效。车载雷达作为自动驾驶的关键感知器件，对位置、速度以及方位角的准确感知不仅能有效地提高自动驾驶的安全性能，还能对后续自动驾驶融合感知和规划决策过程提供有效支撑。因此研究相同调制方式、相似波形样式、重叠波形带宽等复杂干扰情况下的抗干扰技术具有重要的意义。
[0003]近年来涌现许多干扰处理技术，根据干扰处理技术发生在接收端还是发射端可以分为两个大类：干扰消除技术和干扰避免技术。干扰消除技术一般用在接收端，它在时域、频域或时频域进行相关信号处理以实现干扰的降低或消除。例如，利用参数估计技术在接收端重现干扰信号，然后用接收信号减抗干扰信号以实现抗干扰。干扰避免技术一般在发射端进行处理，它通过时域、频域、时频域以及空域协同设计避免干扰。例如，根据参数感知分辨率要求将频段等分，不同汽车采用不同频段雷达信号从而从根本上避免干扰。上述这些方法大部分都依赖具体的干扰环境参数，只能在限定的场合下实现抗干扰，对环境和硬件依赖偏高，当环境突变时相关方法会失效，缺乏在线更新性能，导致现有技术不稳定，鲁棒性差。

技术实现思路

[0004]本专利技术的目的是为了解决现有干扰处理技术大部分都依赖具体的干扰环境参数，只能在限定的场合下实现车载雷达抗干扰，对环境和硬件依赖偏高，当环境突变时相关方法会失效，缺乏在线更新性能，导致现有干扰处理技术不稳定，鲁棒性差的问题，而提出一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法。
[0005]基于双深度Q网络的在线车载雷达抗干扰波形设计方法具体过程为：
[0006]步骤一、估计车载雷达接收信号的信干比；
[0007]步骤二、基于步骤一的信干比，构建车载雷达马尔可夫决策过程；
[0008]步骤三、基于步骤二的车载雷达马尔可夫决策过程，构建并训练双深度Q网络模型；
[0009]步骤四、突变的电磁干扰环境下基于双深度Q网络模型参数在线自适应调整，得到突变条件下的电磁干扰环境下双深度Q网络模型；
[0010]步骤五、获取车载雷达所处的状态空间，输入步骤四得到的突变条件下的电磁干
扰环境下双深度Q网络模型，输出最优动作价值函数值对应的最优动作，即为车载雷达抗干扰波形。
[0011]本专利技术的有益效果为：
[0012]本专利技术针对存在相同调制方式、相似波形样式、重叠波形带宽等复杂电磁环境下的车载雷达干扰问题，提出了一种基于双深度Q网络(Double Deep Q Network，DDQN)的在线车载雷达抗干扰波形设计方法，解决了因为复杂的电磁环境干扰导致的车载雷达位置、速度等参数严重失准或失效问题，同时借助模型的动作空间限定和探索策略调整方法实现了模型的在线更新，提高了模型的环境适应能力。
[0013](1)本专利技术所述的基于双深度Q网络的在线车载雷达抗干扰波形设计方法利用深度强化学习算法进行雷达参数波形的设计，克服了传统方法对环境的依赖性，解决了城市道路中由于复杂的电磁干扰环境导致车载雷达感知性能严重下降甚至失效的问题，实现了突变电磁环境下的在线更新能力，有效提升了存在复杂干扰情况下的环境感知性能；
[0014](2)本专利技术所述的基于双深度Q网络的在线车载雷达抗干扰波形设计方法无需外界环境通信提供额外信息即可实施有效的抗干扰波形设计，有效降低了对通信硬件设备的需求。
附图说明
[0015]图1是本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法的原理框图；
[0016]图2是在无干扰环境下本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法的目标检测仿真结果图；
[0017]图3是在复杂电磁干扰环境下本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法的目标检测仿真结果图；
[0018]图4是在信号带宽重叠50％，环境平稳情况下本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法与传统方法抗干扰成功率对比仿真图；
[0019]图5是在信号带宽重叠50％，环境突变情况下本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法与传统方法抗干扰成功率对比仿真图；
[0020]图6是在信号带宽重叠100％，环境平稳情况下本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法与传统方法抗干扰成功率对比仿真图；
[0021]图7是在信号带宽重叠100％，环境突变情况下本专利技术所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法与传统方法抗干扰成功率对比仿真图。
具体实施方式
[0022]具体实施方式一：本实施方式一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法具体过程为：
[0023]步骤一、估计车载雷达接收信号的信干比；
[0024]步骤二、基于步骤一的信干比，构建车载雷达马尔可夫决策过程；
[0025]步骤三、基于步骤二的车载雷达马尔可夫决策过程，构建并训练双深度Q网络模型；
[0026]步骤四、突变的电磁干扰环境下基于双深度Q网络模型(基于深度强化学习的智能抗干扰网络)参数在线自适应调整，得到突变条件下的电磁干扰环境下双深度Q网络模型；
[0027]步骤五、获取车载雷达所处的状态空间，输入步骤四得到的突变条件下的电磁干扰环境下双深度Q网络模型，输出最优动作价值函数值对应的最优动作，即为车载雷达抗干扰波形。
[0028]具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中估计车载雷达接收信号的信干比；具体过程为：
[0029]步骤一一、给出车载雷达接收机接收到的目标回波信号和干扰信号的功率；具体过程为：
[0030]设车载雷达接收机接收到的目标回波信号的功率为P
r
，有
[0031][0032]设车载雷达接收机接收到的干扰信号的功率为P
i
，有
[0033][0034]其中P
t
表示车载雷达发射功率，G表示天线增益，σ表示目标的雷达截面积、R表示目标或干扰源到车载雷达接收机的距离，A
e
表示车载雷达天线的有效孔径，λ为车载雷达发射信号载波波长；
[0035]步骤一二、将车载雷达接收机接收到的目标回波信号和干扰信号分别与车载雷达发射信号(原始发射信号)进行混频；具体过程为：
[0036]车载雷达接收机接收到的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法，其特征在于：所述方法具体过程为：步骤一、估计车载雷达接收信号的信干比；步骤二、基于步骤一的信干比，构建车载雷达马尔可夫决策过程；步骤三、基于步骤二的车载雷达马尔可夫决策过程，构建并训练双深度Q网络模型；步骤四、突变的电磁干扰环境下基于双深度Q网络模型参数在线自适应调整，得到突变条件下的电磁干扰环境下双深度Q网络模型；步骤五、获取车载雷达所处的状态空间，输入步骤四得到的突变条件下的电磁干扰环境下双深度Q网络模型，输出最优动作价值函数值对应的最优动作，即为车载雷达抗干扰波形。2.根据权利要求1所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法，其特征在于：所述步骤一中估计车载雷达接收信号的信干比；具体过程为：步骤一一、给出车载雷达接收机接收到的目标回波信号和干扰信号的功率；具体过程为：设车载雷达接收机接收到的目标回波信号的功率为P
r
，有设车载雷达接收机接收到的干扰信号的功率为P
i
，有其中P
t
表示车载雷达发射功率，G表示天线增益，σ表示目标的雷达截面积、R表示目标或干扰源到车载雷达接收机的距离，A
e
表示车载雷达天线的有效孔径，λ为车载雷达发射信号载波波长；步骤一二、将车载雷达接收机接收到的目标回波信号和干扰信号分别与车载雷达发射信号进行混频；具体过程为：车载雷达接收机接收到的目标回波信号与车载雷达发射信号进行混频，得到频域表达式为其中δ(
·
)为冲激函数，f
0,v
是车载雷达发射信号的载波频率，τ是回波信号的时延，k
v
为车载雷达发射的chirp信号的斜率；j为虚数单位，j2＝
‑
1；f为雷达频率；车载雷达接收机接收到的干扰信号与车载雷达发射信号进行混频，得到频域表达式为其中t
arr
为干扰信号进入雷达接收机带宽的时间，t
end
为干扰信号离开雷达接收机带宽的时间，K
if
是雷达发射机发射chirp信号和干扰源发射的chirp信号的斜率之差的绝对值，
为初始相位，rect(
·
)为幅值为1的矩形窗函数；步骤一三、估计车载雷达接收信号的信干比；具体过程为：结合步骤一二中得到的回波信号与车载雷达发射信号的混频频域表达式以及干扰信号与车载雷达发射信号的混频频域表达式估计目标检测点处车载雷达接收信号的信干比；表达式为：其中，P
v
‑
v
为检测点处目标回波信号的接收功率，P
i
‑
v
为检测点处干扰信号引入的干扰功率；Δf为频域采样间隔；为单位幅值的矩形函数；考虑到|exp[j(2πf
0,v
τ
‑
πk
v
τ2)|和的值为1，所以信干比估计表达式可以近似为由于结合步骤一一得到的回波信号功率P
r
和干扰信号功率P
i
以及δ2(f)表达式，信干比估计表达式进一步化简为3.根据权利要求2所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法，其特征在于：所述步骤二中基于步骤一的信干比，构建车载雷达马尔可夫决策过程；具体过程为：步骤二一、构建马尔可夫决策过程环境模型；具体过程为：在t时刻车载雷达所处的状态空间s
t
定义为[o
t
,o
t
‑1,...,o
t
‑
L
]，其中L为组成状态空间的观测向量个数，o
t
＝[r
t
,sir
t
,p
t
,a
t
]为t时刻的观测向量，r
t
为t时刻的回报函数，sir
t
为t时刻车载雷达接收信号的信干比，p
t
为t时刻环境中待探测干扰源相对于车载雷达的位置
行向量，其中W为环境中待探测干扰源数量，为t时刻环境中第W个待探测干扰源相对于车载雷达的位置行向量，为t时刻环境中以车载雷达为参考系的第i个待探测干扰源的笛卡尔坐标，i＝1,2，
…
，W，a
t
为动作空间，代表s
t
状态下车载雷达所采用的雷达波形参数；步骤二二、基于步骤一的信干比，构造马尔可夫决策过程的回报函数和动作空间；具体过程为：马尔可夫决策过程的回报函数为其中sir0为设定的信干比阈值，sir
t
为t时刻车载雷达接收信号的信干比；马尔可夫决策过程的动作空间集合可以表示为A＝{a
t0
,a
t1
,...,a
tM
}；其中M为动作空间个数，为动作空间集合中的第个动作，4.根据权利要求3所述的一种基于双深度Q网络的在线车载雷达抗干扰波形设计方法，其特征在于：所述步骤三中基于步骤二的车载雷达马尔可夫决策过程，构建并训练双深度Q网络模型；具体过程为：步骤三一、构建双深度Q网络结构并初始化；步骤三二、采用评估网络控制车载雷达收集经验；步骤三三、采用目标网络计算时间差分函数；步骤三四、构造时间差分误差函数并更新神经网络参数；步骤三五、重复执行步骤三二至步骤三四，直至收敛，得到训练号的双深度Q网络模型。5.根据权利要求4所述的一种基于双深...

【专利技术属性】
技术研发人员：王波，刘飞鹏，冯志远，杨佳慧，赵彦平，王海艳，
申请(专利权)人：吉林大学，
类型：发明
国别省市：