【技术实现步骤摘要】
一种基于强化学习的无人机与云台干扰源联合搜索方法
[0001]本专利技术涉及无线电监测
，具体而言涉及一种基于强化学习的无人机与云台干扰源联合搜索方法。
技术介绍
[0002]。此外，随着现代战争的发展，突破敌方恶意干扰、夺得制电磁权俨然成为决定战况的最关键因素之一。因此，对干扰源搜索定位的需求日益迫切。然而传统的地面搜索面临多径效应和阴影衰落和复杂地面环境的影响。而基于无人机的空中搜索可有效减少多径效应和复杂地面环境的影响。然而针对诸如十分常见且危害极大的非法电台等短波乃至甚高频频段的干扰源，其相应较大尺寸的阵列测向天线难以安装到无人机上，而使用无人机搭载可旋转方向性天线进行搜索的方法可以解决此问题。然而现有的无人机搭载方向性天线进行干扰源搜索的方法是将方向性天线固定在无人机上，通过无人机悬停时机身旋转进行无线电信号的测量，此方法没有考虑无人机与干扰源之间垂直角度变化的影响，因此误差较大。
[0003]近年兴起的强化学习技术提供了一种通用方法来解决复杂的不确定性决策问题。Q学习算法是一种无模型的强化学习算法，...
【技术保护点】
【技术特征摘要】
1.一种基于强化学习的无人机与云台干扰源联合搜索方法，其特征在于，所述联合搜索方法控制装有云台的无人机处于固定的高度，并控制云台控制旋转和扫描以使方向性天线对无线电信号进行接收，再利用强化学习的算法对方向性天线接收的无线电信号进行处理，计算无人机的飞行方向，对干扰源进行搜索定位；所述联合搜索方法包括以下步骤：S1，将搜索任务的时间平均划分为多个长度相同的时隙，将每个时隙t划分为两个阶段：云台阶段和无人机阶段；S2，在时隙t的云台阶段，通过云台控制方向性天线，根据ε贪心策略执行动作，选择n个等间距量化的垂直角度集合中的某个垂直角度并水平旋转一圈，测得m个等间隔的水平角度上的接收信号强度值，存入接收信号强度向量中；S3，根据接收信号强度向量计算得到当前时隙无人机的状态、下一时隙云台的状态、上一时隙无人机的立即回报以及当前时隙云台的立即回报，并分别计算上一时隙无人机和当前时隙云台的状态
‑
动作值函数，作为Q值；其中，当前时隙无人机的状态为由接收信号强度向量估算出的干扰源方向；下一时隙云台的状态为估算出的方向上的接收信号强度值的量化；上一时隙无人机的立即回报为m个水平角度上接收信号强度的最大值；当前时隙云台的立即回报为m个水平角度上接收信号强度的和；S4，在t时隙的无人机阶段中，无人机根据ε贪心策略执行动作，决策出其中一个水平角度作为飞行方向θ
t
，向该飞行方向飞行一个固定的步长到达新的位置；同时决策出下一时隙云台的垂直角度；S5，在下一时隙重复上述步骤S2至步骤S4，直至无人机飞行到干扰源上方。2.根据权利要求1所述的基于强化学习的无人机与云台干扰源联合搜索方法，其特征在于，步骤S2中，通过云台控制方向性天线，选择n个等间距量化的垂直角度集合中的某个垂直角度并水平旋转一圈，测得m个等间隔的水平角度上的接收信号强度值，存入接收信号强度向量中的过程包括以下步骤：S21，以无人机初始位置对应地面的点为原点，构建直角坐标系；S22，设天线允许在水平方向θ∈[0,2π]、垂直方向构成的半球形上旋转；将水平角度等间距量化为m个角度{Θ1,Θ2,...,Θ
m
}，将垂直角度等间距量化为n个角度{Φ1,Φ2,...,Φ
n
}；S23，选择旋转到n个等间距量化的垂直角度集合{Φ1,Φ2,...,Φ
n
}中的某个垂直角度，并水平旋转一圈，测得m个等间隔的水平角度{Θ1,Θ2,...,Θ
m
}上的接收信号强度值。3.根据权利要求2所述的基于强化学习的无人机与云台干扰源联合搜索方法，其特征在于，步骤S23中，通过云台转向测得t时刻的接收信号强度向量，即RSS向量Vr
t
，其满足下述计算公式：Vr
t
＝Mr
t
(k
t
,:)其中k
t
为t时刻云台旋转到的垂直角度的索引，Mr
t
为方向性天线在所有角度上可以采集到的接收信号强度值组成的接收信号强度矩阵，即RSS矩阵，其满足下述计算公式：
其中，P
ij
＝P
r
(θ
t
‑
Θ
j
,φ
t
‑
Φ
i
)；i＝1,2,...,n；j＝1,2,...,m；(θ
t
,φ
t
)为t时刻干扰源相对于无人机的角度；式中，P
T
为干扰源发射功率，N为噪声的幅度，其为服从均值为0方差为σ2的高斯分布的随机变量；L为自由空间路径损耗；G
r
(θ
t
‑
Θ
j
,φ
t
‑
【专利技术属性】
技术研发人员：黄洋，王凌宇，周涛，朱秋明，吴启晖，崔皓禹，毛开，姜俊凯，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。