本发明专利技术公开了一种基于多模态融合的无人机探测系统，包括系统主机以及设置在探测区域的多个节点模块，节点模块包括射频天线阵列、麦克风传感器阵列、射频信号处理模块、音频信号处理模块、融合模块和通信模块，其中，射频天线阵列用于获得无人机目标的射频信号；麦克风传感器阵列用于获得无人机目标的音频信号；射频信号处理模块用于获得射频信号的分类识别和定位结果；音频信号处理模块用于获得音频信号的分类识别和定位结果；融合模块用于对射频信号的分类识别和定位结果与音频信号的分类识别和定位结果进行多模态融合。本发明专利技术解决了单一模态无人机探测的局限性问题以及多模态探测的实现成本问题，实现无人机准确、有效和可靠探测。可靠探测。可靠探测。
【技术实现步骤摘要】
一种基于多模态融合的无人机探测系统和方法
[0001]本专利技术属于无人机探测
，具体涉及一种基于多模态融合的无人机探测系统和方法。
技术介绍
[0002]为了满足城市复杂电磁环境下无人机的管控需求，无人机的探测预警技术手段可以分为视觉、雷达、射频、声学等技术类别。视觉探测一般通过使用相机阵列和多相机视图对无人机位置进行3D重建，从而获得无人机的运动轨迹，无人机的有效探测距离在1km以内；雷达探测包括主动雷达探测和被动雷达探测，其中，主动雷达探测通过发射电磁波并探测从无人机反射的回波来测量无人机的方位，而被动雷达探测通过直接探测无人机反射的环境电磁波来测量无人机方位，雷达的作用距离远，但成本高昂，且民用小型无人机体积小，反射面较小，在城市复杂电磁环境和辐射管控的政策要求下，使用雷达对无人机进行探测的难度很大；射频探测一般使用天线阵列接收无人机与地面站或者遥控器之间的通信信号，并通过射频指纹探测方法实现无人机的分类识别，有效作用距离可达3km以上，满足大部分应用场景的需求，但是这种方法在无人机预设飞行计划之后，处于无线电静默状态时，射频侦测方法将失效；声学探测通过麦克风阵列接收无人机旋翼发出的声音，能探测识别近地面或近建筑物的无人机，其实现成本较低，但由于声音传输过程衰减较大，导致通过声学探测的有效探测距离一般较小。
[0003]综上，每一种无人机探测技术都有其局限性，采用单一探测模态难以准确、有效和可靠地实现无人机的侦测。
技术实现思路
[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于多模态融合的无人机探测系统和方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0005]本专利技术的一个方面提供了一种基于多模态融合的无人机探测系统，包括系统主机以及设置在探测区域的多个节点模块，所述节点模块包括射频天线阵列、麦克风传感器阵列、射频信号处理模块、音频信号处理模块、融合模块和通信模块，其中，
[0006]所述射频天线阵列用于获得探测区域内无人机目标的射频信号；
[0007]所述麦克风传感器阵列用于获得探测区域内无人机目标的音频信号；
[0008]所述射频信号处理模块用于对所述射频信号进行射频指纹提取、分类识别和定位，获得所述射频信号的分类识别和定位结果；
[0009]所述音频信号处理模块用于对所述音频信号进行声纹提取、分类识别和定位，获得所述音频信号的分类识别和定位结果；
[0010]所述融合模块用于对所述射频信号的分类识别和定位结果与所述音频信号的分类识别和定位结果进行多模态融合，获得包括无人机类型和位置信息的融合结果；
[0011]所述通信模块用于将所述融合结果发送至所述系统主机。
[0012]在本专利技术的一个实施例中，所述射频天线阵列和所述麦克风传感器阵列均采用平面五元十字阵列设置，且位于在同一水平面上。
[0013]在本专利技术的一个实施例中，所述射频信号处理模块包括射频信号转换单元、射频指纹提取单元、射频分类识别单元和射频定位单元，其中，
[0014]所述射频信号转换单元用于将所述射频天线阵列接收的模拟射频信号转换为数字射频信号；
[0015]所述射频指纹提取单元用于根据所述数字射频信号获得无人机射频指纹信息；
[0016]所述射频分类识别单元用于基于多层卷积神经网络模型对所述无人机射频指纹信息进行分类识别，获得无人机目标的类别信息；
[0017]所述射频定位单元用于根据所述数字射频信号获得所述无人机目标的位置信息。
[0018]在本专利技术的一个实施例中，所述射频指纹提取单元具体用于：
[0019]将所述数字射频信号在二维矢量图中进行绘制，得到星座轨迹图；选取预定间隔对所述数字射频信号进行差分运算，获得差分星座轨迹图；从所述差分星座轨迹图中提取Haar
‑
like特征矢量图作为所述无人机射频指纹信息。
[0020]在本专利技术的一个实施例中，所述音频信号处理模块包括音频信号转换单元、声纹提取单元、音频分类识别单元和音频定位单元，其中，
[0021]所述音频信号转换单元用于将所述麦克风接收的模拟音频信号转换为数字音频信号；
[0022]所述声纹提取单元用于根据所述数字音频信号获得无人机声纹信息；
[0023]所述音频分类识别单元用于基于CNN和GRU复合神经网络模型对所述无人机声纹信息进行分类识别，获得无人机目标的类型信息；
[0024]所述音频定位单元用于根据所述数字音频信号获得所述无人机目标的位置信息。
[0025]在本专利技术的一个实施例中，所述融合模块具体包括：
[0026]计算单元，用于使用Hamming距离分别计算射频指纹特征识别结果与特征模版的相似度HD
a
以及声纹特征识别结果与特征模版的相似度HD
b
；
[0027]加权融合单元，用于在分数层基于加权加法原则对射频数据和音频数据进行融合：
[0028]FS＝w
a
×
(1
‑
HD
a
)+w
b
×
(1
‑
HD
b
)
[0029]其中，FS表示融合后与特征模版的相似度，w
a
,w
b
分别表示射频和音频两个模态的权重系数，且w
a
+w
b
＝1。
[0030]本专利技术的另一方面提供了一种基于多模态融合的无人机探测方法，包括：
[0031]S1：利用射频天线阵列获得探测区域内无人机目标的射频信号；
[0032]S2：利用麦克风传感器阵列获得探测区域内无人机目标的音频信号，其中，所述射频天线阵列和所述麦克风传感器阵列均采用平面五元十字阵列设置，且位于在同一水平面上；
[0033]S3：对所述射频信号进行射频指纹提取、分类识别和定位，获得所述射频信号的分类识别和定位结果；
[0034]S4：对所述音频信号进行声纹提取、分类识别和定位，获得所述音频信号的分类识别和定位结果；
[0035]S5：对所述射频信号的分类识别和定位结果与所述音频信号的分类识别和定位结果进行多模态融合，获得包括无人机类型和位置信息的融合结果。
[0036]在本专利技术的一个实施例中，所述S3具体包括：
[0037]S31：将所述射频天线阵列接收的模拟射频信号转换为数字射频信号；
[0038]S32：根据所述数字射频信号获得无人机射频指纹信息；
[0039]S33：基于多层卷积神经网络模型对所述无人机射频指纹信息进行分类识别，获得无人机目标的类别信息；
[0040]S34：根据所述数字射频信号获得所述无人机目标的位置信息。
[0041]在本专利技术的一个实施例中，所述S4包括：
[0042]S41：将所述麦克风接收的模拟音频信号转换为数字音频信号；
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态融合的无人机探测系统，其特征在于，包括系统主机以及设置在探测区域的多个节点模块，所述节点模块包括射频天线阵列(1)、麦克风传感器阵列(2)、射频信号处理模块(3)、音频信号处理模块(4)、融合模块(5)和通信模块(6)，其中，所述射频天线阵列(1)用于获得探测区域内无人机目标的射频信号；所述麦克风传感器阵列(2)用于获得探测区域内无人机目标的音频信号；所述射频信号处理模块(3)用于对所述射频信号进行射频指纹提取、分类识别和定位，获得所述射频信号的分类识别和定位结果；所述音频信号处理模块(4)用于对所述音频信号进行声纹提取、分类识别和定位，获得所述音频信号的分类识别和定位结果；所述融合模块(5)用于对所述射频信号的分类识别和定位结果与所述音频信号的分类识别和定位结果进行多模态融合，获得包括无人机类型和位置信息的融合结果；所述通信模块(6)用于将所述融合结果发送至所述系统主机。2.根据权利要求1所述的基于多模态融合的无人机探测系统，其特征在于，所述射频天线阵列(1)和所述麦克风传感器阵列(2)均采用平面五元十字阵列设置，且位于在同一水平面上。3.根据权利要求1所述的基于多模态融合的无人机探测系统，其特征在于，所述射频信号处理模块(3)包括射频信号转换单元(31)、射频指纹提取单元(32)、射频分类识别单元(33)和射频定位单元(34)，其中，所述射频信号转换单元(31)用于将所述射频天线阵列接收的模拟射频信号转换为数字射频信号；所述射频指纹提取单元(32)用于根据所述数字射频信号获得无人机射频指纹信息；所述射频分类识别单元(33)用于基于多层卷积神经网络模型对所述无人机射频指纹信息进行分类识别，获得无人机目标的类别信息；所述射频定位单元(34)用于根据所述数字射频信号获得所述无人机目标的位置信息。4.根据权利要求3所述的基于多模态融合的无人机探测系统，其特征在于，所述射频指纹提取单元(32)具体用于：将所述数字射频信号在二维矢量图中进行绘制，得到星座轨迹图；选取预定间隔对所述数字射频信号进行差分运算，获得差分星座轨迹图；从所述差分星座轨迹图中提取Haar
‑
like特征矢量图作为所述无人机射频指纹信息。5.根据权利要求1所述的基于多模态融合的无人机探测系统，其特征在于，所述音频信号处理模块(4)包括音频信号转换单元(41)、声纹提取单元(42)、音频分类识别单元(43)和音频定位单元(44)，其中，所述音频信号转换单元(41)用于将所述麦克风接收的模拟音频信号转换为数字音频信号；所述声纹提取单元(42)用于根据所述数字音频信号获得无人机声纹信息；所述音频分类识别单元(43)用于基于CNN和GRU复合神经网络模型对所述无人机声纹信息进行分类识别，获得无人机目标的类型信息；所述音频定位单元(44)用于根据所述数字音频信号获得所述无人机目标的位置信息。6.根据权利要求1所述的基于多模态融合的无人机探测系统，其特征在于，所述融合模
块(5)具体包括：计算单元(51)，用于使用Hamming距离分别计算射频指纹特征识别结果与特征模版的相似度HD
a
以及声纹特征识别结果与特征模版...
【专利技术属性】
技术研发人员：李登峰，李皖婷，张修靖，龚庆红，
申请(专利权)人：长安大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。