基于多模态尺度归一化的视觉雷达联合无人机定位方法技术

本发明专利技术公开了基于多模态尺度归一化的视觉雷达联合无人机定位方法，包括：采集视觉雷达多模态数据，包括无人机图像以及雷达提供的目标距离信息；根据无人机在图像中的不同位置，标注对应的边界框；采用距离感知的图像自适应切片网络，根据目标距离信息，将无人机图像切片重组成批量二维图像切片结构，得到训练数据；构建基于模态融合的尺度归一化网络，并利用训练数据训练归一化网络；构建无人机定位视觉模型，并利用训练数据训练视觉模型；将测试无人机图像以及目标距离信息输入距离感知的图像自适应切片网络、基于模态融合的尺度归一化网络以及无人机定位视觉模型，得到预测结果后处理后，输出定位结果。本发明专利技术通过多模态尺度归一化技术，有效缓解了尺度变化和复杂背景对无人机定位的影响，具有高定位精度和召回率的优势。

【技术实现步骤摘要】

本专利技术属于无人机，具体涉及基于多模态尺度归一化的视觉雷达联合无人机定位方法。

技术介绍

1、随着无人机技术的发展，其续航、飞行速度、负载等多方面能力均得到了显著提升，促进了其在农业灌溉、通信、交通运输等方面的广泛应用。然而，无人机技术发展带来便利的同时，非法的无人机活动也带来泄露隐私信息的风险，甚至会威胁重要基础设施的安全。因此，在早期对未经授权的入侵无人机进行精确定位，对于防止无人飞行器破坏关键基础设施和保护人身安全至关重要。

2、当前，无人机定位方法可以分为两类，即基于单传感器的方法和基于多传感器模态融合的方法。基于单传感器的方法如雷达，通过发射无线电波并分析反射信号的多普勒特性来定位目标。但这种方法容易受到和无人机有相似反射面的其他飞行目标的干扰，从而导致严重的虚警现象。基于单一视觉传感器的无人机方法有较高的定位精度，并能进一步识别无人机和其他的飞行目标。但这种方法存在探测距离和视场方面的矛盾，限制了较近的工作范围，且在无人机高机动性导致剧烈尺度变化时定位性能严重下降。

3、基于多传感器模态融合的无人机定位方法因其高精度和本文档来自技高网...

【技术保护点】

1.基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤1搭建一个由相控阵雷达和长焦相机组成的无人机定位系统，通过相控阵雷达提供的方位角引导长焦相机转向目标方向进行拍摄，系统接收端捕获无人机的图像，以及雷达提供的目标距离信息。

3.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤3包括：

4.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤4构建的基于模态融合...

【技术特征摘要】

1.基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤1搭建一个由相控阵雷达和长焦相机组成的无人机定位系统，通过相控阵雷达提供的方位角引导长焦相机转向目标方向进行拍摄，系统接收端捕获无人机的图像，以及雷达提供的目标距离信息。

3.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤3包括：

4.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤4构建的基于模态融合的尺度归一化网络包括一个以雷达信息模态作为输入的高阶滤波器权重预测分支以及一个以图像模态作为输入的特征提取分支；基于模态融合的尺度归一化网络以前一步中获得的不同低分辨率的图像切片以及相应的雷达距离信息作为输入，输出相同高分辨率和一致尺度的无人机实例。

5.根据权利要求4所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述以图像模态作为输入的特征提取分支包...

【专利技术属性】
技术研发人员：万奕尧，季家欢，谢文清，吴光宇，周福辉，吴启晖，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：