【技术实现步骤摘要】
本专利技术属于无人机，具体涉及基于多模态尺度归一化的视觉雷达联合无人机定位方法。
技术介绍
1、随着无人机技术的发展，其续航、飞行速度、负载等多方面能力均得到了显著提升，促进了其在农业灌溉、通信、交通运输等方面的广泛应用。然而，无人机技术发展带来便利的同时，非法的无人机活动也带来泄露隐私信息的风险，甚至会威胁重要基础设施的安全。因此，在早期对未经授权的入侵无人机进行精确定位，对于防止无人飞行器破坏关键基础设施和保护人身安全至关重要。
2、当前，无人机定位方法可以分为两类，即基于单传感器的方法和基于多传感器模态融合的方法。基于单传感器的方法如雷达，通过发射无线电波并分析反射信号的多普勒特性来定位目标。但这种方法容易受到和无人机有相似反射面的其他飞行目标的干扰，从而导致严重的虚警现象。基于单一视觉传感器的无人机方法有较高的定位精度，并能进一步识别无人机和其他的飞行目标。但这种方法存在探测距离和视场方面的矛盾，限制了较近的工作范围，且在无人机高机动性导致剧烈尺度变化时定位性能严重下降。
3、基于多传感器模态融合的无人机定位方法因其高精度和强鲁棒性而备受关注。guangyu wu等人在其发表的论文“precise uav mmw-vision positioning:amodal-oriented self-tuning fusion framework”(ieee j.sel.areas commun.,vol.42,no.1,pp.6-20,jan.2024)提出了面向视觉和毫米波雷达的模态融合无人机定位系统
4、这些基于视觉传感器融合的方法都仅有较近的探测距离，限制了实际无人机定位系统中决策的实施和部署。此外，目前无人机定位方法在远距离情况下的定位精度很低，难以在实际无人机定位系统中应用。无人机高机动性导致的尺度剧烈变化是目前诸多定位方法都遇到的难题。因此，亟需开发新的无人机精确定位方法，以解决现有无人机识别技术在实际定位系统中探测距离受限、远距离情况下定位精度低、尺度鲁棒性差等问题。
技术实现思路
1、本专利技术所要解决的技术问题是针对上述现有技术的不足，提供基于多模态尺度归一化的视觉雷达联合无人机定位方法，利用雷达提供的距离信息作为无人机实例的尺度先验，通过距离感知的图像切片和尺度归一化，将不同距离的无人机实例映射到相同的尺度空间，极大提升了广域微小无人机的定位精度，增强了定位网络对无人机尺度剧烈变化的鲁棒性，而且能够降低由鸟和其他飞行目标导致的虚检。
2、为实现上述技术目的，本专利技术采取的技术方案为：
3、基于多模态尺度归一化的视觉雷达联合无人机定位方法，包括：
4、步骤1：采集视觉雷达多模态数据，包括无人机图像以及雷达提供的目标距离信息；
5、步骤2：根据无人机在图像中的不同位置，标注对应的边界框；
6、步骤3：采用距离感知的图像自适应切片网络，根据目标距离信息，将无人机图像切片重组成批量二维图像切片结构，得到训练数据；
7、步骤4：构建基于模态融合的尺度归一化网络，并利用训练数据训练归一化网络；
8、步骤5：构建无人机定位视觉模型，并利用训练数据训练视觉模型；
9、步骤6：将测试无人机图像以及目标距离信息输入距离感知的图像自适应切片网络、基于模态融合的尺度归一化网络以及无人机定位视觉模型，得到预测结果后处理后，输出定位结果。
10、为优化上述技术方案，采取的具体措施还包括：
11、上述的步骤1搭建一个由相控阵雷达和长焦相机组成的无人机定位系统，通过相控阵雷达提供的方位角引导长焦相机转向目标方向进行拍摄，系统接收端捕获无人机的图像，以及雷达提供的目标距离信息。
12、上述的步骤3包括：
13、设置原始图像i的宽度和高度分别为wi和hi；设置基准距离为d0，相应的图像切片宽度和高度分别为w0和h0；设置基准上尺度因子r0以及重叠因子r0；
14、计算距离为di时相应的图像切片宽度wi和高度hi：
15、
16、计算水平、垂直方向的切片数量mi、ni：
17、
18、其中，表示向上取整操作；
19、计算水平方向第m个切片和垂直方向第n个切片的边界：
20、
21、
22、
23、
24、其中，m＝1,2,…,mi,n＝1,2,…,ni；表示向下取整操作；和分别表示相应切片窗口左上角和右上角在原图上的坐标；
25、通过迭代m＝1,2,…,mi,n＝1,2,…,ni，实现切片窗口在原始图像i上以重叠因子r0的连续滑动，保证整个图像都被切片覆盖，最终将无人机图像切片重组成批量二维图像切片结构并重新转换无人机在切片中的边界框。
26、上述的步骤4构建的基于模态融合的尺度归一化网络包括一个以雷达信息模态作为输入的高阶滤波器权重预测分支以及一个以图像模态作为输入的特征提取分支；基于模态融合的尺度归一化网络以前一步中获得的不同低分辨率的图像切片以及相应的雷达距离信息作为输入，输出相同高分辨率和一致尺度的无人机实例。
27、上述的以图像模态作为输入的特征提取分支包括浅层和深层特征提取模块；
28、深层特征提取模块包括一个用于输入补丁中浅层特征提取的3×3卷积层，n个残差swin transformer基本块和一个3×3卷积层；在每个残差swin transformer基本块中，包括6个swin transformerv2基本单元和一个3×3卷积层来执行特征提取；6个swintransformerv2基本文档来自技高网...
【技术保护点】
1.基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤1搭建一个由相控阵雷达和长焦相机组成的无人机定位系统，通过相控阵雷达提供的方位角引导长焦相机转向目标方向进行拍摄，系统接收端捕获无人机的图像，以及雷达提供的目标距离信息。
3.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤3包括：
4.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤4构建的基于模态融合的尺度归一化网络包括一个以雷达信息模态作为输入的高阶滤波器权重预测分支以及一个以图像模态作为输入的特征提取分支；基于模态融合的尺度归一化网络以前一步中获得的不同低分辨率的图像切片以及相应的雷达距离信息作为输入，输出相同高分辨率和一致尺度的无人机实例。
5.根据权利要求4所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述以图像模态作为输入的特征提取分支包括浅层和深层
6.根据权利要求4所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述以雷达信息模态作为输入的高阶滤波器权重预测分支，根据可变分步步长机制，输出高分辨率图像中的像素坐标(i′,j′)和相应的输入图像像素坐标(i,j)之间的关系：
7.根据权利要求4所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述权重预测分支中，用一个256个隐藏神经单元的多层感知机执行权重预测过程，训练过程中，采用的损失函数为：
8.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤5中，基于无人机定位的视觉模型架构，选择预训练的无人机定位视觉模型作为起点，进行迁移学习，或者从头开始训练一个新的无人机定位视觉模型；采用图像切片和边界框标签作为输入，训练无人机定位视觉模型。
9.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤6包括：接收来自无人机定位系统中的测试无人机图像和雷达提供的目标距离信息Di；
...【技术特征摘要】
1.基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤1搭建一个由相控阵雷达和长焦相机组成的无人机定位系统，通过相控阵雷达提供的方位角引导长焦相机转向目标方向进行拍摄，系统接收端捕获无人机的图像，以及雷达提供的目标距离信息。
3.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤3包括：
4.根据权利要求1所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述步骤4构建的基于模态融合的尺度归一化网络包括一个以雷达信息模态作为输入的高阶滤波器权重预测分支以及一个以图像模态作为输入的特征提取分支；基于模态融合的尺度归一化网络以前一步中获得的不同低分辨率的图像切片以及相应的雷达距离信息作为输入，输出相同高分辨率和一致尺度的无人机实例。
5.根据权利要求4所述的基于多模态尺度归一化的视觉雷达联合无人机定位方法，其特征在于，所述以图像模态作为输入的特征提取分支包...
【专利技术属性】
技术研发人员：万奕尧，季家欢，谢文清，吴光宇，周福辉，吴启晖，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。