无人机载多模态融合在线稳像方法、系统、装置和设备制造方法及图纸

本申请涉及一种无人机载多模态融合在线稳像方法、系统、装置和设备。方法包括：获取预处理后的IMU序列样本和一级稳定帧样本，将IMU序列样本和一级稳定帧样本输入多模态融合在线稳像网络；一级稳定帧样本是通过对视频帧进行机械稳像补偿得到的；多模态融合在线稳像网络包括IMU特征提取支路、图像特征提取支路以及多模态特征融合总支；多模态特征融合总支包括特征级融合模块、偏移量估计模块和重构输出模块；根据预先构建的损失函数、预处理后的IMU序列样本和一级稳定帧样本对多模态融合在线稳像网络进行训练，得到训练好的多模态融合在线稳像网络；通过训练好的多模态融合在线稳像网络进行在线稳像。采用本方法能够显著提高稳像帧的视觉效果和稳定性。

【技术实现步骤摘要】

本申请涉及数据处理，特别是涉及一种无人机载多模态融合在线稳像方法、系统、装置和设备。

技术介绍

1、随着无人机技术的迅猛发展，无人机在各类应用场景中的广泛部署，如环境监测、农业遥感、城市规划以及影视拍摄等，对高质量的视频采集提出了更为严苛的要求。然而，由于无人机在飞行过程中不可避免地会受到各种因素的影响，如空气湍流、机械振动以及操控误差等，导致所采集的视频存在显著的抖动问题。这些抖动不仅影响视频的视觉质量，还可能对后续的视频分析与处理任务带来负面影响。因此，如何有效地抑制无人机视频中的抖动，提升视频质量，成为计算机视觉与图像处理领域亟待解决的关键问题之一。

2、现有稳像技术根据实现方式及原理，主要分为机械、光学和电子稳像三种。机械稳像依赖伺服系统和传感器构建稳定平台，实现对成像设备的反向运动补偿，适用于高幅抖动场景。然而，其庞大结构、高功耗及成本限制了其广泛应用。但机械稳像仍是机载平台稳像的主流，而且可以与其他稳像技术融合使用，进一步提高稳像性能。如陀螺仪与改进orb算法结合的方案，提升了系统的速度与精度。光学稳像通过光学元件补偿运动实现稳像，本文档来自技高网...

【技术保护点】

1.一种无人机载多模态融合在线稳像方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述IMU特征提取支路包括嵌入层、多头注意力机制层、归一化层、全连接层、ReLU激活函数和IMU特征输出层；所述嵌入层的输出与所述多头注意力机制层的输出以跳跃连接的方式进行融合；所述归一化层的输出与所述全连接层的输出以跳跃连接的方式进行融合。

3.根据权利要求2所述的方法，其特征在于，通过所述IMU特征提取支路对所述IMU序列样本进行特征提取，输出IMU序列特征向量包括：

4.根据权利要求1所述的方法，其特征在于，所述图像特征提取支路包括第一特...

【技术特征摘要】

1.一种无人机载多模态融合在线稳像方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述imu特征提取支路包括嵌入层、多头注意力机制层、归一化层、全连接层、relu激活函数和imu特征输出层；所述嵌入层的输出与所述多头注意力机制层的输出以跳跃连接的方式进行融合；所述归一化层的输出与所述全连接层的输出以跳跃连接的方式进行融合。

3.根据权利要求2所述的方法，其特征在于，通过所述imu特征提取支路对所述imu序列样本进行特征提取，输出imu序列特征向量包括：

4.根据权利要求1所述的方法，其特征在于，所述图像特征提取支路包括第一特征提取模块、第二特征提取模块、第三特征提取模块和图像特征输出层；

5.根据权利要求1所述的方法，其特征在于，所述重构输出模块包括第一卷积子模块...

【专利技术属性】
技术研发人员：程江华，刘通，潘乐昊，程榜，蔡亚辉，唐先明，陈朔，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：