当前位置: 首页 > 专利查询>天津大学专利>正文

基于缺失跨模态数据类增量学习的无人机巡检方法及装置制造方法及图纸

技术编号:43829486 阅读:20 留言:0更新日期:2024-12-31 18:29
本发明专利技术公开了一种基于缺失跨模态数据类增量学习的无人机巡检方法及装置,方法包括:对无人机收集到的缺失数据进行补全;对补全后的数据进行预处理,获取数据中隐藏的各模态的特征;对输入特征图中不同模态的特征通道进行混合;对混合后的输入特征图中的每个组分配一套卷积核,进行分组卷积后,对特征图应用自适应平均池化,得到最终的输出特征图;对输出特征图进行展平,之后将其输入全连接层,并应用激活函数以引入非线性,生成最终的分类结果,随后应用损失函数计算损失,并使用梯度下降法更新模型参数;在模型训练完成后部署到无人机上,无人机对场景和实体进行识别。装置包括:处理器和存储器。本发明专利技术提高了无人机在复杂环境中的识别和分析能力。

【技术实现步骤摘要】

本专利技术涉及智能无人系统中的无人机巡检领域,尤其涉及一种基于缺失跨模态数据类增量学习的无人机巡检方法及装置


技术介绍

1、无人机巡检系统主要通过无人机实施关键基础设施,例如:电力线、油气管道、铁路和桥梁的自动化监控与检查。此类系统也广泛应用于农业、森林监测和城市管理等领域。其主要优点包括:提升作业效率、降低操作成本以及减少人员安全风险。无人机在执行巡检任务时,需收集并分析数据以做出自动化决策。在日间,无人机通过高清摄像头捕获清晰图像进行分析;而在夜间,通常依靠红外摄像头来处理因光照不足而获取的图像。

2、目前的自动检测模型主要处理通过高清或红外摄像头捕获的图像,这些模型在训练阶段基于已收集的数据训练深度神经网络,随后部署这些网络来分析新采集的图像以评估当前情况。但是,由于白天和夜晚条件下图像的信息和特征存在较大差异,这种单一模型往往难以同时适应这两种情况;此外,在实际操作中,一些感知模态可能因为技术故障、环境干扰或其他外部因素而无法提供数据,即使模态可用,也可能因为传感器覆盖范围的局限性,或是由于传感器本身的限制导致无法捕获到场景的全貌,造本文档来自技高网...

【技术保护点】

1.一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述对输入特征图中不同模态的特征通道进行混合具体为:

3.根据权利要求1所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述损失函数由两部分组成,真实分类损失Lcls和新类预留损失Lvr,

4.根据权利要求1所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述对无人机收集到的缺失数据进行补全为:在训练过程中使用掩蔽自编码器来补全传感器采集到的缺失数...

【技术特征摘要】

1.一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述对输入特征图中不同模态的特征通道进行混合具体为:

3.根据权利要求1所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述损失函数由两部分组成,真实分类损失lcls和新类预留损失lvr,

4.根据权利要求1所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述对无人机收集到的缺失数据进行补全为:在训练过程中使用掩蔽自编码器来补全传感器采集到的缺失数据。

5.根据权利要求2所述的一种基于缺失跨模态数据类增量学习的无人机巡检方法,其特征在于,所述通道混合将通道分配到不同预...

【专利技术属性】
技术研发人员:姚鑫杰王煜朱鹏飞李维浩赵睿朴胡清华
申请(专利权)人:天津大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1