一种基于多模态无人机航拍的电力系统实时语义分割方法技术方案

技术编号:40548701 阅读:39 留言:0更新日期:2024-03-05 19:07
本发明专利技术公开一种基于多模态无人机航拍的电力系统实时语义分割方法,涉及图像数据处理领技术领域;本发明专利技术方法通过利用多传感器采集多模态信息,采用多级小波变换分析、特征级别多模态信息交互、全局多模态信息交叉引导,充分发挥多模态信息的互补能力,有效提升无人机航拍电力系统的分割检测性能;利用非对称加速理论,设计轻量级多模态特征编码器,使之更加契合无人端侧部署需求;建立了一个定量度量mIoU和FPS之间平衡关系的计算法。

【技术实现步骤摘要】

本专利技术公开一种基于多模态无人机航拍的电力系统实时语义分割方法,涉及图像数据处理领。


技术介绍

1、现有技术中,对于航拍电力系统的检测,尤其是无人机高空俯拍的电线、电线杆等,有复杂的背景、变化的光线的干扰,电线常常被背景所淹没,使得现有的通用单模态语义分割算法对其检测分割效果并不优秀。此外,现在各种传感器已经层出不穷,通用的单模态语义分割算法没有将其他模态的信息进行充分利用;

2、目前多模态rgbd语义分割算法通常有着两个庞大的多模态的特征提取器,对于边缘设备,计算资源有限的设备并不友好;同时,对于miou和fps之间的平衡关系,一直以来是定性比较,没有一种方法能够定量的计算出一个数值来评估精度和速度之间的平衡关系。


技术实现思路

1、本专利技术针对现有技术的问题,提供一种基于多模态无人机航拍的电力系统实时语义分割方法及系统,所采用的技术方案为:

2、第一方面,一种基于多模态无人机航拍的电力系统实时语义分割方法,包括:

3、s1,在rgbd多模态非对称编码阶段通过多级小波本文档来自技高网...

【技术保护点】

1.一种基于多模态无人机航拍的电力系统实时语义分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述S1,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述S2,具体包括:

4.根据权利要求3所述的方法,其特征在于,S3中,所述RGBD多模态非对称编码器包括深度非对称编码器和结构非对称编码器:

5.根据权利要求4所述的方法,其特征在于,S4中,所述F-score算法如公式(1)所示,所述评价指标如公式(2)所示:

6.一种基于多模态无人机航拍的电力系统实时语义分割系统,其特征在于,包括:

...

【技术特征摘要】

1.一种基于多模态无人机航拍的电力系统实时语义分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述s1,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述s2,具体包括:

4.根据权利要求3所述的方法,其特征在于,s3中,所述rgbd多模态非对称编码器包括深度非对称编码器和结构非对称编码器:

5.根据权利要求4所述的方法,其特征在于,s4中,所述f-score算法如公式(1)所示,所述评价指标如公式(2)所示:

6.一种基于多模态无人机航拍的电力系统实时语义分割系统...

【专利技术属性】
技术研发人员:巢建树安德钰赖佳华朱程李霆吴晓亮
申请(专利权)人:泉州装备制造研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1