一种基于多模态航拍数据的输电线路工程地物识别方法技术

本发明专利技术提供了一种基于多模态航拍数据的输电线路工程地物识别方法，包括如下步骤：S1：将多模态航拍数据输入改进型的多模态特征融合实例分割网络；S2：多模态特征融合实例分割网络构建用于特征提取的包含双路径数据输入的一个多模态主干网络；S3：多模态特征融合实例分割网络将多模态主干网络提取的多模态航拍数据的特征图输入内容引导注意力机制，充分混合通道注意力权重和空间注意力权重，再输入到特征金字塔网络中，生成多尺度的特征图；S4：多模态特征融合实例分割网络输出每个地物目标的边界框、类别标签和实例分割掩码，其中掩码精确标记目标的位置和形状。

【技术实现步骤摘要】

本专利技术属于图像处理，具体涉及一种基于多模态航拍数据的输电线路工程地物识别方法。

技术介绍

1、现有技术中，对于输电线路工程地物识别，多采用多光谱/高光谱分析：通过不同波段反射率区分地物类型(如水体、植被、建筑物)，高光谱数据波段多(数百至数千波段)，数据量庞大，存储和处理成本高，难以满足实时性需求(如无人机巡检场景)，形态学处理(如膨胀、腐蚀)可能过度平滑边缘，丢失细小地物特征(如电力塔螺栓、绝缘子)，因此，传统的方式精度有限。

技术实现思路

1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于多模态航拍数据的输电线路工程地物识别方法。

2、根据本专利技术提供的一种基于多模态航拍数据的输电线路工程地物识别方法，包括如下步骤：

3、s1：将多模态航拍数据输入改进型的多模态特征融合实例分割网络(tle-mmfs-net)；

4、s2：多模态特征融合实例分割网络(tle-mmfs-net)构建用于特征提取的包含双路径数据输入的一个多模态主干网络，该主干网络主要包含了两个部本文档来自技高网...

【技术保护点】

1.一种基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，步骤S1所述多模态航拍数据包括：数字正射影像(Digital Orthophoto Map，DOM)和数字表面模型数据(Digital Surface Models，DSM)，数字正射影像和数字表面模型数据为统一的尺寸：4096×4096×c，其中c为数据通道数。

3.根据权利要求1所述的基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，步骤S2所述数字正射影像特征提取网络每使用一层步长为2的3...

【技术特征摘要】

1.一种基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，步骤s1所述多模态航拍数据包括：数字正射影像(digital orthophoto map，dom)和数字表面模型数据(digital surface models，dsm)，数字正射影像和数字表面模型数据为统一的尺寸：4096×4096×c，其中c为数据通道数。

3.根据权利要求1所述的基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，步骤s2所述数字正射影像特征提取网络每使用一层步长为2的3×3卷积层对特征图进行降采样操作后，再使用一个c2f模块来强化其中的特征，且c2f模块的基本深度参数分别为“3/6/6/3”。

4.根据权利要求1所述的基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，步骤s2所述数字表面模型数据特征提取网络基于yolov8的主干网络结构，替换原有的下采样模块为小波变换特征学习模块，在特征图输入sppf模块前引入了频域分析通道注意力机制。

5.根据权利要求4所述的基于多模态航拍数据的输电线路工程地物识别方法，其特征在于，小波变换特征学习模...

【专利技术属性】
技术研发人员：张堃，欧阳鹏，吴建国，张培建，
申请(专利权)人：南通理工学院，
类型：发明
国别省市：