本发明专利技术公开一种CNN+Transformer遥感图像目标检测方法，应用于目标检测领域，针对现有的基于卷积神经网络的目标检测算法，存在检测准确率低下的问题；本发明专利技术首先构建一个CNN和Transformer并行的目标检测网络，利用全局信息和局部信息交互的方式提高多尺度目标检测任务的效果，并在网络中使用自顶向下和自底向上两条路径融合多尺度信息，最后使用坐标注意力CA机制完成特征选择，赋予每个通道自适应权重，实现对遥感图像多尺度目标的准确检测和定位；本发明专利技术的方法结合CNN和Transformer各自的优势，准确定位目标区域，经训练后可较高地保证检测率，实现遥感图像目标的准确检测。实现遥感图像目标的准确检测。实现遥感图像目标的准确检测。
【技术实现步骤摘要】
一种CNN+Transformer遥感图像检测方法
[0001]本专利技术属于目标检测领域，特别涉及一种遥感图像多尺度目标检测技术。
技术介绍
[0002]目前遥感技术已在众多领域中发挥至关重要的作用，例如海洋监控，地质勘测、军事目标检测、自然灾害监测等。而遥感图像目标检测作为遥感技术发展中的一个重要方向，主要任务是寻找遥感图像中目标对象的位置以及识别出目标对象的类别。由于遥感图像具有背景复杂、目标尺寸多样以及小目标像素低等特点，传统的目标检测方法利用滑动窗口遍历原始遥感图像提取目标框易造成时间耗费长、检测精度低等问题。而随着深度学习的快速发展和卷积神经网络CNN的提出，为计算机视觉领域提供了一种端到端的人工智能模型，且由于卷积神经网络具有自动学习特征提取检测精度高等特点，基于卷积神经网络的目标检测算法正在逐渐代替传统目标检测算法，成为当前主流的目标检测算法。
[0003]此时的遥感图像目标检测多是利用上下文信息、注意力机制和多尺度特征融合等方法解决遥感图像的多尺度问题。直到Transfomer这个自然语言处理领域新颖的架构被引入目标检测领域实现了该领域的进一步发展。同时在2020年DETR提出的最早将Transformer带入到目标检测领域的模型，它实现了与Faster R
‑
CNN相当的准确率。它首先有CNN提取特征后将输出展平变为序列向量，而后通过Transformer处理后输出得到最终预测结果。
[0004]文献“Xiao T,Singh M,Mintun E,et al.Early Convolutions Help Transformers See Better，2021，14881.”提出了一种名为CMT的新型混合架构，用于视觉识别和其他下游视觉任务，以解决在计算机视觉领域以粗暴的方式利用Transformer的限制。所提出的CMT同时利用CNN和Transformers的优势来捕捉局部和全局信息，促进网络的表示能力。但是模型使用的权重共享方法可能会导致一些信息丢失，因为它们在模型的多个位置共享。
[0005]文献“Li J,Xia X,Li W,et al.Next
‑
ViT:Next Generation Vision Transformer for EfficientDeployment in Realistic Industrial Scenarios，2022，4698.”提出Next
‑
ViT模型，提出NCB、NTB两种信息学习范式捕获局部表示和全局信息，最后对其混合范式进行了探究，得出CNN和Transformer的有效部署架构模型。由于其适用性和通用性的限制，Next
‑
ViT模型可能不如其他先进的视觉模型在一些数据集上拥有更好的表现。论文中展示了该模型在基于CPU的部署方面的优势，但对于基于GPU或其他加速器的部署，其性能是否具有竞争力仍需要进一步评估。上述模型多用于图像分类的领域，在目标检测领域的使用还是处于发展阶段。
技术实现思路
[0006]为解决上述技术问题，本专利技术提出了一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法。
[0007]本专利技术采用的技术方案为：一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法，具体步骤如下：
[0008]S1、构建多层CNN的卷积层结构；
[0009]S2、构建多层Transformer结构；
[0010]S3、对步骤S1、S2的结构搭建信息交换路径，得到初步的并行骨干网络；
[0011]S4、对步骤S3得到初步的并行骨干网络搭建特征金字塔结构，形成颈部网络；
[0012]S5、对步骤S4的网络连接CA注意力模块，构建深度神经网络；
[0013]S6、采集遥感图像目标检测数据，根据得到的遥感图像目标检测数据集，生成样本训练集、验证集与测试集；
[0014]S7、根据步骤S6样本训练集、验证集对步骤S5构建的深度神经网络进行训练；
[0015]S8、将测试集输入经步骤S7训练完成的深度神经网络，从而对遥感图像进行目标检测。
[0016]本专利技术的有益效果：本专利技术的方法首先构建了一个CNN和Transformer并行的目标检测网络，利用全局信息和局部信息交互的方式进一步提高多尺度目标检测任务的效果，并在网络中使用自顶向下和自底向上两条路径融合多尺度信息，最后使用坐标注意力CA机制完成特征选择，赋予每个通道自适应权重，实现对遥感图像多尺度目标的准确检测和定位。进而可以利用遥感图像目标检测数据集生成样本训练集、验证集与测试集，使用该方法完成遥感图像的目标检测任务。本专利技术的方法结合CNN和Transformer各自的优势，准确定位目标区域，在样本的训练后可较高地保证检测率，实现遥感图像多尺度目标的准确检测。
附图说明
[0017]图1为本专利技术的一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法的流程图。
[0018]图2为本专利技术实施例提供的信息交换路径示意图。
[0019]图3为本专利技术实施例提供的CA注意力机制示意图。
[0020]图4为本专利技术实施例提供的神经网络结构示意图SPP结构示意图。
[0021]图5为本专利技术实施例提供的遥感图像多尺度目标检测结果示意图；
[0022]其中，图5(a)表示原始图像的真实框，图5(b)表示Faster
‑
RCNN
‑
FPN的检测结果，图5(c)表示YoLov3的检测结果，图5(d)表示本专利技术的检测结果。
具体实施方式
[0023]为便于本领域技术人员理解本专利技术的
技术实现思路
，下面结合附图对本
技术实现思路
进一步阐释。
[0024]如图1所示，本专利技术的一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法流程图，具体步骤如下：
[0025]S1、构建多层CNN的卷积层结构；
[0026]S2、构建多层Transformer结构；
[0027]S3、对步骤S1、S2的结构构建信息交换路径，得到初步的并行骨干网络；
[0028]S4、对步骤S3得到初步的并行骨干网络搭建特征金字塔结构，形成颈部网络；
[0029]S5、对步骤S4的网络连接CA注意力模块，构建深度神经网络；
[0030]S6、本实施例中利用遥感图像目标检测数据集，合理生成样本训练集、验证集与测试集；
[0031]S7、训练深度神经网络。
[0032]在本实施例中，所述步骤S1中，引入残差连接的方式构建了五层卷积层，第一个卷积层主要用于通道调整，其余的用于提取局部信息。
[0033]在本实施例中，所述步骤S2中，利用LayerNorm(层标准化)、MHSF(Multi
‑
HeadSelf
‑
Attention，多头自注意)和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法，其特征在于，具体步骤如下：S1、构建多层CNN的卷积层结构；S2、构建多层Transformer结构；S3、对步骤S1、S2的结构搭建信息交换路径，得到初步的并行骨干网络；S4、对步骤S3得到初步的并行骨干网络搭建特征金字塔结构，形成颈部网络；S5、对步骤S4的网络连接CA注意力模块，构建深度神经网络；S6、采集遥感图像目标检测数据，根据得到的遥感图像目标检测数据集，生成样本训练集、验证集与测试集；S7、根据步骤S6样本训练集、验证集对步骤S5构建的深度神经网络进行训练；S8、将测试集输入经步骤S7训练完成的深度神经网络，从而对遥感图像进行目标检测。2.根据权利要求1所述的一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法，其特征在于，步骤S1的多层CNN的卷积层结构包括六层CNN，第一层CNN用于通道调整，其余层CNN用于提取局部信息，每层CNN具体包括：第一1
×
1卷积层、3
×
3卷积层、第二1
×
1卷积层。3.根据权利要求2所述的一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法，其特征在于，多层Transformer结构具体包括四层Transformer，每层Transformer包括：第一层标准化、多头自注意、第二层标准化、多层感知机。4.根据权利要求3所述的一种CNN+Transformer并行结构的遥感图像多尺度目标检测方法，其特征在于，步骤S3所述初步的并行骨干网络具体为：经第一层CNN通道调整后的输入图像，输入第一层Transformer、第二层CNN；第一层Transformer提取的全局信息经上采样后输入第二层CNN，第二层CNN取的局部特征作为第三C...
【专利技术属性】
技术研发人员：杨海光，黄钰林，刘泽林，裴季方，唐雪，霍伟博，张寅，杨建宇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。