System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于神经网络构建遥感图像目标检测网络的方法技术_技高网

一种基于神经网络构建遥感图像目标检测网络的方法技术

技术编号:40001234 阅读:9 留言:0更新日期:2024-01-09 03:39
本发明专利技术公开了一种基于神经网络构建遥感图像目标检测网络的方法,包括:通过主干网络和颈部网络对图像进行特征提取;采用新型头部结构,生成最终的预测结果。本发明专利技术使用航空图像目标检测数据集和高分辨率船舶合集对该检测网络进行了验证,RA<supgt;2</supgt;DC‑Net在这两个数据集中的mAP值分别为76.18%和89.75%,尤其在航空图像目标检测数据集中,多个不同类别的目标的AP值均达到了最优。

【技术实现步骤摘要】

本专利技术属于构建目标检测网络,尤其涉及一种基于神经网络构建遥感图像目标检测网络的方法


技术介绍

1、目前,目标检测在遥感领域中的应用一直受到广泛关注,成为当前研究的热点,主要体现在城市交通实时监管,城市灾害预防控制和目标跟踪等。大多遥感数据来自于飞机和卫星等设备,从鸟瞰视角采集数据,并且大多数目标都为倾斜目标。倾斜目标的特点是密集、背景复杂和长宽比过大,而水平边界框标注方式(hbb)会包含过多的背景,从而影响真实目标位置和范围的准确性。一般认为,遥感领域中的目标采用定向边界框标注方式(obb),来减少背景因素对目标检测的影响。与hbb相比,obb具有一定的偏移角度,可以更有效地描述目标的轮廓信息,有利于定向目标的精准定位。

2、自从基于深度学习的卷积神经网络(r-cnn)被提出以来,大多数检测网络都是应用hbb对目标进行检测,检测目标都以规则的水平框在图像中显示。近些年,在定向目标检测工作中涌现出各种各样适用于obb的检测网络,其中主流的定向检测网络结构分为两类:即单阶段网络和双阶段网络。就单阶段网络而言,s2anet使用自主旋转滤波器优化方向信息的提取,更利于了锚框的角度调整;r3det使用细化特征的模块和新型的损失计算方法,实现了精准预测定向角度;fdlr-net利用注意力和动态优化锚箱参数的方法,优化了目标的预测。在双阶段网络中,大部分定向检测网络(roi transformer、oriented-rcnn和redet)是对基于hbb的感知域(rois)进行改进,从而可以准确提取定向信息。需要说明的是,以上所提及的网络皆为基于锚框的定向目标检测网络,在后处理过程中需要考虑基于角度的锚框,其处理过程要比基于锚框的水平目标网络要更复杂些。

3、为了解决基于锚框的定向网络的低效问题,一些科学家提出了无锚定向检测网络,该类型网络的头部主要存在两种无锚表示方法。一是直接预测定向目标框,例如:drn是在centernet基础上添加了角度预测部分同时结合动态细化网络而生成的,o2-dnet通过中心点和边框的两条长宽中线来表示边框,dafnet则引入了任意定向边界框的中心度函数,并使用中心到角边界框预测策略;另一种则是通过预测点集生成定向目标框,比方说:cfa使用凸包特征表示,并定义了一组动态预测的特征点,oriented-reppoints和sasm-reppoints通过不同的策略来优化定向目标的点集表示。

4、直接预测定向目标框的网络依赖于矩形框,虽然使用方便,但只提供对象的粗略定位,相应的目标特征提取不准确。基于点集的定向目标检测网络中的可变形卷积偏移量获取不准确,导致输出的点集难以有效描述定向信息。此外,无锚定向网络会使用连续卷积作为头部结构的关键部分,实现特征进一步提取,但连续卷积对于特征信息存在一定程度的损失,导致网络检测性能下降,这种情况在定向检测网络中尤为明显,目前为止也没有很好的解决办法。


技术实现思路

1、为解决上述技术问题,本专利技术提出了一种基于神经网络构建遥感图像目标检测网络的方法,针对定向网络中连续卷积损失定向信息的问题,提出了res-augconv模块,通过残差网络结合注意力机制来增强特征,有效的降低连续卷积对定向信息的损失程度。

2、为实现上述目的,本专利技术提供了一种基于神经网络构建遥感图像目标检测网络的方法,包括:

3、通过主干网络和颈部网络对图像进行特征提取;

4、采用新型头部结构,生成最终的预测结果。

5、可选的,通过主干网络和颈部网络对图像进行特征提取包括:

6、将图像调整为合适的格式,利用主干网络获取初步特征;

7、基于所述初步特征,通过颈部网络进行细化特征。

8、可选的,采用新型头部结构,生成最终的预测结果包括:

9、将所述新型头部结构经过残差增强卷积模块,依次生成第一特征和第二特征;

10、将所述第一特征和所述第二特征进行融合,生成第一残差增强特征;

11、将所述第一残差增强特征进一步增强,生成第二残差增强特征;

12、根据所述第二残差增强特征进行自适应卷积,生成自适应偏移量;

13、通过可变形卷积结合自适应偏移量,对所述第二残差增强特征进行自适应可变形卷积,生成目标点集信息;

14、将所述自适应偏移量结合可变形卷积,对所述第一残差增强特征进行自适应可变形卷积,生成目标类别信息;

15、将所述目标点集信息与所述目标类别信息共同组成了目标的预测结果。

16、可选的,将所述新型头部结构经过残差增强卷积,依次生成第一特征和第二特征包括:所述残差增强卷积分为两个子模块;

17、第一子模块用于三层连续卷积,生成第一特征;

18、第二子模块用于特殊注意力方法结合残差结构进行特征增强,生成第二特征。

19、可选的,所述残差增强卷积模块具体计算如下:

20、fπ=f⊙πs(f)⊙πc(f)

21、其中,增强前后的特征分别为f、空间注意力和通道注意力分别是和⊙表示逐元素相乘。

22、可选的,对残差增强卷积模块中的两种注意力进行计算如下:

23、πs(f)=σ(fconvs([favg(f);fmax(f)]))

24、

25、

26、其中,表示卷积运算,c为输出的通道数量,i对应的是卷积核的大小;在通道注意力计算过程中,全局平均池化特征和全局最大池化特征皆采用共享卷积部分对应到不同池化的表示分别是和fmax、fgmp、favg和fgap分别是两个注意力所使用的平均池化和最大池化。

27、可选的,根据所述第二残差增强特征进行自适应卷积,生成自适应偏移量包括:

28、

29、

30、w=[w1,w2,…,wn],n=18

31、其中,offset为自适应偏移量,为卷积核为3×3的自定义权重卷积运算,为经过特征注意力调整的自适应权重,为经过特殊注意力方法所提取的特征注意力图谱,w为自定义权重,为矩阵乘法,n为卷积分组数量。

32、可选的,的整个结构分为两部分:一是分裂空间注意力,二是收缩通道注意力,具体包括:首先,分裂空间注意力利用多个不同卷积核大小的卷积运算进行不同精度的特征细化,之后使用空间注意力来强调特征重点信息,与残差增强卷积模块所提及的空间注意力一致;其次,cc-attn对自定义权重进行微调,大幅度精细调整会影响网络检测性能,cc-attn形成特征图谱

33、本专利技术技术效果:本专利技术公开了一种基于神经网络构建遥感图像目标检测网络的方法,能够对定向目标的方向信息实现非常有效的获取。首先,针对定向网络中连续卷积损失定向信息的问题,提出了res-augconv模块,通过残差网络结合注意力机制来增强特征,有效的降低连续卷积对定向信息的损失程度。其次,为了更加精准的获取定向目标的方向信息,设本文档来自技高网...

【技术保护点】

1.一种基于神经网络构建遥感图像目标检测网络的方法,其特征在于,包括:

2.如权利要求1所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,通过主干网络和颈部网络对图像进行特征提取包括:

3.如权利要求1所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,采用新型头部结构,生成最终的预测结果包括:

4.如权利要求3所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,将所述新型头部结构经过残差增强卷积,依次生成第一特征和第二特征包括:所述残差增强卷积分为两个子模块;

5.如权利要求3所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,所述残差增强卷积模块具体计算如下:

6.如权利要求3所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,对残差增强卷积模块中的两种注意力进行计算如下:

7.如权利要求3所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,根据所述第二残差增强特征进行自适应卷积,生成自适应偏移量包括:

8.如权利要求7所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,的整个结构分为两部分:一是分裂空间注意力,二是收缩通道注意力,具体包括:首先,分裂空间注意力利用多个不同卷积核大小的卷积运算进行不同精度的特征细化,之后使用空间注意力来强调特征重点信息,与残差增强卷积模块所提及的空间注意力一致;其次,CC-Attn对自定义权重进行微调,大幅度精细调整会影响网络检测性能,CC-Attn形成特征图谱

...

【技术特征摘要】

1.一种基于神经网络构建遥感图像目标检测网络的方法,其特征在于,包括:

2.如权利要求1所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,通过主干网络和颈部网络对图像进行特征提取包括:

3.如权利要求1所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,采用新型头部结构,生成最终的预测结果包括:

4.如权利要求3所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,将所述新型头部结构经过残差增强卷积,依次生成第一特征和第二特征包括:所述残差增强卷积分为两个子模块;

5.如权利要求3所述的基于神经网络构建遥感图像目标检测网络的方法,其特征在于,所述残差增强卷积模块具体计算如下:

6.如权利要求...

【专利技术属性】
技术研发人员:高飞唐文涛
申请(专利权)人:荆楚理工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1