System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于改进MobileViT的轻量级遥感图像目标检测方法技术_技高网

基于改进MobileViT的轻量级遥感图像目标检测方法技术

技术编号:40028072 阅读:4 留言:0更新日期:2024-01-16 17:48
本发明专利技术涉及遥感图像处理技术领域,具体涉及一种基于改进MobileViT的轻量级遥感图像目标检测方法,包括:搭建基于改进MobileViT的轻量级骨干特征提取网络;轻量级骨干特征提取网络包括:基础卷积算子、多尺度特征提取模块和轻量级通道计算模块;基于轻量级骨干特征提取网络搭建遥感图像目标检测模型;对遥感图像目标检测模型进行训练和测试。本发明专利技术具有体积小,计算量低,模型轻量化的优点,有效解决了传统模型因计算量和体积过大导致的边缘设备部署难题。

【技术实现步骤摘要】

本专利技术涉及遥感图像处理,更具体的说是涉及一种基于改进mobilevit的轻量级遥感图像目标检测方法。


技术介绍

1、遥感图像目标检测旨在解读遥感图像以获取潜在目标的类别和位置信息,这在交通检测、海洋监管和空间侦察中具有重要意义。随着深度学习技术的发展,许多深度学习模型被用于遥感图像目标检测,这些模型通常在大规模数据集上进行训练,可以实现高精度的目标检测。然而,目前的深度学习模型在遥感图像目标检测中存在一些问题,其中之一是它们的计算量和体积较大。这些模型通常包含数百万到数亿个参数,需要大量的计算资源来运行。这导致了在边缘设备上部署这些模型时的难题,因为边缘设备通常具有有限的计算和存储资源。此外,遥感图像具有目标尺度变化大的特点,给目标检测任务带来了挑战,这使得典型目标检测模型在遥感图像上的检测性能存在瓶颈。因此,提取潜在目标的多尺度特征,从而提升模型预测性能变得尤为重要。因此,需要一种轻量级的遥感图像目标检测方法,以实现在计算和存储资源有限的边缘设备上高效运行并且保持足够的检测精度,同时具备优秀的多尺度特征提取能力,以应对遥感图像目标尺度变化的难题。


技术实现思路

1、有鉴于此,本专利技术提供了一种基于改进mobilevit的轻量级遥感图像目标检测方法,具有体积小,计算量低,模型轻量化的优点,有效解决了传统模型因计算量和体积过大导致的边缘设备部署难题。

2、为了实现上述目的,本专利技术采用如下技术方案:

3、一种基于改进mobilevit的轻量级遥感图像目标检测方法,包括以下步骤:

4、搭建基于改进mobilevit的轻量级骨干特征提取网络;所述轻量级骨干特征提取网络包括:基础卷积算子、多尺度特征提取模块和轻量级通道计算模块;所述基础卷积算子对原始遥感图像进行特征提取,得到初始特征图;所述多尺度特征提取模块对所述初始特征图进行多尺度特征提取,得到多尺度特征图;所述轻量级通道计算模块对所述多尺度特征图进行局部特征提取,并采用通道代表性思想对局部特征图进行划分、部分特征编解码和拼接,再将拼接后的特征图与初始的所述多尺度特征图进行融合;

5、基于所述轻量级骨干特征提取网络搭建遥感图像目标检测模型;

6、对所述遥感图像目标检测模型进行训练和测试;

7、基于训练和测试后的所述遥感图像目标检测模型对遥感图像进行目标检测。

8、进一步的,所述多尺度特征提取模块包括:点卷积单元、深度分离卷积单元和多尺度卷积单元;

9、所述点卷积单元负责调整输入特征图和输出特征图的通道维度;

10、所述深度分离卷积单元作为主要的特征提取器对输入图像进行特征提取;

11、所述多尺度卷积单元对所述深度分离卷积单元所提取特征的基础上进一步提取多尺度特征,以丰富特征图的信息表示;

12、所述多尺度特征提取模块的计算过程表示为:

13、f1=psconv(conw11*1(dwconv(conv21*1((input1)))))+conv11*1(dwconv(conv21*1((input1))))

14、其中,conv11*1为第一点卷积单元;conv21*1为第二点卷积单元;dwconv为深度分离卷积单元;input1为多尺度特征提取模块的输入特征图;f1为经多尺度特征提取模块提取后的输出特征图;+表示特征图像的相加操作;psconv为多尺度卷积单元。

15、进一步的,所述多尺度卷积单元由多个不同扩张系数的卷积算子和通道混洗算子组成;多个所述卷积算子相并联,并组成多个分支,其中一个分支上的所述卷积算子接收所述通道混洗算子混洗后的特征图输出,其他分支上的所述卷积算子分别进行多尺度特征提取,最后将各分支输出的特征图进行相加,得到所述多尺度特征图;

16、所述多尺度卷积单元的计算过程表示为:

17、output1=convd=1(input2)+convd=2(input2)+fchannelreplace(convd=4(input2))

18、其中,convd表示扩张系数为d的卷积算子,input2为所述多尺度卷积单元的输入特征图,output1为所述多尺度卷积单元的输出特征图;fchannelreplace表示通道混洗算子,用于重新排列特征图的通道位置,以辅助卷积算子获得多尺度特征。

19、进一步的,所述轻量级通道计算模块包括:局部特征表示算子、编码-解码结构、通道划分算子和特征复用算子;

20、所述局部特征表示算子由尺寸为3×3和1×1的卷积级联得到,用于改变所述多尺度特征图的尺寸和通道数,并通过点卷积计算得到局部特征图;

21、所述通道划分算子将所述局部特征图划分为3∶1,将1/4部分特征图输入至所述编码-解码结构进行编解码计算,剩余3/4部分特征图不参与任何计算并且与编解码计算后的1/4特征图进行拼接,得到拼接特征图;

22、所述特征复用算子将所述拼接特征图与初始输入的所述多尺度特征图进行融合,得到最终用于检测的完整特征图。

23、进一步的,所述局部特征表示算子的计算过程表示为:

24、feature=flocalrepresent(x)

25、其中,x为所述局部特征表示算子的输入特征图,即所述多尺度特征提取模块输出的多尺度特征图;feature为经过所述局部特征表示算子计算后得到的输出特征图,即所述局部特征图;flocalrepresent表示局部特征表示算子;

26、所述通道划分算子的计算过程表示为:

27、feature1/4,feature3/4=fchannelsplit(feature)

28、f2=concat(ftransfomrmer(feature1/4),feature3/4)

29、其中,fchannelsplit为通道划分算子;feature1/4,feature3/4分别为经过通道划分算子计算后得到的1/4部分特征图和3/4部分特征图;concat为特征拼接算子;ftransfomrmer为编码-解码器结构;f2为拼接后的输出特征图;

30、所述特征复用算子的计算过程表示为:

31、y=ffusion(f2,x)

32、其中,y为最终用于检测的输出特征图,ffusion为特征复用算子。

33、进一步的,所述轻量级骨干特征提取网络的整体计算过程表示为:

34、feature=conv(img)

35、feature=fmv2m+(feature)n×

36、feature=fmvitl+(fmv2m+(feature))n×

37、其中,feature为经过特征提取的中间层特征,按照顺序结构进行逐层级的运算提取特征;img为原始遥感图像;conv为基础卷积算子;fmv2m+和fmvitl+分别表示所述本文档来自技高网...

【技术保护点】

1.一种基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述多尺度特征提取模块包括:点卷积单元、深度分离卷积单元和多尺度卷积单元;

3.根据权利要求2所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述多尺度卷积单元由多个不同扩张系数的卷积算子和通道混洗算子组成;多个所述卷积算子相并联,并组成多个分支,其中一个分支上的所述卷积算子接收所述通道混洗算子混洗后的特征图输出,其他分支上的所述卷积算子分别进行多尺度特征提取,最后将各分支输出的特征图进行相加,得到所述多尺度特征图;

4.根据权利要求1所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述轻量级通道计算模块包括:局部特征表示算子、编码-解码结构、通道划分算子和特征复用算子;

5.根据权利要求4所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述局部特征表示算子的计算过程表示为:

6.根据权利要求1所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述轻量级骨干特征提取网络的整体计算过程表示为:

7.根据权利要求1所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述遥感图像目标检测模型由所述轻量级骨干特征提取网络、数据加载器、颈部网络和检测头组成;

8.根据权利要求7所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,所述数据加载器的计算过程表示为:

9.根据权利要求1所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,采用二元交叉熵损失和IoU损失对所述遥感图像目标检测模型进行训练,损失函数表示为:

10.根据权利要求1所述的基于改进MobileViT的轻量级遥感图像目标检测方法,其特征在于,对训练完成后的所述遥感图像目标检测模型进行测试,表示为:

...

【技术特征摘要】

1.一种基于改进mobilevit的轻量级遥感图像目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于改进mobilevit的轻量级遥感图像目标检测方法,其特征在于,所述多尺度特征提取模块包括:点卷积单元、深度分离卷积单元和多尺度卷积单元;

3.根据权利要求2所述的基于改进mobilevit的轻量级遥感图像目标检测方法,其特征在于,所述多尺度卷积单元由多个不同扩张系数的卷积算子和通道混洗算子组成;多个所述卷积算子相并联,并组成多个分支,其中一个分支上的所述卷积算子接收所述通道混洗算子混洗后的特征图输出,其他分支上的所述卷积算子分别进行多尺度特征提取,最后将各分支输出的特征图进行相加,得到所述多尺度特征图;

4.根据权利要求1所述的基于改进mobilevit的轻量级遥感图像目标检测方法,其特征在于,所述轻量级通道计算模块包括:局部特征表示算子、编码-解码结构、通道划分算子和特征复用算子;

5.根据权利要求4所述的基于改进mobilevit的...

【专利技术属性】
技术研发人员:李冠群
申请(专利权)人:耕宇牧星北京空间科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1