一种基于多模态遥感图像细粒度弱特征目标涌现检测方法技术

本发明专利技术公开了一种基于多模态遥感图像细粒度弱特征目标涌现检测方法。先将标注好的多模态遥感检测数据集划分为训练集和测试集，进行预处理；然后利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，构建特征金字塔；接着利用原始标注信息构建语义真值图以及语义引导模块，将预测到的语义信息与真实标注信息对比，对原始特征图进行类注意力机制的引导；最后使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，并进行位置信息解码，得到最终结果。这种检测方法采用的网络结构设计合理，针对多模态遥感数据中的弱特征目标的检测效果良好且算法能够满足对多模态数据进行实时处理的需求。

【技术实现步骤摘要】
一种基于多模态遥感图像细粒度弱特征目标涌现检测方法
本专利技术涉及遥感图像处理领域，尤其涉及一种基于多模态遥感图像细粒度弱特征目标涌现检测方法。
技术介绍
对遥感图像进行实时处理的需求随遥感成像技术的逐渐发展而日益强烈。根据拍摄平台距地面高度，遥感图像可分为天基遥感图像和空基遥感图像。天基遥感图像一般由人造卫星等太空设备垂直向下观测而形成，而空基遥感图像往往是通过侦察机等装备以较大的倾斜角对地观测而得到。依据是否需要主动搭载辐射源，遥感成像方式可分为主动成像和被动成像。典型的主动成像方式为合成孔径雷达成像；遥感中的被动成像中一般指光学成像，应用较为普遍的有可见光图像、红外图像、全色图像等。受到成像硬件的能力制约，早前的天基及空基成像系统一般仅支持一种成像方式，难以同时获得对同一地点的雷达成像与光学成像结果。近年来，以capellaspace为代表的一些商业遥感公司实现了主被动成像方式在同一平台上的集成，实现了光学遥感图像与合成孔径雷达遥感图像在成像阶段的配准，为研究人员提供了大量配准后的多模态遥感数据。在众多遥感图像的应用场景中本文档来自技高网...

【技术保护点】
1.一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，包括以下步骤：/n(1)将标注好的多模态遥感检测数据集划分为训练集和测试集，并对训练集和测试集进行预处理；/n(2)利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，并在此基础上构建多层次特征金字塔；/n(3)利用原始标注信息构建语义真值图，构建语义引导模块，将预测得到的语义信息与真实标注信息进行对比，对原始特征图进行类注意力机制的引导、达到降低虚警率的目的；/n(4)使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，然后进行位置信息的解码，得到最终结果。/n

【技术特征摘要】
1.一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，包括以下步骤：
(1)将标注好的多模态遥感检测数据集划分为训练集和测试集，并对训练集和测试集进行预处理；
(2)利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，并在此基础上构建多层次特征金字塔；
(3)利用原始标注信息构建语义真值图，构建语义引导模块，将预测得到的语义信息与真实标注信息进行对比，对原始特征图进行类注意力机制的引导、达到降低虚警率的目的；
(4)使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，然后进行位置信息的解码，得到最终结果。


2.根据权利要求1所述的一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，所述步骤(1)中训练集和测试集进行预处理涉及的卷积操作的步长均为1。


3.根据权利要求1所述的一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，所述步骤(2)中使用的深度卷积神经网络包括4个阶段；
阶段1包含两个瓶颈结构：
第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长均为1，输出特征图的通道数依次为64、64、256，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为1、输出特征图通道数为256、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；
第二个瓶颈结构的主干部分与第一个瓶颈结构相同，旁支部分不进行任何卷积操作；第二个瓶颈结构的输出经过一次三维卷积操作后，阶段1的所有处理操作完成；
阶段2包含四个瓶颈结构：
第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为128、128、512，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为512、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；
后续三个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第四个瓶颈结构的输出经过一次三维卷积操作后，阶段2的所有处理操作完成；
阶段3包含六个瓶颈结构：
第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为256、256、1024，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为1024、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；
后续五个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但...

【专利技术属性】
技术研发人员：张弘，李旭亮，李亚伟，
申请(专利权)人：苏州海宸威视智能科技有限公司，
类型：发明
国别省市：江苏;32