【技术实现步骤摘要】
本专利技术涉及目标检测，具体涉及一种基于背景信息逐步定位的跨视角遥感图像目标检测方法。
技术介绍
1、目标检测是一种找出图像中所有感兴趣目标，确定它们的类别和位置的计算机视觉技术，其广泛应用于人脸支付、自动驾驶、农作物监控等。随着深度学习的发展，基于神经网络的遥感图像目标检测取得了显著成果。在遥感图像目标检测领域中，通常需要确定检测出的目标的类别，其指的一类目标，而非一个特定目标，但在实际军事任务中，检测出特定目标是非常重要的，该任务可以总结为：通过一张目标的图像确定另一张图像中该目标的位置。在目标检测领域，目前有re-id、person search等任务的设置接近于该任务，但这些任务仅是用来检测特定的人，在遥感图像领域还没有提出相关任务。
2、在实际军事任务中，飞机拍摄目标时不可能一直保持在目标垂直上空区域，即卫星视角拍摄，有时由于飞机拍摄高度、朝向的不同，会导致目标的大小、形状发生改变，即无人机视角拍摄。对于无人机视角和卫星视角，目标的形状差异往往是巨大的。虽然re-id、person search等任务解决了一部分视角的差异，但仅仅解决了平行视角导致的形状差异的问题，没有解决因较大的俯仰视角导致形状差异的问题。由于目前在遥感图像目标检测领域未提出该任务，因此还不存在同时具备卫星视角和无人机视角的数据集，且收集不同视角的遥感图像数据非常困难，成本消耗巨大且一些位置较敏感，难以获得对应的图像，只能应用大量已存在的卫星视角下的遥感数据。
3、综上所述，实现该任务主要存在三个问题：1)不存在同时有卫星视角
技术实现思路
1、为了克服因无人机的俯仰视角差异导致目标形状变化较大、用卫星视角的目标图像难以检测到的问题，本专利技术提供一种基于背景信息逐步定位的跨视角遥感图像目标检测方法。首先，分别利用现有的dota数据集和geogle earth构建两个用于训练的数据集；然后，搭建基于滑动窗口的分类网络，并利用构建的训练数据集进行训练，以初步定位目标区域；接着，搭建精确定位模型，并利用初步定位结果构建新数据集再进行训练，通过第一步mixformer模型生成粗略检测结果，第二步mixformer模型生成精确检测结果；最终，利用精确定位模型得到最终的检测结果。本专利技术通过粗略、精细、再精细处理实现目标精准定位，能够解决因较大的无人机视角差异带来的目标形状变化过大、用卫星视角的目标图像无法识别的问题。
2、一种基于背景信息逐步定位的跨视角遥感图像目标检测方法，其特征在于步骤如下：
3、步骤1，构建两个训练数据集：第一个数据集通过筛选现有的dota数据集中包含船类别的图像，将每一张图像经仿射变换后构建得到数据集其中每一组图像包含原始图像和仿射变换后的图像，分别作为卫星视角图像和无人机视角图像；第二个数据集通过在geogle earth上搜集船类别的卫星视角和无人机视角图像，将225组图像构成训练集，542组图像构成测试集，训练集和测试集共同构成数据集其中每一组图像包括卫星视角图像和无人机视角图像；
4、步骤2，训练初步定位目标区域的模型：利用步骤1获得的数据集对基于滑动窗口的分类网络进行训练，得到训练好的网络；
5、所述的基于滑动窗口的分类网络主要包括特征提取主干网络resnet50和分类网络，其中，网络resnet50经过imagenet预训练；
6、基于滑动窗口的分类网络的具体处理过程为：对于中的每一组图像，将卫星视角图像作为模板图像，记为xs，将无人机视角图像作为搜索图像，记为xu，应用滑动窗口操作将搜索图像xu分割为4个w×w大小的图像其中，i表示分割后图像的序号，w的取值范围为[400,512]；然后，将每一组图像中的模板图像xs和分割后的搜索图像分别输入至网络resnet50后得到图像特征fs和把图像特征fs和输入到分类网络中，得到每个搜索图像包含模板图像的概率，通过sigmoid函数将概率值转化至[0,1]，得到每个分割图像包含目标的最终概率值
7、所述的分类网络主要包括两个全局最大池化层和sigmoid函数，具体处理过程为：将图像特征fs扩大至和相同的大小，得到f′s，并将f′s和相乘得到然后，将和fs分别输入至两个全局最大池化层，并将两个输出的结果连接到一起，经过sigmoid函数得到每个分割图像包含目标的最终概率值分类网络处理过程表达式如下：
8、
9、
10、其中，up为上采样操作，gmp为全局最大池化层，[；]为连接操作，sigmoid为sigmoid函数操作；
11、基于滑动窗口的分类网络的损失函数如下：
12、
13、其中，lbce表示二值交叉熵损失，yi为第i个分割图像是否包含目标的真实类别标签，yi为0或1，1为包含，0为不包含；
14、步骤3，获得初步定位目标的区域：将数据集中的训练集输入到步骤2获得的训练好的网络，得到其中每一组图像的初步定位目标区域，具体处理过程为：对于训练集中的每一组图像，将卫星视角图像作为模板图像，将无人机视角的图像作为搜索图像，输入至步骤2训练好的网络模型中，得到4个分割图像包含模板图像的概率以最大的3个对应的3个无人机视角分割图像作为初步定位目标区域；
15、步骤4，训练精确定位目标区域的模型：对于训练集，其每一组图像以步骤3得到的初步定位目标区域的3个无人机视角分割图像和相应的卫星视角图像作为一组新图像，构成新的数据集，利用新的数据集对精确定位模型进行训练，得到训练好的模型；
16、所述的精确定位模型主要包括两步mixformer模型和一个打分模型，其中，第一步mixformer模型的具体处理过程为：以卫星视角图像xs目标检测框的中心点为基准，裁剪卫星视角图像xs中长、宽均为size1的正方形区域，得到含有较多背景信息的卫星视角图像xs_large；然后，将含有较多背景信息的卫星视角图像xs_large和无人机视角分割图像输入mixformer模型中，得到对无人机视角分割图像的第一次定位检测框其中，为裁剪尺寸，ws和hs分别为卫星视角图像xs目标检测框的长和高，系数β1的取值范围为[3,7]，i＝1,2,3；
17、第二步mixformer模型的具体处理过程为：以第一次定位检测框的中心点为基准，裁剪无人机视角分割图像中长、宽均为crop1的正方形区域，得到精细分割的无人机视角图像同时，以卫星视角图像xs目标检测框的中心点为基准，裁剪卫星视角图像xs中长、宽均为size2的正方形区域，得到含有较少背景信息的卫星视角图像xs small；然后，将精细分割的无人机视角图像和含有较少背景信息的卫星视角图像xs small输入至mixformer模型中，得到无人机视角分割图像的第二次定位检测框其中，为裁剪本文档来自技高网...
【技术保护点】
1.一种基于背景信息逐步定位的跨视角遥感图像目标检测方法，其特征在于步骤如下：
【技术特征摘要】
1.一种基于背景信息逐步定位的跨视角遥感...
【专利技术属性】
技术研发人员：张鼎文，罗子扬，李磊，韩军伟，刘念，任君，宋闯，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。