一种基于分层相关性回传的弱监督遥感旋转目标检测方法技术

本发明专利技术公开了一种基于分层相关性回传的弱监督遥感旋转目标检测方法，包括：获取待目标检测的遥感图像，将遥感图像输入特征提取网络，得到候选框和特征图；将特征图送入基于弱监督框架中的多示例学习分支，进行类别相关的分层相关性回传，得到候选框相关性图；对特征图进行修正，得到修正特征图和修正后的候选框；根据修正特征图和修正后的候选框，生成每一个图像级标注类别的旋转伪标签；对特征图上的每一个特征点预测一组代表点，作为一个代表点集；根据旋转伪标签和旋转代表点损失函数训练旋转检测器，输出遥感图像的旋转目标检测结果。该方法可有效降低特征图的边缘模糊性和类别歧义性，并显著提高了遥感图像目标检测的整体处理速度。体处理速度。体处理速度。

【技术实现步骤摘要】
一种基于分层相关性回传的弱监督遥感旋转目标检测方法


[0001]本专利技术涉及数字图像处理
，特别涉及一种基于分层相关性回传的弱监督遥感旋转目标检测方法。

技术介绍

[0002]目标检测技术的任务是根据图像特征找到图像中感兴趣的目标，并且确定出它们的位置和类别。随着深度学习的兴起和发展，基于卷积神经网络的目标检测算法发展迅速，涌现出像Faster
‑
RCNN、YOLOv3、SSD等具有代表性的算法。与主流的目标检测算法不同的是，弱监督目标检测技术仅利用图像级的标注来对算法模型进行训练，即真值标签仅给出待检测图像中存在哪些类别的目标，而不给出目标具体的位置信息。同时，在测试阶段，仍然能够给出感兴趣目标的位置和类别的技术。一方面，在进行人工标注时，进行图像级标注的难度远远低于物体级标注，能够以更高的效率构建训练数据集。另一方面，由于搜索引擎的存在，人们甚至可以轻而易举地通过网络获取带有特定图像级标注的样本，进一步削减了构建数据集的工作量。因此，在实际应用中，基于弱监督学习的目标检测方法近些年来获得了广泛的关注。
[0003]目前随着科技的进步，从卫星上采取的遥感图像数目呈爆炸式增长。然而，跟自然图像相比，遥感图像存在背景复杂、目标众多且分布密集、目标朝向任意、图像质量较低等特征。但是遥感图像的处理和利用能力并未与遥感数据量同步增长，遥感图像分析的自动化处理水平相对较低，获得的目标信息存在漏报、误报等现象，难以满足越来越高的实用要求。单独依靠专家判读难以从大量海量背景可见光遥感图像中快速准确地发现有价值的信息，更难以实时生成情报，且图像数据量大，无失真传输过程费时且可靠性差。因此，遥感图像的目标级标注相比自然图像更加费时费力，而仅使用简单的图像级标注的弱监督目标检测在遥感图像中的运用具有很广的应用前景。
[0004]现有的主流弱监督目标检测技术是事先通过某种候选框提取算法在图像中提取出大量水平候选框，对每一个候选框提取出一个特征。然后利用多示例学习技术单独给每一个候选框所包含的特征打出类别和目标可能性的得分，得分高的候选框即为弱监督检测的输出结果。然而，由于提取算法生成的候选框没有旋转的信息，现有算法难以处理朝向任意的旋转目标，即预测旋转检测框。而遥感目标特有的旋转信息在实际应用中意义重大，因此亟需一种能够处理旋转目标的弱监督目标检测方法。此外，主流的弱监督目标检测算法需要在测试图像前用候选框提取算法生成候选框，极大地增加了测试时间，且难以做到测试时的端到端处理。
[0005]因此，在现有图像目标检测技术的基础上，如何预测旋转检测框并提高图像目标检测的整体处理速度，成为本领域技术人员亟需解决的问题。

技术实现思路

[0006]鉴于上述问题，本专利技术提出了一种至少解决上述部分技术问题的基于分层相关性
回传的弱监督遥感旋转目标检测方法，该方法可有效降低特征图的边缘模糊性和类别歧义性，并显著提高了图像目标检测的整体处理速度。
[0007]本专利技术实施例提供一种基于分层相关性回传的弱监督遥感旋转目标检测方法，包括：
[0008]获取待目标检测的遥感图像，将所述遥感图像输入特征提取网络，得到候选框和特征图；
[0009]将所述特征图基于弱监督框架中的多示例学习分支，进行类别相关的分层相关性回传，得到候选框相关性图；
[0010]根据所述候选框相关性图，对所述特征图进行修正，得到修正特征图和修正后的候选框；
[0011]根据所述修正特征图和修正后的候选框，生成每一个图像级标注类别的旋转伪标签；
[0012]对所述修正特征图上的每一个特征点预测一组代表点，作为一个代表点集；根据所述旋转伪标签和旋转代表点损失函数训练的旋转检测器，输出所述遥感图像的旋转目标检测结果。
[0013]进一步地，将所述特征图基于弱监督框架中的多示例学习分支，进行类别相关的分层相关性回传，得到候选框相关性图，包括：
[0014]对每个候选框生成每一个图像级标注类别的响应得分；所述候选框为由弱监督框架中精炼分支得到的第一中心候选框；每个所述第一中心候选框均具有目标位置信息；
[0015]获取响应得分值最大的图像级标注类别，并将该图像级标注类别的响应得分作为分层相关性回传的起始值；
[0016]迭代执行分层相关性回传算法，得到相关性响应图；
[0017]根据所述相关性响应图，得到候选框相关性图。
[0018]进一步地，根据所述候选框相关性图，对所述特征图进行修正，得到修正特征图和修正后的候选框，包括：
[0019]将所述候选框相关性图和所述特征图进行对应坐标的加权求和，对所述特征图进行修正，得到修正特征图和修正后的候选框。
[0020]进一步地，根据所述修正特征图和修正后的候选框，生成每一个图像级标注类别的旋转伪标签，包括：
[0021]对于每一个图像级标注类别，对所述修正后的候选框执行如下步骤：
[0022]从所述修正后的候选框中选取所述图像级标注类别响应最高的候选框，作为第二中心候选框；
[0023]从所述修正后的候选框中获取与所述第二中心候选框的交并比高于预设阈值的候选框，作为前景候选框；所述第二中心候选框和所述前景候选框构成水平候选框簇；
[0024]将所述水平候选框簇进行加权平均，生成加权水平候选框；
[0025]根据所述加权水平候选框，截取所述修正特征图中对应位置的加权水平候选框特征图；
[0026]对所述加权水平候选框特征图在通道维度求均值，得到单通道的特征矩阵；
[0027]根据所述单通道的特征矩阵，得到所述图像级标注类别的旋转伪标签。
[0028]进一步地，根据所述单通道的特征矩阵，得到所述图像级标注类别的旋转伪标签，包括：
[0029]对所述单通道的特征矩阵进行二值化；
[0030]获取二值化的特征矩阵中最大的轮廓的最小外接矩形；将所述最小外接矩形作为所述水平候选框簇对应的旋转伪标签；
[0031]所述水平候选框簇对应的旋转伪标签即为所述图像级标注类别的旋转伪标签。
[0032]进一步地，所述旋转代表点损失函数为：
[0033][0034]上式中，N
ori
代表旋转伪标签的总数量；代表是否被分配为第i个代表点集的真值标签；OB
ori
指代表点旋转框转换函数；θ
i
指第i组代表点集；F
ori
指旋转框GIoU损失函数；代表加权水平候选框；代表第j个水平候选框簇的中心候选框第cls个类别的响应得分。
[0035]本专利技术实施例提供的上述技术方案的有益效果至少包括：
[0036]本专利技术实施例提供的一种基于分层相关性回传的弱监督遥感旋转目标检测方法，包括：获取待目标检测的遥感图像，将遥感图像输入特征提取网络，得到候选框和特征图；将特征图基于弱监督框架中的多示例学习分支，进行类别相关的分层相关性回传，得到候选框相关性图；根据候选框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层相关性回传的弱监督遥感旋转目标检测方法，其特征在于，包括：获取待目标检测的遥感图像，将所述遥感图像输入特征提取网络，得到候选框和特征图；将所述特征图基于弱监督框架中的多示例学习分支，进行类别相关的分层相关性回传，得到候选框相关性图；根据所述候选框相关性图，对所述特征图进行修正，得到修正特征图和修正后的候选框；根据所述修正特征图和修正后的候选框，生成每一个图像级标注类别的旋转伪标签；对所述修正特征图上的每一个特征点预测一组代表点，作为一个代表点集；根据所述旋转伪标签和旋转代表点损失函数训练的旋转检测器，输出所述遥感图像的旋转目标检测结果。2.如权利要求1所述的一种基于分层相关性回传的弱监督遥感旋转目标检测方法，其特征在于，将所述特征图基于弱监督框架中的多示例学习分支，进行类别相关的分层相关性回传，得到候选框相关性图，包括：对每个候选框生成每一个图像级标注类别的响应得分；所述候选框为由弱监督框架中精炼分支得到的第一中心候选框；每个所述第一中心候选框均具有目标位置信息；获取响应得分值最大的图像级标注类别，并将该图像级标注类别的响应得分作为分层相关性回传的起始值；迭代执行分层相关性回传算法，得到相关性响应图；根据所述相关性响应图，得到候选框相关性图。3.如权利要求1所述的一种基于分层相关性回传的弱监督遥感旋转目标检测方法，其特征在于，根据所述候选框相关性图，对所述特征图进行修正，得到修正特征图和修正后的候选框，包括：将所述候选框相关性图和所述特征图进行对应坐标的加权求和，对所述特征图进行修正，得到修正特征图和修正后的候选框。4.如权利要求1所述的一种基于分层相关性回传的弱监督遥感旋转目标检测方法，其特征在于，根据所述修正特征图和修...

【专利技术属性】
技术研发人员：张浩鹏，谭智文，姜志国，谢凤英，赵丹培，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：