基于多级融合和角点偏移的图像旋转目标检测方法技术

本发明专利技术提出一种基于多级融合和角点偏移的遥感图像旋转目标检测方法，用于解决现有技术中存在的不同尺度目标的检测准确度低和检测过程运行速度慢的技术问题。本发明专利技术的实现步骤为：1、获取每个目标的旋转标注框的最小外接矩形；2、生成训练集；3、构建深度全卷积神经网络；4、训练深度全卷积神经网络；5、对图像中的旋转目标进行检测；6、对旋转目标的边框进行后处理；7、将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。本发明专利技术能够更好地区分图像中不同尺度目标，减少误检，提高了图像目标检测后目标框的精度。高了图像目标检测后目标框的精度。高了图像目标检测后目标框的精度。

【技术实现步骤摘要】
基于多级融合和角点偏移的图像旋转目标检测方法


[0001]本专利技术属于图像处理
，更进一步涉及遥感图像和自然图像目标检测中的一种多级融合和角点偏移的图像旋转目标检测方法。本专利技术可用于对遥感图像和自然图像中的旋转目标进行检测。

技术介绍

[0002]遥感图像与自然图像相比较，遥感图像中目标的尺度变化范围较大。在不同的分辨率下，同一个目标的尺寸变化较大，在相同分辨率下，不同目标的尺寸差异也较大。为了能够更准确的区分不同尺度的目标的特征，将不同层级的特征进行合理的融合可以使每个层级在保留当前层级目标特征的基础上兼顾其他层级的目标特征，从而更有效的区分不同尺度的目标。在自然图像中，由于拍摄的设备往往是相机、监控等由手持或者相对固定的设备，拍摄到的物体也往往都是垂直于地面，从而在图像中处于一种基本水平和垂直的位置。因此，在自然图像中，往往通过不同尺寸的水平矩形来定位目标。然而，在遥感图像中，由于遥感图像的拍摄方式与自然图像有很大不同，其俯视角度的拍摄使得很多需要检测的目标朝向各异，因此在遥感图像的目标检测当中，采用旋转矩形框一方面可以确定出目标的朝向，另一方面更贴合目标物体的边框也能使对物体尺寸的计算更准确。
[0003]湖南大学在其申请的专利文献“一种图像语义特征约束的遥感目标检测方法”(专利申请号：202011018965.5，申请公布号：CN112101277A)中提出了一种遥感图像旋转目标检测方法。该方法采用了特征金字塔网络，通过双线性插值将高层级特征进行二倍上采样后与前一层级特征相加进行融合。通过在水平框参数的基础上加入角度参数来回归旋转框，并预设大量的旋转锚点。该方法存在两点不足之处是，其一，在对多层级特征进行融合的过程当中，只将高层级特征合并到低层级特征进行了单向融合，低层级特征没有合并到高层级特征中，从而使得低层级特征在高层级特征中的区分度不够，容易出现误检。其二，相比较于水平框目标检测任务中预设水平框锚点的方法，预设的旋转锚点的数量和计算量都增加了数倍，导致了算法需要消耗的硬件资源大。
[0004]Yongchao Xu等人在其发表的论文“Gliding vertex on the horizontal bounding box for multi
‑
oriented object detection”(IEEE模式分析与机器智能汇刊TPAMI IEEE Transactions on Pattern Analysis and Machine Intelligence 2019年)中提出了一种基于水平包围盒滑动顶点的遥感图像旋转目标检测方法。该方法在不引入角度参数、只设置水平框锚点的情况下，实现了更高效的旋转目标检测。该方法通过在传统的水平框回归的基础上，预测旋转框四个顶点相对于目标外接水平框的四个顶点的偏移量。该方法在通过特征网络提取的特征图上应用区域建议网络生成候选旋转框，区域建议网络输出候选旋转框的中心坐标偏移量、外接水平矩形长、宽相对比例和四个顶点的偏移量等参数，然后根据区域建议网络生成的旋转矩形区域，在特征图上提取对应图像特征应用分类网络进行分类。这种方法只需要与自然图像中水平目标检测的预设锚点相同数量的锚点，而不需要像用角度参数描述旋转框一样设置更多的锚点。因此，该方法相对于角度回归
方法具有更快的速度。但是，该方法仍然存在两点不足之处是，其一，在实际场景下，预测旋转框四个顶点的偏移量往往导致得到的旋转框不是严格意义的矩形，从而在与实际标注计算精度时会带来一定误差，导致精度低。在获取目标尺寸和朝向等下游任务上，同样导致了不准确。其二，由于两阶段目标检测网络架构的速度相对于单阶段检测网络较慢，运行效率低。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种基于多级融合和角点偏移的图像旋转目标检测方法，用于解决现有技术中存在的检测精度低和检测过程运行效率低、硬件资源大的问题。
[0006]实现本专利技术目的的思路是，确定每个目标的旋转标注框的最小外接矩形及其上顶点和左顶点，据此根据最小外接矩形及其上顶点和左顶点计算得到的每张图像的标签集中的元素准确，用所有图像和图像对应的标签集组成的训练集。搭建一个卷积核总数少的深度全卷积神经网络，由于卷积核总数少带来设置的参数少，从而减少了网络中各层之间的计算量，使得检测过程运行效率高、硬件资源消耗少。多级融合网络对主干网络提取的特征进行双向融合，充分利用不同等级的特征信息，提高低层级特征在高层级特征中的区分度，能够更好地区分图像中不同尺度目标，减少误检。对于得到的旋转检测框不规则、精度计算存在误差的问题，对目标的旋转检测框进行校正，使检测框的形状规则，提升检测框的精度。
[0007]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0008](1)获取每个目标的最小外接矩形：
[0009](1a)至少选取2000张含有目标的图像，每张图像中至少含有一个带有旋转标注框的目标，且每个目标至少有一个类别；
[0010](1b)利用多边形最小外接矩形算法，得到每个目标的旋转标注框的最小外接矩形；
[0011](2)生成训练集：
[0012](2a)确定最小外接矩形的上顶点和左顶点；
[0013](2b)利用角点偏移公式，计算最小外接矩形上顶点横坐标值相对所有顶点最小横坐标值的横偏移量和最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量；
[0014](2c)将每个目标的最小外接矩形所有顶点横坐标的平均值和纵坐标的平均值作为该目标的中心坐标值，将最小外接矩形所有顶点横坐标中的最大值与横坐标最小值的差作为该目标的宽，将最小外接矩形所有顶点纵坐标中的最大值与纵坐标最小值的差作为该目标的高；
[0015](2d)将每张图像中所有目标的类别、横偏移量、纵偏移量、中心坐标值、宽和高组成该图像的标签集；
[0016](2e)将选取的所有图像和图像对应的标签集组成训练集；
[0017](3)构建深度全卷积神经网络：
[0018](3a)搭建一个主干网络以提取图像的特征，其结构依次为：输入层，卷积层，池化
层，第一瓶颈组，第二瓶颈组，第三瓶颈组，第四瓶颈组；将卷积层的卷积核尺度设置为3*3，卷积核个数设置为64；池化层的池化核尺度设置为3*3；
[0019]所述第一瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为64；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为256；
[0020]第二瓶颈组由第一到第十二共十二个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接；将第一、第三、第四、第六、第七、第九、第十、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，该方法是用生成的训练集对搭建的深度全卷积神经网络进行训练，使用多级融合网络对主干网络提取的特征进行双向融合，使用深度全卷积神经网络的回归子网络和分类子网络分别获取目标的旋转检测框和类别，对目标的旋转检测框进行校正，该方法的具体步骤包括如下：(1)获取每个目标的旋转标注框的最小外接矩形：(1a)至少选取2000张含有目标的图像，每张图像中至少含有一个带有旋转标注框的目标，且每个目标至少有一个类别；(1b)利用多边形最小外接矩形算法，得到每个目标的旋转标注框的最小外接矩形；(2)生成训练集：(2a)确定最小外接矩形的上顶点和左顶点；(2b)利用角点偏移公式，计算最小外接矩形上顶点横坐标值相对所有顶点最小横坐标值的横偏移量和最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量；(2c)将每个目标的最小外接矩形所有顶点横坐标的平均值和纵坐标的平均值作为该目标的中心坐标值，将最小外接矩形所有顶点横坐标中的最大值与横坐标最小值的差作为该目标的宽，将最小外接矩形所有顶点纵坐标中的最大值与纵坐标最小值的差作为该目标的高；(2d)将每张图像中所有目标的类别、横偏移量、纵偏移量、中心坐标值、宽和高组成该图像的标签集；(2e)将选取的所有图像和图像对应的标签集组成训练集；(3)构建深度全卷积神经网络：(3a)搭建一个主干网络以提取图像的特征，其结构依次为：输入层，卷积层，池化层，第一瓶颈组，第二瓶颈组，第三瓶颈组，第四瓶颈组；将卷积层的卷积核尺度设置为3*3，卷积核个数设置为64；池化层的池化核尺度设置为3*3；所述第一瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为64；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为256；第二瓶颈组由第一到第十二共十二个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为128；将第二、第五、第八、第十一卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为512；第三瓶颈组由第一到第十八共十八个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接，第十三卷积层还与第十五卷积层连接，第十六卷积层还与第十八卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二、第十三、第十五、第十六、第十八卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为256；将第二、第五、第八、第十一、第十四、第十七卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为1024；第四瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层
连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为512；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为2048；(3b)搭建一个由四个结构相同的融合模块串联组成的多级融合网络，实现对主干网络提取的特征进行双向融合；每个融合模块结构为：第一输入层分别与第一卷积层和第二卷积层连接，第二输入层分别于第二卷积层和第三卷积层连接，第三输入层分别与第四卷积层和第五卷积层连接，第四输入层分别与第六卷积层和第七卷积层连接，第五输入层与第八卷积层连接，第二卷积层分别与第三卷积层和第四卷积层连接，第三卷积层与第一卷积层连接，第四卷积层分别与第五卷积层和第六卷积层连接，第五卷积层与第三卷积层连接，第六卷积层分别于第七卷积层和第八卷积层连接，第七卷积层与第五卷积层连接；将所有卷积层的卷积核尺度均设置为3*3个节点，卷积核个数均设置为256；(3c)将主干网络与多级融合网络连接后再分别与分类子网络和回归子网络连接，得到深度全卷积神经网络；(4)训练深度全卷积神经网络：将训练集输入到深度全卷积神经网络中进行迭代训练，直至网络的损失函数收敛为止，得到训练好的深度全卷积神经网络；(5)对图像中的旋转目标进行检测：用切割间隔为512、大小为1024
×
1024的矩阵窗口，对待检测图像进行切块处理，将切块处理后的图像块依次输入到训练好的深度全卷积神经网络中，依次输出每个图像块中每个目标旋转检测框和类别；(6)对旋转目标的边框进行后处理：(6a)利用与步骤(1b)相同算法，将得到的每个目标旋转检测框的最小外接矩形作为该目标校正后的旋转检测框；(6b)利用非极大值抑制算法，对每个目标校正后的旋转检测框进行去重处理，得到该目标最终旋转检测框；(7)将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。2.根据权利要求1所述的基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，步骤(1b)中所述多边形最小外接矩形算法的步骤如下：第一步，以图...

【专利技术属性】
技术研发人员：李珺，侯彪，焦李成，王爽，任博，任仲乐，马晶晶，马文萍，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：