基于像素分类的光学遥感图像多目标检测方法技术

本发明专利技术涉及一种基于像素分类的光学遥感图像多目标检测方法，首先通过卷积神经网络对光学遥感图像进行特征提取，得到图像的特征图。之后是特征融合部分，使用了ASPP网络获得了不同感受野的特征，再结合通道注意力机制对不同通道的特征分配权重，之后对特征图进行上采样并将不同层的特征合并。在上采样后的特征图上的每一个像素点上进行目标的检测。本发明专利技术只预测了每个目标的一个中心点及其对应的目标框，没有多余的目标框生成，所以最后不需要通过非极大值抑制来合并多余的目标框，在速度上有很大优势。

Multi-target detection of optical remote sensing image based on pixel classification

【技术实现步骤摘要】
基于像素分类的光学遥感图像多目标检测方法
本专利技术属于计算机视觉领域，涉及一种对遥感图像中多目标检测的方法，是一种能够从具有复杂背景的光学遥感图像中精确地检测到多种目标的方法。
技术介绍
目标检测是计算机视觉领域中一个重要的分支，近些年来，基于深度学习的目标检测算法发展迅速，但大部分经典的目标检测算法都是针对普通自然图像数据集的，如FasterR-CNN,Yolo,SSD,Retinanet等算法。而遥感图像的目标实例数量级更大。因为传感器的空间分辨率，拍摄的高度比较高，目标更丰富。在通用的目标检测数据集上，目标的位置通常由于重力以及拍摄位置而呈现出一种整体向下的状态，而遥感的数据集图像常常处于很极端的位置上，这是因为遥感拍摄的平台和视角不同。遥感图像中的目标可能在任意的位置出现，有一些目标常常有着比较夸张的长宽比，如舰船和桥梁。并且遥感数据集中许多小物体实例在遥感图像中是紧密排列在一起的，例如停车场中的车辆和港口的船舶。常用目标检测算法产生的都是正矩形框，而用矩形框去检测排列紧密且具有旋转角度的目标，目标与框之间会产生很大的空隙。并且排列紧密的目标之间的目标框会互相覆盖、互相影响。并且传统目标检测算法会预测出大量的目标框，为了生成最终结果，阈值化后的目标框由非极大值抑制算法进行归并。而标准的非极大值抑制算法运行时间复杂度为O(n^2)，其中n是候选几何形状的数量，在合并目标框的过程中，会耗费大量的时间。
技术实现思路
要解决的技术问题为了在光学遥感数据集上得到更加精确的结果，能够更加快速精确的框住数据集中的目标。本专利技术提供了一种基于逐像素分类的目标检测算法，用于检测光学遥感图像中密集排列的目标。技术方案一种基于像素分类的光学遥感图像多目标检测方法，其特征在于步骤如下：步骤1：对输入的光学遥感图像进行归一化操作，使得数据分布符合标准正态分布，然后将图像随机剪裁、缩放到同一尺寸；步骤2：构建网络模型，所述的网络模型包括特征提取层、特征融合层、预测层，特征提取层使用残差网络结构，并且加入了空洞卷积；特征融合层使用了ASPP网络，获得了不同感受野的特征，再结合通道注意力机制对不同通道的特征分配权重，之后对特征图进行上采样并将不同层的特征合并；预测层通过四组1*1的卷积核同时得到不同作用的特征图，分别为类别预测、目标框长宽预测、中心点偏移量预测以及旋转角度预测；步骤3：根据标注的光学遥感图像数据集，计算每个像素点的真实值Yxyc、目标框的宽高(w,h)、图像下采样到1/4之后中心点的偏移量目标框的旋转角度θ；所述的Yxyc的计算式：其中，x，y表示图像任意坐标，p表示原图中某个目标中心点的坐标；表示下采样后的坐标所述的目标框的宽高(w,h)由数据标注文件直接读出；所述的图像下采样到1/4之后中心点的偏移量包括偏移和纵向的偏移；所述的目标框的旋转角度θ的计算过程：定义目标框的四个顶点分别是a，b，c，d，顺时针方向标记；首先找到纵坐标最大的一个点作为基准点，定为a点；之后，选择a点相邻的右边的顶点d，计算出这两个点之间边与纵轴构成的夹角θ；步骤4：对于步骤2中特征提取部分使用在ImageNet数据集上预训练过的残差网络参数初始化，而特征融合部分以及预测部分的参数使用随机初始化的方式；步骤5：每次在光学遥感图像训练集中随机选取图片作为网络输入，将网络得到的输出结果以及通过人工标注的目标框计算得到的真值计算类别损失、目标大小损失、中心点偏移量损失和旋转角度的损失，通过Adam优化算法来对整个网络的参数进行更新；所述的类别损失函数：其中，表示坐标(x，y)这一像素点是C类的某个物体的中心点的预测的概率得分，Yxyc是这一点从标注中计算出真实的概率；所述的目标大小损失函数：其中，和分别代表预测框的长和宽，hk和wk分别代表真实的长和款，k代表预测的第k个目标的中心，N代表中心点数量；所述的中心点偏移量损失函数：其中，p表示原始坐标，表示下采样后成都坐标；表示预测的偏移量，共2维，表示横向和纵向的偏移量；所述的旋转角度的损失函数：其中，是模型预测的角度，θ是真实的角度；步骤6：重复步骤5，使用Adam优化算法不断的对网络参数进行更新，直到损失函数收敛；步骤7：把测试集的图片作为网络的输入，利用网络得到的每个像素点是否是中心的概率，目标框大小和旋转角度对目标框进行预测，具体而言，如果某点是某个类别中心点的概率大于设定的阈值，则根据该点预测的目标大小、中心偏移以及旋转角度得到目标框。所述的步骤7的设定的阈值取0.3。有益效果本专利技术提出的一种基于像素分类的光学遥感图像多目标检测方法，不同于经典的目标检测框架无法精确地对光学遥感数据集排列密集且有旋转的目标进行检测。通过预测每个像素点属于某个目标框中心点的概率、该中心点位置的偏移量以及在该目标框的长宽和该点所在目标框旋转的角度实现了对于光学遥感图像中目标的检测。并且本专利技术只预测了每个目标的一个中心点及其对应的目标框，没有多余的目标框生成，所以最后不需要通过非极大值抑制来合并多余的目标框，在速度上有很大优势。附图说明图1是本专利技术基于光学遥感图像的多目标检测框架图图2是本专利技术ASPP的结构图图3是本专利技术ASPP与channelattention结合的结构图图4是本专利技术角度计算的原理图具体实施方式本专利技术首先通过卷积神经网络对光学遥感图像进行特征提取，得到图像的特征图。之后是特征融合部分，使用了ASPP(AtrousSpatialPyramidPooling)网络获得了不同感受野的特征，再结合通道注意力机制(channelattention)对不同通道的特征分配权重，之后对特征图进行上采样并将不同层的特征合并。在上采样后的特征图上的每一个像素点上进行目标的检测。详细的操作是在输出的特征图上的每个像素点上预测该点属于某个目标框中心点的概率、该中心点位置的偏移量以及在该目标框的长宽和该点所在目标框旋转的角度。如果某个像素点属于目标的中心大于设定的阈值，可以通过该中心点的偏移量、预测到的目标长宽和该点预测的目标框的旋转角度来得到预测出的目标框。并且本专利技术只预测了每个目标的一个中心点及其对应的目标框，没有多余的目标框生成，所以最后不需要通过非极大值抑制来合并多余的目标框，在速度上有很大优势。现结合实施例、附图对本专利技术作进一步描述：1.对光学遥感图像进行归一化操作，使得光学遥感数据集分布符合标准正态分布，即使得光学遥感数据集服从于均值为0，标准差为1的分布，然后将图像随机剪裁、缩放到512*512的大小；2.网络模型的构建，如附图1所示，特征提取层使用了残差网络结构(Resnet101)，并且加入了空洞卷积，在最后一个残差模块将原本的标注卷积改为空洞卷积，空洞率设置为2。之本文档来自技高网...

【技术保护点】
1.一种基于像素分类的光学遥感图像多目标检测方法，其特征在于步骤如下：/n步骤1：对输入的光学遥感图像进行归一化操作，使得数据分布符合标准正态分布，然后将图像随机剪裁、缩放到同一尺寸；/n步骤2：构建网络模型，所述的网络模型包括特征提取层、特征融合层、预测层，特征提取层使用残差网络结构，并且加入了空洞卷积；特征融合层使用了ASPP网络，获得了不同感受野的特征，再结合通道注意力机制对不同通道的特征分配权重，之后对特征图进行上采样并将不同层的特征合并；预测层通过四组1*1的卷积核同时得到不同作用的特征图，分别为类别预测、目标框长宽预测、中心点偏移量预测以及旋转角度预测；/n步骤3：根据标注的光学遥感图像数据集，计算每个像素点的真实值Y

【技术特征摘要】
1.一种基于像素分类的光学遥感图像多目标检测方法，其特征在于步骤如下：
步骤1：对输入的光学遥感图像进行归一化操作，使得数据分布符合标准正态分布，然后将图像随机剪裁、缩放到同一尺寸；
步骤2：构建网络模型，所述的网络模型包括特征提取层、特征融合层、预测层，特征提取层使用残差网络结构，并且加入了空洞卷积；特征融合层使用了ASPP网络，获得了不同感受野的特征，再结合通道注意力机制对不同通道的特征分配权重，之后对特征图进行上采样并将不同层的特征合并；预测层通过四组1*1的卷积核同时得到不同作用的特征图，分别为类别预测、目标框长宽预测、中心点偏移量预测以及旋转角度预测；
步骤3：根据标注的光学遥感图像数据集，计算每个像素点的真实值Yxyc、目标框的宽高(w,h)、图像下采样到1/4之后中心点的偏移量目标框的旋转角度θ；
所述的Yxyc的计算式：



其中，x，y表示图像任意坐标，p表示原图中某个目标中心点的坐标；表示下采样后的坐标
所述的目标框的宽高(w,h)由数据标注文件直接读出；
所述的图像下采样到1/4之后中心点的偏移量包括偏移和纵向的偏移；
所述的目标框的旋转角度θ的计算过程：定义目标框的四个顶点分别是a，b，c，d，顺时针方向标记；首先找到纵坐标最大的一个点作为基准点，定为a点；之后，选择a点相邻的右边的顶点d，计算出这两个点之间边与纵轴构成的夹角θ；
步骤4：对于步骤2中特征提取部分使用在ImageNet数据集上预训练过的残差网络参数初始化，而特征融合部分以及预...

【专利技术属性】
技术研发人员：李映，张谷雨，刘凌毅，李西萍，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61