一种基于场景先验和特征再融合的航空图像车辆检测方法技术

本发明专利技术公开了一种基于场景先验和特征再融合的航空图像车辆检测方法，属于航空图像处理技术领域。对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广后，依次进行图像数据预处理和真值标签预处理；根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；将子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测。本发明专利技术具有较大的检测速度优势，具有更高的鲁棒性，对小目标的检测具有更高的准确性和召回率。

【技术实现步骤摘要】
一种基于场景先验和特征再融合的航空图像车辆检测方法
本专利技术属于航空图像处理
，具体涉及一种基于场景先验和特征再融合的航空图像车辆检测方法。
技术介绍
航空图像是指由飞机、无人飞行器或氢气球等航空器上的成像平台，采集得到的对地遥感图像。根据航空器的不同，航空图像的成像高度从数百米到几万米不等。随着近年来航空成像设备成像质量的不断提高和民用无人飞行器的普及，航空图像在各领域都得到了广泛的应用，例如地表勘探、地图测绘、车流人流监测以及移动目标追踪等等，这也对航空图像的目标检测任务提出了更高的要求。目标检测任务涵盖了两个相对独立的子任务，即目标的定位和分类。目标定位主要目的是判断待测图像中是否存在特定的物体，若存在则输出目标物体的边界框、目标中心或目标的闭合边界等。目标分类主要是判别结果中目标的所属类别，输出带有概率值的标签信息，例如在车辆检测任务中即为当前车辆属于某种类型车辆的概率。目前基于神经网络的目标检测方法主要分为两种：即单阶段检测和双阶段检测。单阶段检测法直接根据预设的边界框对落在该边界框范围内的物体进行分类和位置坐标回归；而双阶段检测法首先通过候选区域生成网络得到可能属于目标的区域，再将其输入到网络检测头，进行进一步分类和回归。与常规场景图像不同，航空图像的尺寸往往很大，覆盖地表范围广，并且地物分布具有密集性和相似性；其次，由于成像距离较远，航空图像相比常规场景图像没有明显的前景和背景信息可供利用；此外，图像中车辆目标尺寸小、形态颜色差异大、受光霾雾等噪声影响明显。因此，直接将现有的常规场景目标检测方法应用于航空图像车辆检测将导致检测结果的准确率和召回率偏低，不能够满足任务的需要。另外，航空图像中车辆分布具有一定的场景和空间规律性，现有的方法未能利用场景类别作为先验信息来改善车辆检测性能。
技术实现思路
针对航空图像中的车辆目标检测任务，为提升检测结果的准确率和召回率同时满足一定的实时性要求，本专利技术结合图像语义分割网络和双阶段目标检测网络，提出一种基于场景先验和特征再融合的航空图像车辆检测方法。具体步骤如下：步骤一、对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广；待测目标是指每张航空图像中出现的所有车辆；图像数据增广包括尺寸空间增广和色彩空间增广；尺寸空间增广是指：针对训练集中所有原始航空图像，根据金字塔缩放的方式，按照不同比例因子的个数进行分组，对每组中的各图像通过双线性插值进行缩放，得到增广数据集，进而学习到目标的多尺度特征。色彩空间增广是指：针对训练集中所有原始航空图像，随机分成若干组，分别对每组图像进行饱和度、亮度、对比度或锐度等随机的改变。步骤二、针对增广后的训练集，依次进行图像数据预处理和真值标签预处理；图像数据预处理是对增广后的训练集采用重叠裁剪分片进行区块化的分割，得到子图像；区块化分割具体为：针对某一方向上分块的窗口长度w，使用步长Δs＝(1-α)w来更新下一次的分块起点，0<α<1表示重叠率。真值标签预处理是对原始训练集图像标签进行处理，得到子图像的单通道标签图，以及真实边界框坐标值和类别值。单通道标签图的像素值为0到n之间的整数，其中n为像素的类别数，0为背景类别；真实边界框坐标值的形式为(x,y,w,h)，其中x,y为边界框的左上角坐标，w,h为边界框的宽和高。真实边界类别值定义为车辆；步骤三、根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；步骤四、将图像数据预处理得到的子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；首先，将四通道图像输入现有的目标检测网络模型的特征提取网络中，得到各层级的特征图，然后应用基于特征金字塔的多层级特征融合结构，对首次融合后的相邻层级的各层特征图，利用分支网络进行二次融合，对目标检测网络模型进行改进，得到各个层级二次融合后的特征图；具体融合过程为：特征提取网络采用ResNet-101结构，使用conv_2x，conv_3x，conv_4x，conv_5x层的输出作为预融合特征图，首先按照自上而下的顺序，将当前层的特征经过一个1×1的过渡卷积层与上一层级的特征图融合，后者需要先经过上采样恢复到与前者相同的分辨率；融合后的特征图再以相同的方式与下一层级的特征图做融合，如此递归至分辨率最高的一级特征图为止。然后，利用分支网络进行二次融合，将最底层的特征图直接输出；按照自下而上的顺序，从最底层开始，与相邻层之间的融合过程是：对于两层中较高分辨率的特征图，先通过池化操作使分辨率与另一分支的特征图保持一致，再将两个分支分别经过一个3×3的卷积层，通道数降为原来的一半，最后将两个分支的特征图通过连接操作拼合到一起，作为最终的特征。由此得到每相邻两层二次融合后的特征图。对改进的目标检测网络模型进行训练；训练方法有交替训练、近似联合训练或者非近似联合训练等；步骤五、对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测；具体预测过程为：步骤501、将每张原始航空图像进行重叠裁剪分片为子图像；步骤502、利用训练好的语义分割网络模型，对裁剪分片的子图像分别进行道路区域分割。步骤503、根据区域分割结果，依次选取符合预设道路场景要求的每张裁剪分片子图像，连接为四通道图像输入训练好的改进的目标检测网络模型；子图像的选择过程如下：设定阈值θ，统计区域分割结果中属于道路的像素相对于相应子图像全部像素的占比α，选取α＞θ的子图像作为待测子图像；步骤504、目标检测网络模型输出当前子图像中车辆的相对位置信息(x′,y′,w,h)和类别信息，再根据该子图像在原图中的横纵方向序号(i,j)计算车辆的绝对位置信息(x,y,w,h)。其中，x＝Δs·i+x′y＝Δs·j+y′步骤505、选择下一张裁剪分片子图像，与区域分割结果连接为四通道图像输入训练好的改进的目标检测网络模型，返回步骤504；步骤506、对所有子图像的车辆检测结果进行拼接，并进行非最大值抑制，得到最终的原始图像中的车辆检测结果。本专利技术具有如下的优点：(1)一种基于场景先验和特征再融合的航空图像车辆检测方法，在大尺寸高分辨率的航空图像车辆目标检测任务中，具有较大的检测速度优势；(2)一种基于场景先验和特征再融合的航空图像车辆检测方法，在复杂地面场景中，车辆检测性能具有更高的鲁棒性；(3)一种基于场景先验和特征再融合的航空图像车辆检测方法，相较于单阶段目标检测网络和相同参数量的双阶段目标检测网络，对小目标的检测具有更高的准确性和召回率。附图说明图1是本专利技术一种基于场景先验和特征再融合的航空图像车辆检测方法的流程图；图2是本专利技术基于图像金字塔的图像数据增广示意图；图3是本专利技术原始图像及其色彩空间增广示意图；图4是本专利技术训练集的重叠裁剪分片示意图；图5是本专利技术采用的道路区域提取网络结构图；图6是本专利技术提出的基于特征金字塔的多层级特征再融合基础网络；图7是本专利技术提出的基于深度可分卷积改进的基础网络；图8是基于场景先验和特征再融合的航空图像车辆检测框架预测阶段流程图。具体实施方式下面结合附图，对本专利技术的具体实施方法作进一步的详细说明。本专利技术本文档来自技高网...

【技术保护点】
1.一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，具体步骤如下：步骤一、对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广；步骤二、针对增广后的训练集，依次进行图像数据预处理和真值标签预处理；步骤三、根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；步骤四、将图像数据预处理得到的子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；首先，将四通道图像输入现有的目标检测网络模型的特征提取网络中，得到各层级的特征图，然后，应用基于特征金字塔的多层级特征融合结构，对首次融合后的相邻层级的各层特征图，利用分支网络进行二次融合，对目标检测网络模型进行改进，得到各个层级二次融合后的特征图；融合具体过程为：特征提取网络采用ResNet‑101结构，使用conv_2x，conv_3x，conv_4x，conv_5x层的输出作为预融合特征图，首先按照自上而下的顺序，将当前层的特征经过一个1×1的过渡卷积层与上一层级的特征图融合，后者需要先经过上采样恢复到与前者相同的分辨率；融合后的特征图再以相同的方式与下一层级的特征图做融合，如此递归至分辨率最高的一级特征图为止；然后，利用分支网络进行二次融合，将最底层的特征图直接输出；按照自下而上的顺序，从最底层开始，与相邻层之间的融合过程是：对于两层中较高分辨率的特征图，先通过池化操作使分辨率与另一分支的特征图保持一致，再将两个分支分别经过一个3×3的卷积层，通道数降为原来的一半，最后将两个分支的特征图通过连接操作拼合到一起，作为最终的特征；由此得到每相邻两层二次融合后的特征图；步骤五、对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测。...

【技术特征摘要】
2018.12.27 CN 20181160657521.一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，具体步骤如下：步骤一、对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广；步骤二、针对增广后的训练集，依次进行图像数据预处理和真值标签预处理；步骤三、根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；步骤四、将图像数据预处理得到的子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；首先，将四通道图像输入现有的目标检测网络模型的特征提取网络中，得到各层级的特征图，然后，应用基于特征金字塔的多层级特征融合结构，对首次融合后的相邻层级的各层特征图，利用分支网络进行二次融合，对目标检测网络模型进行改进，得到各个层级二次融合后的特征图；融合具体过程为：特征提取网络采用ResNet-101结构，使用conv_2x，conv_3x，conv_4x，conv_5x层的输出作为预融合特征图，首先按照自上而下的顺序，将当前层的特征经过一个1×1的过渡卷积层与上一层级的特征图融合，后者需要先经过上采样恢复到与前者相同的分辨率；融合后的特征图再以相同的方式与下一层级的特征图做融合，如此递归至分辨率最高的一级特征图为止；然后，利用分支网络进行二次融合，将最底层的特征图直接输出；按照自下而上的顺序，从最底层开始，与相邻层之间的融合过程是：对于两层中较高分辨率的特征图，先通过池化操作使分辨率与另一分支的特征图保持一致，再将两个分支分别经过一个3×3的卷积层，通道数降为原来的一半，最后将两个分支的特征图通过连接操作拼合到一起，作为最终的特征；由此得到每相邻两层二次融合后的特征图；步骤五、对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测。2.如权利要求1所述的一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，步骤一中所述的待测目标是指每张航空图像中出现的所有车辆；图像数据增广包括尺寸空间增广和色彩空间增广；尺寸空间增广是指：针对训练集中所有原始航空图像，根据金字塔缩放的方式，按照不同比例因子的个数进行分组，对每组中的各...

【专利技术属性】
技术研发人员：李红光，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11