基于级联组合网络的大地背景小目标识别方法技术

本发明专利技术公开了一种基于级联组合网络的大地背景小目标识别方法，主要解决现有技术在对地观测动态和复杂大地背景下不易实现与小目标区域粗分割和小目标识别的问题。其方案是：构建、增强、标注、转换和划分大地背景小目标可见光图片数据集；基于现有的语义分割模型，通过引入注意力机制、多尺度小目标特征融合结构、残差网络构建大地背景小目标分割模型，并对其进行训练实现对背景和小目标的区域粗分割；对现有的小目标检测模型进行训练得到大地背景下小目标识别模型，使用该模型完成对粗分割后且经预处理后图片的再识别。本发明专利技术提高了空对地观测复杂、多变大地背景与小目标间的区域粗分割和识别精度，可用于遥感图像、交通监控、自动驾驶多种场景。自动驾驶多种场景。自动驾驶多种场景。

【技术实现步骤摘要】
基于级联组合网络的大地背景小目标识别方法


[0001]本专利技术属于目标检测
，特别涉及一种大地背景小目标识别方法，可用军工航空、遥感图像、土地和房屋测量规划、交通监控、自动驾驶的多样化场景。

技术介绍

[0002]近年来，随着目标检测领域的技术发展，小目标识别逐渐成为目标检测领域中的热点和难点，而对于大地背景下的小目标识别也已逐渐成为目标检测领域中极具挑战的任务之一，语义分割技术是实现对大地背景和小目标间区域粗分割的关键技术，而目标识别模型则是对于基于分割结果的进一步识别的有效方式，最终可进一步提高大地背景下的小目标的识别效果。此专利技术在军工航空、遥感图像、土地和房屋测量规划、交通监控、自动驾驶等未来多样化的场景领域中有着重要的研究意义和越来越广泛的应用价值。
[0003]针对在复杂、多变大地背景下的小目标存在分辨率低、灰暗、不易被定位且难以看见、大地背景和小目标难以区分的问题。现有技术主要采用目标检测模型或语义分割进行目标识别，其中目标检测模型是用矩形框来标注和预测图像中的小目标，且存在只会标出目标的大致位置的问题；语义分割是对像素级别进行分类，即告诉图片中某一块像素的label具体是什么，比如会告诉这个像素是某个目标，例如：car的像素，但是对于更小的目标存在分割覆盖率不高且边缘分割效果还有优化空间。因而对于同类不同形态小目标识别、不同建筑物的小识别，使用单一的语义分割或目标识别模型无法实现对大地背景的小目标进行准确的分割和识别。
[0004]申请号为：CN202210296396.3的专利公开了一种基于改进DeepLabV3+的遥感影像建筑物提取方法，其提出了密集ASPP模块，即在分割模型中的ASPP结构选用6、12、18这几种不同的空洞卷积率，并通过级联方式组合，每一层空洞卷积的输入与前面所有并行空洞卷积层的输出拼接在一起作为当空洞卷积层的输入。但这样的空洞率大小未能捕获到更多尺度的有效小目标特征，并不利于分割深层的低分辨率小目标特征图，也未能实现将浅层和深层特征高效融合。
[0005]申请号为CN202210030581.8的专利公开了一种基于通道
‑
空间注意力和DeepLabV3plus的遥感影像语义分割方法，其将Xception主干网络模型提取出的深层特征作为通道注意力卷积结构的输入，输出的结果与深层特征的乘积作为空间注意力卷积结构的输入，空间注意力卷积模块输出的结果与深层特征的乘积作为通道
‑
空间注意卷积模块的输出。这种方式仅仅对于主干网络提取出的部分深层小目标特征进行了处理，却忽略了主干网络中的浅层特征。而由于高分辨率特征大的特征图由于感受野较小，同时特征包含位置信息丰富，更适合检测小物体。
[0006]申请号为CN202210677113.X的文献公开了一种基于DeepLabv3+的改进语义分割方法，其在空间金字塔模块分别使用一个1x1的卷积，三个膨胀率分别为6、12、18的膨胀卷积以及一个ImagePooling(全局平均池化)模块组成，三个膨胀卷积用来捕获不同尺度的感受野信息并捕获不同尺度的特征信息，全局平局池化和1x1卷积被用于提取特征。但随着模
型层数的加深，尤其在小目标在整张图片中占比小的场景，仅仅三个膨胀卷积对于更小分辨率的深层和高级语义小目标特征的提取能力依旧有限。
[0007]申请号为CN202210704308.9的专利公开了一种小目标识别算法，将图像划分为重点区和非重点区，将这些区域进行网格化，按照3x3为一个单元，使用神经元对每个读取单元的特征量进行读取，并与数据库进行对比，使系统对于每一个目标都能根据体积数据，判别目标是否足够清洗捕捉。但这种单图像分割区域方法和网格化的图像识别算法，在复杂多变背景和的小目标的灰度值或颜色相似的场景，可能会忽略图像中的一些小目标边缘信息，同时，相同和不同的目标特征重叠之后也无法有效区分，最终会影响实现背景和小目标识别效果。

技术实现思路

[0008]本专利技术的目的在于针对上述现有技术的不足，提出一种基于级联组合网络的大地背景小目标识别方法，以通过融合检测方式，解决对于大地背景和目标区域粗分割问题，实现在空对地观测复杂、多变大地背景下的小目标识别。
[0009]实现本专利技术目的技术方案包括如下：
[0010](1)构建语义分割模型和yolov5
‑
s小目标检测网络模型的大地背景小目标图片数据集：
[0011]1a)对大地背景下的小目标可见光图像数据集进行图像增强和软件标注的预处理；
[0012]1b)将预处理后数据集按照8：2的比例划分为语义分割模型的训练集和验证集；
[0013]1c)将预处理后的数据集按照8：1：1的比例划分为yolov5
‑
s小目标检测网络模型的训练集、验证集和测试集；
[0014](2)对现有的Deeplabv3plus语义分割模型进行改进，构建大地背景小目标分割模型：
[0015]2a)对语义分割网络模型的主干网络中1个浅层高分辨率特征层和2个深层低分辨率特征层，引用注意力机制进行处理，得到更深层的特征层；
[0016]2b)在语义分割模型中的小目标特征融合ASPP特征融合结构的基础上增加一个新的小目标特征融合分支，并调整其内部空洞卷积的空洞率参数为4、8、12、16，形成多尺度小目标特征融合ASPP
‑
6结构,用于以加强融合后的第一个深层低分辨率特征层；
[0017]2c)利用语义分割网络模型中的主干网络提取适合小目标分割的浅层高分辨率特征层，使用1x1卷积对通道数进行调整处理，并将该通道数调整后的浅层高分辨率特征层与2b)中加强融合后的低分辨率特征层引用concat函数进行堆叠处理，形成残差网络结构；
[0018]2d)将步骤2a)通过注意力机制处理后的主干网络、步骤2b)形成的多尺度小目标特征融合ASPP
‑
6结构、步骤2c)形成的残差网络结构依次级联，构成大地背景小目标分割模型；
[0019](3)对大地背景小目标分割模型进行训练：
[0020](3a)利用现有的Pascal VOC2007公开数据集的训练集，采用先前向传播、再反向传播的训练方式对大地背景小目标分割模型进行预训练，得到预训练后的大地背景小目标分割模型；
[0021]3b)利用语义分割模型的训练集，使用先冻结骨干网络、再解冻骨干网络的两阶段训练方式，对预训练后的大地背景小目标分割模型再进行训练,得到训练好的大地背景小目标语义分割模型，并生成经由语义分割模型的训练集训练的模型权重文件；
[0022](4)基于语义分割模型的验证集，对训练好的大地背景小目标语义分割模型，使用大地背景小目标分割模型的预测脚本文件进行验证，实现大地背景和小目标的区域粗分割；
[0023](5)基于1c)中的yolov5
‑
s小目标检测网络模型的训练集，使用混合精度训练方法对yolov5
‑...

【技术保护点】

【技术特征摘要】
1.一种基于级联组合网络的大地背景小目标识别方法，其特征在于，包括以下步骤：(1)构建语义分割模型和yolov5
‑
s小目标检测网络模型的大地背景小目标图片数据集：1a)对大地背景下的小目标可见光图像数据集进行图像增强和软件标注的预处理；1b)将预处理后数据集按照8：2的比例划分为语义分割模型的训练集和验证集；1c)将预处理后的数据集按照8：1：1的比例划分为yolov5
‑
s小目标检测网络模型的训练集、验证集和测试集；(2)对现有的Deeplabv3plus语义分割模型进行改进，构建大地背景小目标分割模型：2a)对语义分割网络模型的主干网络中1个浅层高分辨率特征层和2个深层低分辨率特征层，引用注意力机制进行处理，得到更深层的特征层；2b)在语义分割模型中的小目标特征融合ASPP特征融合结构的基础上增加一个新的小目标特征融合分支，并调整其内部空洞卷积的空洞率参数为4、8、12、16，形成多尺度小目标特征融合ASPP
‑
6结构,用于以加强融合后的第一个深层低分辨率特征层；2c)利用语义分割网络模型中的主干网络提取适合小目标分割的浅层高分辨率特征层，使用1x1卷积对通道数进行调整处理，并将该通道数调整后的浅层高分辨率特征层与2b)中加强融合后的低分辨率特征层引用concat函数进行堆叠处理，形成残差网络结构；2d)将步骤2a)通过注意力机制处理后的主干网络、步骤2b)形成的多尺度小目标特征融合ASPP
‑
6结构、步骤2c)形成的残差网络结构依次级联，构成大地背景小目标分割模型；(3)对大地背景小目标分割模型进行训练：(3a)利用现有的Pascal VOC2007公开数据集的训练集，采用先前向传播、再反向传播的训练方式对大地背景小目标分割模型进行预训练，得到预训练后的大地背景小目标分割模型；3b)利用语义分割模型的训练集，使用先冻结骨干网络、再解冻骨干网络的两阶段训练方式，对预训练后的大地背景小目标分割模型再进行训练,得到训练好的大地背景小目标语义分割模型，并生成经由语义分割模型的训练集训练的模型权重文件。(4)基于语义分割模型的验证集，对训练好的大地背景小目标语义分割模型，使用大地背景小目标分割模型的预测脚本文件进行验证，实现大地背景和小目标的区域粗分割；(5)基于1c)中的yolov5
‑
s小目标检测网络模型的训练集，使用混合精度训练方法对yolov5
‑
s小目标检测网络模型进行训练，获得训练好的大地背景下小目标识别模型，并生成经由小目标检测网络模型的训练集训练的模型权重文件。(6)使用训练好的大地背景下小目标识别模型对大地背景小目标语义分割模型粗分割后的图片数据集进行检测，检测出图片数据集中大地背景下小目标的位置和类别，即在大地背景和小目标的区域粗分割的基础上再对大地背景下小目标的识别，实现背景分割和目标识别的级联组合检测。2.根据权利要求1所述的方法，其特征在于，步骤1a)中对大地背景下的小目标可见光图像数据集进行图像增强和软件标注的预处理，实现如下：1a1)引用OpenCv库的中值滤波函数，使用中值滤波的滤波核与待处理图片中的每一个像素进行卷积操作，并增加各类小目标在图片中的数量，随机对于一些图片中的小目标进行翻转和缩放，实现对数据集的图像增强处理：
1a2)用Labelme软件标注是用线条勾画出每一个小目标的轮廓，即用矩形框框出待检测的小目标，并为每一类小目标设置一种类别，生成地背景小目标检测模型的图像标注数据集。3.根据权利要求1所述的方法，其特征在于，步骤2a)中引用注意力机制对浅层高分辨率特征层的处理，采用通道注意力机制进行，具体实现如下：2a1)对浅层高分辨率特征层先进行全局平均池化，再进行两次全连接的处理；2a2)引用sigmoid函数计算经3a1)处理后特征层每一个特征点的权值w，并将该权值与输入的浅层高分辨率特征层相乘，完成对浅层高分辨率特征层的注意力机制处理，其中w取值在0
‑
1之间。4.根据权利要求1所述的方法，其特征在于，步骤2a)中引用注意力机制对2个深层低分辨率特征层的处理，采用通道注意力机制与空间注意力机制进行，具体实现如下：2a3)对2个深层低分辨率特征层的通道注意力机制处理：所述通道注意力机制的处理分为2条支路，每个深层低分辨率特征层先通过第一条支路依次进行全局平均池化、第一全连接层、relu激活函数、第二全连接层的处理；再通过第二条支路依次进行最大池化、第一全连接层、relu激活函数、第二个全连接层的处理；之后，将两条支路的处理结果进行相加，并经过sigmoid函数计算每个输入深层低分辨率特征层的每一...

【专利技术属性】
技术研发人员：张维光，苏鹏创，冀文欢，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：