一种机载光电视频目标智能化检测与识别方法技术

本发明专利技术公开了一种机载光电视频目标智能化检测与识别方法，在YOLOv3模型的基础上采用长方形卷积提取如桥梁等条形目标特征，采用膨胀卷积扩大感受野并保留多尺度目标的空间结构信息，在特征金字塔上采样分支引入视觉注意力机制赋予模型学习不同区域、不同通道目标特征的不同权重，将残差模块的卷积方式改进为深度可分离卷积减少计算复杂度。本发明专利技术的优点是：该方法在保持较高航拍目标检测精度的同时，能够在机载嵌入式系统上具有较快的航拍目标检测与识别速度。

【技术实现步骤摘要】
一种机载光电视频目标智能化检测与识别方法
本专利技术涉及机载光电雷达检测与识别
，特别涉及一种基于嵌入式系统的可见光视频目标实时检测与识别方法，适用于高速运动的机载平台上对可见光相机传感器采集的空、海、地多类型目标图像进行准确、实时检测与识别。
技术介绍
基于嵌入式系统实现航拍图像目标实时检测与识别是计算机视觉领域的重要研究方向之一，其在计算资源有限的嵌入式设备上提取并利用目标特征信息，定位图像中的目标、并对搜索到的多类型目标进行分类，在军事目标侦查、航空搜索救援、遥感影像解析等领域应用前景广阔。在机载光电传感器航拍图像目标检测与识别中，受到载机平台高速运动条件的约束，目标环境及拍摄角度不断变化，高空航拍图像中的目标形态多样，目标长宽比、颜色以及角度等用于检测的关键特征变化复杂。因此，采用如梯度方向直方图(HistogramofOrientedGradients，HOG)等人工设计特征的形变部件模型(DeformablePartsModels，DPM)目标检测与识别方法难以应对上述复杂环境下的多类型目标检测与识别任务。近年来，深度学习技术中的卷积神经网络展现了优秀的目标视觉特征提取和表示能力，尤其适用于复杂环境下的目标检测，如YOLO(YouOnlyLookOnce)等目标检测方法被广泛应用于自然图像目标检测与识别任务中。但是YOLO方法也没有充分考虑并利用航拍图像中的目标特征；而且YOLO方法将在图像不同区域、特征图不同通道、以及神经网络不同层提取的特征同等对待，这将导致模型进行决策时受到更多的冗余特征干扰，使得目标有效特征难以被模型充分学习。同时，目标检测的实时性也是在基于嵌入式系统的航拍图像目标检测与识别中必须考虑的问题，深度学习目标检测与识别方法虽然精度较高，但是计算复杂度也很高、计算资源开销大。即使YOLO属于一阶段模型，相较于两阶段目标模型速度更快，但是也难以满足在机载嵌入式系统上实时检测与识别目标的速度要求。而Tiny-YOLO系列模型采用了层数更少的轻量级神经网络加快检测速度，虽然能够在机载嵌入式系统上实时检测目标，但是卷积神经网络层数大量减少导致模型的特征提取能力降低，进而影响目标检测与识别的精度。因此，本专利技术充分考虑了航拍图像目标检测与识别任务中的目标特性，模型对不同区域、不同通道特征的关注程度，以及在机载嵌入式系统中的目标检测与识别实时性要求，在YOLOv3模型的基础上提出了一种机载光电雷达目标智能化检测与识别方法。
技术实现思路
本专利技术针对现有技术的缺陷，提供了一种机载光电视频目标智能化检测与识别方法，解决了现有技术中存在的缺陷。为了实现以上专利技术目的，本专利技术采取的技术方案如下：一种机载光电视频目标智能化检测与识别方法，包括以下步骤：步骤1：构建特征提取基础网络，在YOLOv3的卷积神经网络中引入不同膨胀系数的膨胀卷积代替普通卷积保留多尺度目标空间结构信息，采用可分离卷积方式对特征图进行分组卷积运算减少计算量，提取并获得目标特征信息；步骤2：构建特征金字塔上采样分支分别处理不同尺度目标特征，在YOLOv3的特征金字塔各尺度分支上引入空间注意力机制和通道和注意力机制，对不同空间位置和不同通道的特征赋予不同权重；步骤3：在YOLOv3模型的损失函数基础上，引入交并比(Intersection-over-Union,IoU)损失和长宽比损失，构建新的损失函数，并以误差最小化为优化目标，训练目标检测模型；步骤4：在嵌入式开发板TX2上移植并实现上述方法，加载步骤3中训练完成的目标检测模型，采集并输入航拍图像，利用上述模型检测航拍图像中的目标，得到目标位置坐标及类型，可视化输出。进一步地，步骤1包括如下子步骤：步骤1.1：以YOLOv3的darknet53特征提取网络为基础，将darknet53网络每个残差模块的步长为2的卷积下采样层替换为膨胀卷积层，不丢失分辨率的前提下扩大感受野，提高目标定位精度。膨胀卷积核尺k'＝k+(k-1)(r-1)(1)式中，k为原始卷积核尺寸，r为膨胀系数。步骤1.2：采用深度可分离卷积改进YOLOv3原有的残差模块卷积计算方式：首先，采用1×1逐点卷积对特征在通道方向进行升维；其次，采用深度可分离卷积在特征图的通道上分别进行卷积提取目标特征，设输入的特征图尺寸为W×H×C其中W×H×C分别表示特征图的宽、高和数量，则深度可分离卷积共需要C个尺寸为k×k卷积核进行卷积运算，最后再采用1×1逐点卷积对特征在通道方向进行降维得到当前深度可分离卷积残差模块的输出。深度可分离卷积的计算复杂度O＝W×H×C×k×k+1×1×C×N×W×H(2)式中N表示深度可分离卷积输出的特征图数量。进一步地，步骤2包括如下子步骤：步骤2.1：对步骤1中基础网络提取的特征图进行不同尺度的上采样，并与基础网络中卷积-下采样得到的相同尺寸特征图进行横向连接，构建特征金字塔结构；步骤2.2：针对桥梁等尺寸较大的条状目标，在三个特征金字塔分支的最底层分支中增加长方形卷积核提取目标特征；步骤2.3：在YOLOv3的多尺度特征金字塔分支上引入通道注意力机制对不同通道的特征赋予不同权重。设通道注意力特征图为Mc∈R1×1×C，首先采对特征图做全局平均池化得到1×1×C的特征向量，即Mc＝σ(AvgPool(F))(3)式中σ(.)表示激活函数，F表示输入的特征图；然后通过两层全连接层为各特征通道生成注意力权重Mc'＝σ(fc1(fc0(Mc)))(4)式中fc1,fc0分别表示两层全连接层；最后，将得到的通道注意力权值乘以输入注意力机制模块的初始特征图，并作为下一层的输入。步骤2.4：在YOLOv3的多尺度特征金字塔分支上引入空间注意力机制对不同空间位置的特征赋予不同权重。设空间注意力特征图为Ms∈RW×H×1，首先采对特征图做通道方向的平均池化得到W×H×1的特征向量，即Ms＝σ(AvgPool(F))(5)其次，通过两层卷积层为各空间位置生成注意力权重Ms'＝σ(conv1(conv0(Ms)))(6)式中conv1,conv0分别表示两层卷积层；最后，将得到的空间注意力权值乘以乘以输入注意力机制模块的初始特征图作为下一层的输入。进一步地，步骤3包括如下子步骤：步骤3.1：输入训练图像，训练目标检测模型，模型输出S×S×(B*(5+Class))维的特征向量，表示输入图像每一个网格预测的边界框的位置、大小、置信度以及其包含的目标类别概率，其中S×S为目标检测模型划分的预测网格个数，B为每一层特征金字塔分支每个网格生成的先验框个数，Class表示目标类别数量。步骤3.2：计算模型预测的目标检测结果与先验标签之间的损失，在YOLOv3损失函数的基础上，引入交并比损失和长宽比损失，构建新的损失函数式中W、H分别为特征图每列和每行的网格数，和为指示函数，λnoo本文档来自技高网...

【技术保护点】
1.一种机载光电视频目标智能化检测与识别方法，其特征在于，包括以下步骤：/n步骤1：构建特征提取基础网络，在YOLOv3的卷积神经网络中引入不同膨胀系数的膨胀卷积代替普通卷积，扩大感受野并保留多尺度目标空间结构信息，采用可分离卷积方式对特征图进行分组卷积运算减少计算量，提取并获得目标特征信息；/n步骤2：构建特征金字塔上采样分支分别处理不同尺度目标特征，在YOLOv3的特征金字塔各尺度分支上引入空间注意力机制和通道和注意力机制，对不同空间位置和不同通道的特征赋予不同权重；/n步骤3：在YOLOv3模型的损失函数基础上，引入交并比损失和长宽比损失，构建新的损失函数，并以误差最小化为优化目标，训练目标检测模型；/n步骤4：在嵌入式开发板TX2上移植并实现上述方法，加载步骤3中训练完成的目标检测模型，采集并输入航拍图像，利用上述模型检测航拍图像中的目标，得到目标位置坐标及类型，可视化输出。/n

【技术特征摘要】
1.一种机载光电视频目标智能化检测与识别方法，其特征在于，包括以下步骤：
步骤1：构建特征提取基础网络，在YOLOv3的卷积神经网络中引入不同膨胀系数的膨胀卷积代替普通卷积，扩大感受野并保留多尺度目标空间结构信息，采用可分离卷积方式对特征图进行分组卷积运算减少计算量，提取并获得目标特征信息；
步骤2：构建特征金字塔上采样分支分别处理不同尺度目标特征，在YOLOv3的特征金字塔各尺度分支上引入空间注意力机制和通道和注意力机制，对不同空间位置和不同通道的特征赋予不同权重；
步骤3：在YOLOv3模型的损失函数基础上，引入交并比损失和长宽比损失，构建新的损失函数，并以误差最小化为优化目标，训练目标检测模型；
步骤4：在嵌入式开发板TX2上移植并实现上述方法，加载步骤3中训练完成的目标检测模型，采集并输入航拍图像，利用上述模型检测航拍图像中的目标，得到目标位置坐标及类型，可视化输出。


2.根据权利要求1所述的方法，其特征在于：步骤1包括如下子步骤：
步骤1.1：以YOLOv3的darknet53特征提取网络为基础，将darknet53网络每个残差模块的步长为2的卷积下采样层替换为膨胀卷积层，不丢失分辨率的前提下扩大感受野，提高目标定位精度；膨胀卷积核尺
k'＝k+(k-1)(r-1)(1)
式中，k为原始卷积核尺寸，r为膨胀系数；
步骤1.2：采用深度可分离卷积改进YOLOv3原有的残差模块卷积计算方式：首先，采用1×1逐点卷积对特征在通道方向进行升维；其次，采用深度可分离卷积在特征图的通道上分别进行卷积提取目标特征，设输入的特征图尺寸为W×H×C其中W×H×C分别表示特征图的宽、高和数量，则深度可分离卷积共需要C个尺寸为k×k卷积核进行卷积运算，最后再采用1×1逐点卷积对特征在通道方向进行降维得到当前深度可分离卷积残差模块的输出；深度可分离卷积的计算复杂度
O＝W×H×C×k×k+1×1×C×N×W×H(2)
式中N表示深度可分离卷积输出的特征图数量。


3.根据权利要求1所述的方法，其特征在于：步骤2包括如下子步骤：
步骤2.1：对步骤1中基础网络提取的特征图进行不同尺度的上采样，并与基础网络中卷积-下采样得到的相同尺寸特征图进行横向连接，构建特征金字塔结构；
步骤2.2：针对桥梁等尺寸较大的条状目标，在三个特征金字塔分支的最底层分支中增加长方形卷积核提取目标特征；
步骤2.3：在YOLOv3的多尺度特征金字塔分支上引入通道注意力机制对不同通道的特征赋予不同权重；设通...

【专利技术属性】
技术研发人员：陶然，李伟，黄展超，马鹏阁，揭斐然，
申请(专利权)人：北京理工大学，郑州航空工业管理学院，中国航空工业集团公司洛阳电光设备研究所，
类型：发明
国别省市：北京;11