一种基于特征融合的小目标车辆属性识别方法技术

本发明专利技术涉及目标属性识别技术领域，提供一种基于特征融合的小目标车辆属性识别方法。首先构造基于特征融合的小目标车辆属性识别网络，包括特征金字塔网络、区域提名网络、小尺寸目标级联网络；然后将待检测交通图像输入特征金字塔网络，生成包含低层边缘细节信息、中层堆叠融合尺度信息、高层语义信息的特征图并对其堆叠融合，得到多尺度特征图；将多尺度特征图输入区域提名网络，生成包含目标的候选框；再将多尺度特征图与候选框同时输入小尺寸目标定位网络，输出目标坐标信息，根据该信息剪切目标；最后将剪切出的目标输入小尺寸目标分类网络，识别并输出目标及其类别。本发明专利技术能够提高对小尺寸目标属性识别的准确性、降低误识别率与漏识别率。

An attribute recognition method of small target vehicle based on Feature Fusion

【技术实现步骤摘要】
一种基于特征融合的小目标车辆属性识别方法
本专利技术涉及目标属性识别
，特别是涉及一种基于特征融合的小目标车辆属性识别方法。
技术介绍
目标属性识别的主要功能是对输入的图像，从中识别并定位出人们感兴趣的目标，并对该目标进行属性预测，包含目标位置以及分类情况等信息。目前目标属性识别技术已经广泛应用于智能城市交通系统，可以有效地缓解交管部门对各路段交通疏导的压力。目前，传统的目标属性识别方法包括基于像素点特征的目标属性识别方法、基于特征描述的目标属性识别方法、基于传统模式识别的目标属性识别方法以及基于视频诊检差分的目标属性识别方法等。上述传统的目标属性识别方法在识别泛化能力以及识别准确率等方面都有较大缺陷，现有技术中更多的是使用基于卷积神经网络的图像处理方法对图像进行目标属性识别，该方法在很多情况下都能达到非常优异的效果。但是当输入的图像存在较多的小尺寸目标即待识别目标尺寸占整个图像比例小于一定阈值或待识别目标像素面积小于一定阈值时，容易极大程度上不能对目标进行精确定位甚至无法识别出待检测目标，进而无法进行目标的属性识别。目前现有技术中对基于卷积神经网络的目标属性识别方法进行了大量的改进，如：减小特征提取部分的卷积神经网络层数、减少池化层的使用等。这些方法减少了待识别目标的信息丢失情况，但是也减少了图像的高层语义信息的提取，对检测精度造成了一定的影响。在输入图像中，当目标整体面积小于一定阈值时，深层的卷积神经网络以及下采样操作会进一步减小目标在特征图中的面积，在不断的尺度缩小的过程中，小尺寸目标会最终变成仅包含几个像素点的信息甚至整个目标的信息丢失。考虑到深层卷积神经网络提取到的目标高层语义信息与浅层神经网络提取到的边缘细节信息同样重要，现有技术通过引入特征金字塔网络对多层信息进行融合，从而达到丰富图像信息的目的。同时，在输入图像中，当目标面积占整个输入图像面积的比例低于一定阈值时，图像的复杂背景就会对目标属性识别产生负面影响。针对该问题，现有技术通过构建包括小尺寸目标定位网络和小尺寸目标分类网络的小尺寸目标级联网络，能够对区域提名网络输出的图像进行定位，并对定位后的小尺寸目标根据坐标信息进行剪切，对剪切出的目标进行进一步的目标属性识别，达到提高目标属性识别率的效果。同时，传统基于卷积神经网络的目标属性识别方法中使用的ReLU激活函数和传统的损失函数在训练时易造成梯度消失的问题或类别不均造成分类差异大的问题，现有技术中通过引入PReLU激活函数或FocalLoss损失函数，来减小过拟合现象，以有效地减少上述问题。然而，现有的小目标属性识别方法都没有将特征金字塔网络与定位分类级联网络相结合并应用PReLU和FocalLoss进行小目标属性识别，当存在小尺寸目标即待识别目标面积小于一定阈值或待识别目标面积占整个图像面积的比例小于一定阈值时，不能准确地定位出目标甚至丢失目标，造成了较为严重的误识别和漏识别现象。
技术实现思路
针对现有技术存在的问题，本专利技术提供一种基于特征融合的小目标车辆属性识别方法，能够提高对小尺寸目标属性识别的准确性、降低误识别率与漏识别率。本专利技术的技术方案为：一种基于特征融合的小目标车辆属性识别方法，其特征在于，包括下述步骤：步骤1：构造基于特征融合的小目标车辆属性识别网络；所述基于特征融合的小目标车辆属性识别网络包括特征金字塔网络、区域提名网络、小尺寸目标级联网络；所述特征金字塔网络包括自底向上的路径、横向连接路径、自顶向下的路径；所述自底向上的路径为卷积神经网络的前向传播结构，所述自底向上的路径包括6层卷积核大小为3×3的卷积层及大小均为2×2的第一下采样层、第二下采样层；第一卷积层、第二卷积层均有64个卷积核，第三卷积层、第四卷积层均有128个卷积核，第五卷积层、第六卷积层均有256个卷积核，第一卷积层、第二卷积层、第一下采样层、第三卷积层、第四卷积层、第二下采样层、第五卷积层、第六卷积层依次连接；所述横向连接路径包括金字塔第一分支、金字塔第二分支、金字塔第三分支；所述金字塔第一分支包括依次连接的大小为2×2的第三下采样层、卷积核大小均为3×3的第七卷积层、第八卷积层；所述金字塔第二分支包括依次连接的卷积核大小均为3×3的第九卷积层、第十卷积层；所述金字塔第三分支包括依次连接的大小为2×2的上采样层、卷积核大小均为3×3的第十一卷积层、第十二卷积层；所述第三下采样层、第九卷积层、上采样层分别连接在第一卷积层、第三卷积层、第六卷积层之后，所述第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与第一卷积层、第三卷积层、第六卷积层的卷积核数量相同，所述第八卷积层、第十卷积层、第十二卷积层的卷积核数量分别为32、64、128；所述自顶向下的路径包括对金字塔第一分支、金字塔第二分支、金字塔第三分支输出的特征图的堆叠融合；所述区域提名网络包括卷积核数量为224且卷积核大小为3×3的第十三卷积层及区域提名网络分类分支、区域提名网络回归分支；所述区域提名网络分类分支包括依次连接的卷积核数量为18且卷积核大小为1×1的第十四卷积层和第一softmax分类器，所述区域提名网络回归分支包括卷积核数量为36且卷积核大小为1×1的第十五卷积层；所述第十三卷积层均与第十四卷积层、第十五卷积层连接；所述小尺寸目标级联网络包括小尺寸目标定位网络、小尺寸目标分类网络；所述小尺寸目标定位网络包括依次连接的7×7大小的ROI池化层和尺度均为4096的第一全连接层、第二全连接层，所述第二全连接层后接小尺寸目标定位网络分类分支、小尺寸目标定位网络回归分支，所述小尺寸目标定位网络分类分支包括依次连接的尺度为2的第三全连接层、第二softmax分类器，所述小尺寸目标定位网络回归分支包括尺度为8的第四全连接层；所述小尺寸目标分类网络包括依次连接的特征提取部分、分类部分；所述特征提取部分包括依次连接的卷积核数量为256且卷积核大小为5×5的第十六卷积层、大小为2×2的第四下采样层、卷积核数量为512且卷积核大小为5×5的第十七卷积层、大小为2×2的第五下采样层、数据重组reshape层、卷积核数量为8192且卷积核大小为1×1的第十八卷积层、尺度为300的第五全连接层，所述分类部分包括第三softmax分类器；其中，所述特征金字塔网络及小尺寸目标分类网络的卷积层的激活函数均为PReLU激活函数，所述区域提名网络及小尺寸目标分类网络的softmax层的损失函数均为FocalLoss损失函数；步骤2：将待检测交通图像输入所述特征金字塔网络中，金字塔第一分支、金字塔第二分支、金字塔第三分支分别生成包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图，对包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图进行堆叠融合，得到多尺度特征图；所述待检测交通图像为包括小尺寸目标的交通图像，目标为车辆；步骤3：将多尺度特征图输入所述区域提名网络中，生成包含目标的候选框；步骤4：将多尺度特征图与候选框同时输入所述小尺寸目标定位网络，输出待检测交通图像中目标的坐标信息；步骤5：根据目标的坐标信息，将待检测交通图像中的目标剪切出来；步骤6：将剪切出的目标输入到所述小尺寸目本文档来自技高网...

【技术保护点】
1.一种基于特征融合的小目标车辆属性识别方法，其特征在于，包括下述步骤：步骤1：构造基于特征融合的小目标车辆属性识别网络；所述基于特征融合的小目标车辆属性识别网络包括特征金字塔网络、区域提名网络、小尺寸目标级联网络；所述特征金字塔网络包括自底向上的路径、横向连接路径、自顶向下的路径；所述自底向上的路径为卷积神经网络的前向传播结构，所述自底向上的路径包括6层卷积核大小为3×3的卷积层及大小均为2×2的第一下采样层、第二下采样层；第一卷积层、第二卷积层均有64个卷积核，第三卷积层、第四卷积层均有128个卷积核，第五卷积层、第六卷积层均有256个卷积核，第一卷积层、第二卷积层、第一下采样层、第三卷积层、第四卷积层、第二下采样层、第五卷积层、第六卷积层依次连接；所述横向连接路径包括金字塔第一分支、金字塔第二分支、金字塔第三分支；所述金字塔第一分支包括依次连接的大小为2×2的第三下采样层、卷积核大小均为3×3的第七卷积层、第八卷积层；所述金字塔第二分支包括依次连接的卷积核大小均为3×3的第九卷积层、第十卷积层；所述金字塔第三分支包括依次连接的大小为2×2的上采样层、卷积核大小均为3×3的第十一卷积层、第十二卷积层；所述第三下采样层、第九卷积层、上采样层分别连接在第一卷积层、第三卷积层、第六卷积层之后，所述第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与第一卷积层、第三卷积层、第六卷积层的卷积核数量相同，所述第八卷积层、第十卷积层、第十二卷积层的卷积核数量分别为32、64、128；所述自顶向下的路径包括对金字塔第一分支、金字塔第二分支、金字塔第三分支输出的特征图的堆叠融合；所述区域提名网络包括卷积核数量为224且卷积核大小为3×3的第十三卷积层及区域提名网络分类分支、区域提名网络回归分支；所述区域提名网络分类分支包括依次连接的卷积核数量为18且卷积核大小为1×1的第十四卷积层和第一softmax分类器，所述区域提名网络回归分支包括卷积核数量为36且卷积核大小为1×1的第十五卷积层；所述第十三卷积层均与第十四卷积层、第十五卷积层连接；所述小尺寸目标级联网络包括小尺寸目标定位网络、小尺寸目标分类网络；所述小尺寸目标定位网络包括依次连接的7×7大小的ROI池化层和尺度均为4096的第一全连接层、第二全连接层，所述第二全连接层后接小尺寸目标定位网络分类分支、小尺寸目标定位网络回归分支，所述小尺寸目标定位网络分类分支包括依次连接的尺度为2的第三全连接层、第二softmax分类器，所述小尺寸目标定位网络回归分支包括尺度为8的第四全连接层；所述小尺寸目标分类网络包括依次连接的特征提取部分、分类部分；所述特征提取部分包括依次连接的卷积核数量为256且卷积核大小为5×5的第十六卷积层、大小为2×2的第四下采样层、卷积核数量为512且卷积核大小为5×5的第十七卷积层、大小为2×2的第五下采样层、数据重组reshape层、卷积核数量为8192且卷积核大小为1×1的第十八卷积层、尺度为300的第五全连接层，所述分类部分包括第三softmax分类器；其中，所述特征金字塔网络及小尺寸目标分类网络的卷积层的激活函数均为PReLU激活函数，所述区域提名网络及小尺寸目标分类网络的softmax层的损失函数均为Focal Loss损失函数；步骤2：将待检测交通图像输入所述特征金字塔网络中，金字塔第一分支、金字塔第二分支、金字塔第三分支分别生成包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图，对包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图进行堆叠融合，得到多尺度特征图；所述待检测交通图像为包括小尺寸目标的交通图像，目标为车辆；步骤3：将多尺度特征图输入所述区域提名网络中，生成包含目标的候选框；步骤4：将多尺度特征图与候选框同时输入所述小尺寸目标定位网络，输出待检测交通图像中目标的坐标信息；步骤5：根据目标的坐标信息，将待检测交通图像中的目标剪切出来；步骤6：将剪切出的目标输入到所述小尺寸目标分类网络中，所述特征提取部分对所述目标进行特征提取，所述第三softmax分类器对目标进行分类，识别并输出待检测交通图像中的目标及目标的类别。...

【技术特征摘要】
1.一种基于特征融合的小目标车辆属性识别方法，其特征在于，包括下述步骤：步骤1：构造基于特征融合的小目标车辆属性识别网络；所述基于特征融合的小目标车辆属性识别网络包括特征金字塔网络、区域提名网络、小尺寸目标级联网络；所述特征金字塔网络包括自底向上的路径、横向连接路径、自顶向下的路径；所述自底向上的路径为卷积神经网络的前向传播结构，所述自底向上的路径包括6层卷积核大小为3×3的卷积层及大小均为2×2的第一下采样层、第二下采样层；第一卷积层、第二卷积层均有64个卷积核，第三卷积层、第四卷积层均有128个卷积核，第五卷积层、第六卷积层均有256个卷积核，第一卷积层、第二卷积层、第一下采样层、第三卷积层、第四卷积层、第二下采样层、第五卷积层、第六卷积层依次连接；所述横向连接路径包括金字塔第一分支、金字塔第二分支、金字塔第三分支；所述金字塔第一分支包括依次连接的大小为2×2的第三下采样层、卷积核大小均为3×3的第七卷积层、第八卷积层；所述金字塔第二分支包括依次连接的卷积核大小均为3×3的第九卷积层、第十卷积层；所述金字塔第三分支包括依次连接的大小为2×2的上采样层、卷积核大小均为3×3的第十一卷积层、第十二卷积层；所述第三下采样层、第九卷积层、上采样层分别连接在第一卷积层、第三卷积层、第六卷积层之后，所述第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与第一卷积层、第三卷积层、第六卷积层的卷积核数量相同，所述第八卷积层、第十卷积层、第十二卷积层的卷积核数量分别为32、64、128；所述自顶向下的路径包括对金字塔第一分支、金字塔第二分支、金字塔第三分支输出的特征图的堆叠融合；所述区域提名网络包括卷积核数量为224且卷积核大小为3×3的第十三卷积层及区域提名网络分类分支、区域提名网络回归分支；所述区域提名网络分类分支包括依次连接的卷积核数量为18且卷积核大小为1×1的第十四卷积层和第一softmax分类器，所述区域提名网络回归分支包括卷积核数量为36且卷积核大小为1×1的第十五卷积层；所述第十三卷积层均与第十四卷积层、第十五卷积层连接；所述小尺寸目标级联网络包括小尺寸目标定位网络、小尺寸目标分类网络；所述小尺寸目标定位网络包括依次连接的7×7大小的ROI池化层和尺度均为4096的第一全连接层、第二全连接层，所述第二全连接层后接小尺寸目标定位网络分类分支、小尺寸目标定位网络回归分支，所述小尺寸目标...

【专利技术属性】
技术研发人员：宫华，张勇，刘芳，雷鸣，许可，
申请(专利权)人：沈阳理工大学，中国电子科技集团公司第五十三研究所，
类型：发明
国别省市：辽宁,21