一种基于多目标角点池化神经网络的车辆检测方法技术

本发明专利技术提供一种基于多目标角点池化神经网络的被遮挡车辆检测方法，包括：获取MS COCO目标检测数据集，制作车辆图像数据集；选取沙漏网络为基石网络，并搭建神经网络框架，采集整个网络最后一层的特征并将其传输到残差模块进行多目标角点池化操作，生成图像内各车辆的角点对、嵌入矢量和映射偏差特征；设计损失函数，并利用Adam算法进行优化；角点配对模块对经过多目标角点池化操作得到的特征进行角点对配对处理，若存在未配对角点，则通过角点补全模块进行补全处理，生成车辆检测框，得出车辆的检测结果。本发明专利技术的技术方案解决了在实际的交通场景中车辆数辆庞大、道路情况复杂下，在检测道路车辆时不能准确地将车辆逐一检测、框选的技术问题。

A Vehicle Detection Method Based on Multi-objective Corner Pooling Neural Network

【技术实现步骤摘要】
一种基于多目标角点池化神经网络的车辆检测方法
本专利技术涉及目标检测
，具体而言，尤其涉及一种基于多目标角点池化神经网络的车辆检测方法。
技术介绍
复杂交通场景下的车辆检测就是要从实际的交通场景下，对图像内的车辆进行检测并准确框选。通过建立深度神经网络模型并利用完整的数据集进行训练，使其能够适应各种复杂的实际环境如车辆遮挡、建筑遮挡等。Girshick等人提出了采用RCNN网络来提取图像中的所有感兴趣区域，然后利用ConvNet来处理这些区域，这就会产生大量的冗余计算。为了解决这个问题，Fast-RCNN设计了一个特殊的池化层，从特征图中收集感兴趣区域，但这一算法仍不能实现端到端的训练。之后Faster-RCNN通过引入RPN网络来消除区域搜索，不仅提高了检测器的效率，而且实现了端到端的训练。但这些算法都需要先确定感兴趣区域再进行检测和识别，计算效率较低。YOLO和SSD系列算法取消了感兴趣区域的池化步骤，利用单一的网络来检测图像内的目标，大大提高了计算效率，取得了良好的结果。在实际的交通场景中，车辆数辆庞大，道路情况复杂，现有技术在检测道路车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选。
技术实现思路
根据上述提出在实际的交通场景中，车辆数辆庞大，道路情况复杂，现有技术在检测道路车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选的技术问题，而提供一种复杂交通场景下基于多目标角点池化神经网络的被遮挡车辆检测方法。本专利技术采用的技术手段如下：一种基于多目标角点池化神经网络的被遮挡车辆检测方法，包括以下步骤：步骤S1：获取MSCOCO目标检测数据集，制作MSCOCO车辆图像数据集；步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架，采集整个网络最后一层的特征并将其传输到残差模块；步骤S3：对传输到残差模块的特征进行多目标角点池化操作，生成图像内各车辆的角点对、嵌入矢量和映射偏差特征；步骤S4：设计损失函数，并利用Adam算法进行优化；步骤S5：角点配对模块对步骤S3中经过多目标角点池化操作得到的特征进行角点对配对处理，若存在未配对角点，则通过角点补全模块进行补全处理，最后生成车辆检测框，得出车辆的检测结果。进一步地，所述步骤S1的具体步骤如下：步骤S101：下载MSCOCO目标检测数据集，分别提取训练数据集、验证数据集和测试数据集中的车辆类别图片和对应标签；步骤S102：将验证数据集和训练数据集中全部车辆类别图片用于模型训练，将测试数据集平均分成两部分，一部分用来做消融实验，另一部分用来评估模型性能。进一步地，所述步骤S2的具体步骤如下：步骤S201：选取由两个沙漏模块组成的沙漏网络作为基石网络，获取图像内的全局特征和局部特征；步骤S202：将沙漏网络内的最大池化层替换为步长为2的卷积核，降低特征分辨率；步骤S203：将沙漏网络深度设置为102，采集整个网络最后一层的特征并将其传输到预测模块。进一步地，所述步骤S4中设计损失函数，所述损失函数的定义如下：L＝Ldet+α(Lgp+Lsp)+βLoff+γLe；其中，α，β，γ为损失函数各项系数，α＝0.1，β＝1，γ＝0.9；Ldet为基石网络损失函数：上式中，H和W分别是图片的高和宽；i，j表示像素位置的第i行，第j列；a＝2,b＝4是超参数；pij为该像素的预测值；yij为该像素的真实值；N为训练样本总数；LSP为分离角点损失函数：上式中，k和j代表图片内的第k和j辆车；ek是该车中心点嵌入向量；σ为嵌入向量维度，σ＝1；N为训练样本总数；LgP为组合角点损失函数：上式中，etk是第k辆车的左上角点嵌入向量；ebk是第k辆车的右下角点嵌入向量；N为训练样本总数；Loff为映射偏差损失函数：上式中，为映射偏差；xk,yk为第k辆车的原始坐标；为映射后坐标；n为下采样因子；k为第k辆车；N为训练样本总数；Le为角点补全损失函数：上式中，Oe＝(|x-x′|，|y-y′|)为角点补全偏差；k为第k辆车；(x,y)为该车的真实位置坐标；(x′,y′)为该车的预测位置坐标；N为训练样本总数；进一步地，所述步骤S5中对步骤3得到的特征进行角点对配对处理过程如下：步骤S501：将步骤3中生成的图像内各车辆不同嵌入矢量的角点对进行配对组合，确定车辆位置；步骤S502：将步骤S501配对组合过程中由于遮挡原因无法配对的单独角点采用角点补全算法生成对应的另一角点；步骤S503：将上述步骤S501和步骤S502成功配对的角点对都对应车辆目标检测框的右下角点和左上角点，生成车辆检测框。较现有技术相比，本专利技术具有以下优点：1、本专利技术提供的基于多目标角点池化神经网络的被遮挡车辆检测方法，将用于人体姿态估计的沙漏网络引入到车辆检测中并作为基石网络，用于提取图像内的局部特征和全局特征。2、本专利技术提供的基于多目标角点池化神经网络的被遮挡车辆检测方法，并没有直接使用神经网络中常用的最大池化层，取而代之的是用自行设计的多目标角点池化层来获取被遮挡车辆的角点，大大提高了神经网络在复杂交通环境下检测被遮挡车辆的准确性。3、本专利技术提供的基于多目标角点池化神经网络的被遮挡车辆检测方法，提出了一种角点匹配方法来对被遮挡车辆的不完整角点对进行补全，进一步提高了检测准确性。综上，应用本专利技术的技术方案解决了现有技术中针对在实际的交通场景中，车辆数辆庞大，道路情况复杂，检测道路车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选的技术问题。基于上述理由本专利技术可在目标检测等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术训练神经网络和检测流程示意图。图2为本专利技术检测方法角点池化层处理原理图。图3为本专利技术检测方法角点配对原理图。图4为本专利技术检测方法角点补全原理图。图5为本专利技术检测方法角点池化模块性能对比图。图6为本专利技术检测方法角点配对模块性能对比图。图7为本专利技术实施例使用多目标角点池化模块和角点匹配模块的神经网络对车辆的检测结果示意图。图8为本专利技术实施例未使用多目标角点池化模块和角点匹配模块的神经网络对车辆的检测结果示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤本文档来自技高网...

【技术保护点】
1.一种基于多目标角点池化神经网络的被遮挡车辆检测方法，其特征在于，包括以下步骤：步骤S1：获取MS COCO目标检测数据集，制作MS COCO车辆图像数据集；步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架，采集整个网络最后一层的特征并将其传输到残差模块；步骤S3：对传输到残差模块的特征进行多目标角点池化操作，生成图像内各车辆的角点对、嵌入矢量和映射偏差特征；步骤S4：设计损失函数，并利用Adam算法进行优化；步骤S5：角点配对模块对步骤S3中经过多目标角点池化操作得到的特征进行角点对配对处理，若存在未配对角点，则通过角点补全模块进行补全处理，最后生成车辆检测框，得出车辆的检测结果。

【技术特征摘要】
1.一种基于多目标角点池化神经网络的被遮挡车辆检测方法，其特征在于，包括以下步骤：步骤S1：获取MSCOCO目标检测数据集，制作MSCOCO车辆图像数据集；步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架，采集整个网络最后一层的特征并将其传输到残差模块；步骤S3：对传输到残差模块的特征进行多目标角点池化操作，生成图像内各车辆的角点对、嵌入矢量和映射偏差特征；步骤S4：设计损失函数，并利用Adam算法进行优化；步骤S5：角点配对模块对步骤S3中经过多目标角点池化操作得到的特征进行角点对配对处理，若存在未配对角点，则通过角点补全模块进行补全处理，最后生成车辆检测框，得出车辆的检测结果。2.根据权利要求1所述的基于多目标角点池化神经网络的被遮挡车辆检测方法，其特征在于，所述步骤S1的具体步骤如下：步骤S101：下载MSCOCO目标检测数据集，分别提取训练数据集、验证数据集和测试数据集中的车辆类别图片和对应标签；步骤S102：将验证数据集和训练数据集中全部车辆类别图片用于模型训练，将测试数据集平均分成两部分，一部分用来做消融实验，另一部分用来评估模型性能。3.根据权利要求1所述的基于多目标角点池化神经网络的被遮挡车辆检测方法，其特征在于，所述步骤S2的具体步骤如下：步骤S201：选取由两个沙漏模块组成的沙漏网络作为基石网络，获取图像内的全局特征和局部特征；步骤S202：将沙漏网络内的最大池化层替换为步长为2的卷积核，降低特征分辨率；步骤S203：将沙漏网络深度设置为102，采集整个网络最后一层的特征并将其传输到预测模块。4.根据权利要求1所述的基于多目标角点池化神经网络的被遮挡车辆检测方法，其特征...

【专利技术属性】
技术研发人员：郝立颖，栗杰，郭戈，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁,21