一种基于单网络多任务学习的车辆多属性检测方法技术

本发明专利技术公开了一种基于单网络多任务学习的车辆多属性检测方法，该方法包括：图片收集与筛选；数据集制作；网络设计，基于Darknet深度学习框架，根据车辆多属性的特点采用端到端的、一阶段非级联模式设计网络结构，搭建网络模型；模型训练，设定并调整模型参数，根据设计的网络模型训练车辆多属性数据集，并在训练时，进行数据增强和多尺度训练；模型测试和模型评估六个步骤。本发明专利技术基于Darknet的深度学习框架平台进行设计、搭建网络模型，是一种端到端的一阶段非级联结构，网络通过采用数据增强、卷积核分离、多尺度特征融合等技术，提升了车辆多属性的检测效果，在实现较高检测精确率和查全率的同时，具有较好的实时性。

A Vehicle Multi-Attribute Detection Method Based on Single Network and Multi-task Learning

The invention discloses a vehicle multi-attribute detection method based on single-network multi-task learning, which includes: image collection and screening; data set production; network design, based on Darknet deep learning framework, according to the characteristics of multi-attribute of vehicles, adopts end-to-end, one-stage non-cascade mode to design network structure and build network model; model training, setting and adjusting model. According to the designed network model, the vehicle multi-attribute data sets are trained, and data enhancement and multi-scale training are carried out during the training. There are six steps: model testing and model evaluation. The invention designs and builds a network model based on Darknet's in-depth learning framework platform, which is an end-to-end one-stage non-cascade structure. By adopting data enhancement, convolution core separation, multi-scale feature fusion and other technologies, the network improves the detection effect of vehicle multi-attribute, achieves higher detection accuracy and recall, and has better real-time performance.

【技术实现步骤摘要】
一种基于单网络多任务学习的车辆多属性检测方法
本专利技术涉及计算机视觉方向的目标检测
，具体是指一种基于单网络多任务学习的车辆多属性检测方法。
技术介绍
随着经济的不断发展，汽车已成为人们最主要的交通工具，在给人们提供便利的同时，其导致的道路交通拥堵、车辆监管等问题也日趋严重。智能交通系统、车辆监管系统已普遍被大众所认可，作为智慧城市的一部分，其主要应用于道路交通管理、公安刑侦调查、停车场监控、小区智能管理等方面。随着信息化时代的到来，如何高效地做到车辆实时检测(即车辆的定位与识别)、人车精确匹配是智能车管理亟待解决的问题。传统的车辆识别方法主要以车牌检测为主，但是车牌磨损、遮挡、易变动和受光照环境等影响成为其有效检测的绊脚石，另外在刑侦领域，仅仅依靠车牌单一属性的检测已不足以精确识别车辆的真实身份，在此情况下，车辆多属性识别技术的应用则显得异常重要，它可以弥补车牌等单属性识别的不足，从而进一步提高智能交通系统和车管系统的可靠性。现有的车辆属性检测技术主要是基于传统的图形处理算法，其准确率低、漏检性高且实时性差；近年来，随着深度学习的高速发展，基于神经网络进行车辆属性识别的技术越来越多，但是多属性的识别研究依旧很少；并且现有的“基于多任务学习的车辆多属性识别”技术的准确率、查全率和实时性仍难令人满意，无法对车辆属性进行准确检测。申请号CN201610067290.0，一种基于深度学习的车辆多属性联合分析方法与申请号CN201711107713.8，一种基于卷积神经网络的细粒度车辆多属性识别方法都将多任务学习方法的内部监听机制和权值共享策略引入深度卷积神经网络，以期实现车辆多属性联合分析，然而第一：两者的基础网络都是简单的直连网络，且都没有考虑网络对诸如车身车型、车牌等不同属性尺度差异的适应性；第二，两个网络都使用了较大尺寸的卷积核，导致网络参数过多，容易过拟合；第三，训练过程中没有根据实际场景对数据图片进行数据增强处理(dataaugmentation)，导致网络的鲁棒性差，泛化能力弱。综上所述，已有车辆多属性检测技术存在如下缺陷：(1)没有考虑车辆不同属性的尺度差异问题。(2)网络所使用的卷积核尺寸过大，导致网络训练的参数过多，计算量增大的同时极易出现过拟合。(3)没有考虑实际场景下车辆照片易受分辨率、旋转角度、饱和度、曝光度、色调等因素的影响。(4)以上三个方面的缺陷导致车辆多属性检测复杂性高、准确率低、漏检率高、实时性差。
技术实现思路
本专利技术的目的在于提供一种基于单网络多任务学习的车辆多属性检测方法，该方法基于Darknet的深度学习框架平台进行设计、搭建网络模型，采用一种端到端的一阶段非级联结构，网络通过采用数据增强技术、卷积核分离技术以及多尺度特征融合技术，提升车辆多属性的检测效果，在实现较高检测精确率和查全率的同时，具有较好的实时性。本专利技术通过下述技术方案实现：一种基于单网络多任务学习的车辆多属性检测方法，该方法包括：步骤一：图片收集与筛选；步骤二：数据集制作，根据VOC标准数据集格式制作车辆多属性数据集；步骤三：网络设计，基于Darknet深度学习框架，根据车辆多属性的特点采用端到端的、一阶段非级联模式设计网络结构，搭建网络模型；步骤四：模型训练，设定并调整模型参数，根据设计的网络模型训练车辆多属性数据集，并在训练时，进行数据增强和多尺度训练；步骤五：模型测试，利用训练好的网络模型进行车辆多属性测试；步骤六：模型评估。进一步的为了更好的实现本专利技术，所述步骤一利用监控摄像，获取车辆照片。作为优选方案，采用小区监控摄像，以便获取实际场景下的车辆照片。获取并筛选后的车辆照片包括轿车、SUV、MPV等各种车型的15种常见品牌种类的车辆照片。进一步的为了更好的实现本专利技术，对获取的车辆照片进行人工初筛，筛除车辆背景区域较大、车辆属性严重模糊不清的车辆照片。进一步的为了更好的实现本专利技术，所述步骤二具体实现过程如下：利用LabelImg工具，根据深度学习标准VOC数据集格式制作车辆多属性数据集，并将车辆多属性数据集按10:1的比例分为训练集和测试集。进一步的为了更好的实现本专利技术，所述车辆数据集的具体制作方法如下：首先新建Annotation、ImageSets以及JPEGImages三个文件夹，ImageSets文件夹中包括Main文件夹，设定车标图片目录与.xml标签文件目录，设定车辆属性标签名，将步骤一中获取并筛选后的车辆照片均存入JPEGImages文件夹中。打开LabelImg工具对车辆照片进行多属性标注，并将生成的.xml文件中的样本图片名称以10:1的比例分别存入trainval.txt与test.txt文件中，然后将trainval.txt与test.txt文件存入Main文件夹。.xml文件存入Annotation文件夹中。进一步的为了更好的实现本专利技术，所述步骤三的具体实现过程如下：以Darknet深度学习框架为平台，根据车辆多属性的特点，采用端到端的模式设计主干网络，作为优选方案，设计的主干网络包括16个不同卷积层(每层卷积层后添加BatchNormalization层和相应的激活层)和3个不同的最大值池化层，主干网络分别由包含1、3、5、7个不同卷积层的四个Block(块)组成，相邻Block之间各有一个最大值池化层进行上下连接；为模拟实际场景下车辆照片的复杂性，提高模型的泛化能力，在主干网络前(训练样本输入后)，设有样本数据增强模块，从颜色与光照、旋转角度、噪声干扰等三方面对样本数据进行增强处理；为减少参数、降低计算量，在各卷积层中利用卷积核分离技术，将大卷积核拆分成两个或两个以上的小卷积核的级连，作为优选方案，本专利技术的卷积层全部使用1*1和3*3的卷积核进行交替连接，并以此代替尺寸超过3*3的较大的卷积核；输入图片尺寸固定resize为416*416*3，针对车辆的不同属性(即车标、车牌、车型)的特点，采用多尺度特征融合的方法，将特征层13*13*1024(如图4中序号第19)、13*13*256(如图4中序号第21)、13*13*256(如图4中序号第23)三个支路融合组成13*13*1536(如图4中序号第25)的特征层，融合后的特征层13*13*1536经过最后一个的卷积层变换，输出相应的检测维度(含softmax分类、定位的结果数据)13*13*N(N与样本类别数等有关，本专利技术的N为135，如图4中序号第25)；为有效降低模型的复杂度并提高精确性，本专利技术同时采用一阶段非级联结构设计模式，即利用预测框(anchorbox)同时预测类别和坐标，将最终特征图划分为S*S的格子(gridcell)，作为优选方案，本专利技术为13*13，每个格子预测B个边界框(boundingbox)和C类判别属性，最终输出S*S*[B*(5+C)]维向量(这里的S*S*[B*(5+C)]与网络输出13*13*N相互对应，5表示每个框的4个坐标和1个置信度，置信度为格子在包含目标情况下的IOU，设真实框(groundtruth)为A，预测框(anchorbox)为B，则IOU＝A∩B/A∪B)，每个边界框通过对应格子的类别概率和该box置信度相乘得到该类别的置信分数，先滤掉置信分数低的b本文档来自技高网...

【技术保护点】
1.一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：该方法包括：步骤一：图片收集与筛选；步骤二：数据集制作，根据VOC标准数据集格式制作车辆多属性数据集；步骤三：网络设计，基于Darknet深度学习框架，根据车辆多属性的特点采用端到端的、一阶段非级联模式设计网络结构，搭建网络模型；步骤四：模型训练，设定并调整模型参数，根据设计的网络模型训练车辆多属性数据集，并在训练时，进行数据增强和多尺度训练；步骤五：模型测试，利用训练好的网络模型进行车辆多属性测试；步骤六：模型评估。

【技术特征摘要】
1.一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：该方法包括：步骤一：图片收集与筛选；步骤二：数据集制作，根据VOC标准数据集格式制作车辆多属性数据集；步骤三：网络设计，基于Darknet深度学习框架，根据车辆多属性的特点采用端到端的、一阶段非级联模式设计网络结构，搭建网络模型；步骤四：模型训练，设定并调整模型参数，根据设计的网络模型训练车辆多属性数据集，并在训练时，进行数据增强和多尺度训练；步骤五：模型测试，利用训练好的网络模型进行车辆多属性测试；步骤六：模型评估。2.根据权利要求1所述的一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：所述步骤一利用监控摄像，获取实际场景下的车辆照片。3.根据权利要求1或2所述的一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：对获取的车辆照片进行人工初筛，筛除车辆背景区域大、车辆属性严重模糊的车辆照片。4.根据权利要求1所述的一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：所述步骤二具体实现过程如下：利用LabelImg工具，根据深度学习标准VOC数据集格式制作车辆多属性数据集，并将车辆多属性数据集按10:1的比例分为训练集和测试集。5.根据权利要求4所述的一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：所述车辆数据集的具体制作方法如下：新建Annotation、ImageSets以及JPEGImages文件夹，ImageSets文件夹中包括Main文件夹，设定车标图片目录与.xml标签文件目录，设定车辆属性标签名，将步骤一获取并筛选后的车辆照片存入JPEGImages文件夹中，打开LabelImg工具对车辆照片进行多属性标注，并将生成的.xml文件中的样本图片名称存入trainval.txt与test.txt文件中，将trainval.txt与test.txt文件存入Main文件夹。6.根据权利要求1所述的一种基于单网络多任务学习的车辆多属性检测方法，其特征在于：所述步骤三的具体实现过程如下：以Darknet深度学习框架为平台，根据车辆多属性的特点，采用端到端的结构设计主干网络，并在主干网络的每层卷积层后添加BatchNormalization层和相应的激活层，然后利用卷积核分离技术将大卷积核拆分成两...

【专利技术属性】
技术研发人员：候少麒，殷光强，石方炎，向凯，杨晓宇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51