一种用于精细化识别车辆属性的深度神经网络及训练方法技术

本发明专利技术公开了一种用于精细化识别车辆属性的深度神经网络及训练方法，该网络包括：深度残差网络，用于对输入的图片进行特征提取，得到特征图；特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之适应于特定的任务；多个全连接层，对应各属性识别任务分支，连接于特征迁移层，以得到对应各属性识别任务的特征向量；多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失；多个参数更新单元，对应于各属性识别任务，连接各损失计算单元，通过随机梯度下降优化算法回传损失，更新参数，本发明专利技术实现了只用一个神经网络就能同时识别多种精细化的车辆属性的目的。

A deep neural network and training method for fine identification of vehicle attributes

The invention discloses a depth neural network and a training method for fine identification of vehicle attributes. The network comprises a depth residual network for feature extraction of input pictures and obtaining feature maps; a feature migration layer including a plurality of feature migration units for migration and sharing of recognition tasks for each attribute. Features are adapted to specific tasks; multiple full-connection layers, corresponding to each attribute recognition task branch, are connected to the feature migration layer to obtain the feature vectors corresponding to each attribute recognition task; multiple loss calculation units, corresponding to each attribute recognition task branch, are connected to each full-connection layer respectively for cross-entropy operations. The method calculates the loss function for the multi-classifier, and a plurality of parameter updating units, corresponding to each attribute recognition task, connect each loss calculation unit, return the loss and update the parameters by the stochastic gradient descent optimization algorithm. The invention realizes the goal of identifying various refined vehicle attributes simultaneously with only one neural network. Yes.

【技术实现步骤摘要】
一种用于精细化识别车辆属性的深度神经网络及训练方法
本专利技术涉及计算机视觉与模式识别
，特别是涉及一种用于精细化识别车辆属性的深度神经网络及其训练方法。
技术介绍
车辆精细化属性识别技术是智能交通安防领域的一项基本技术，识别车辆属性可以提高计算机对目标车辆的理解，有助于解决一些更难的交通安防领域问题，比如车辆自动检索，车辆重识别。车辆属性识别是计算机视觉与模式识别中的一个经典问题，识别的车辆属性一般有车辆的颜色、车辆的类型、车辆的品牌厂商等，技术应用的场景一般在道路摄像中，识别过往车辆的精细化属性，对车辆分类标签化。解决这类问题的关键技术是图像识别分类算法，其难点在于光照、尺度、遮挡对识别精度的影响。早期采用的车辆属性识别技术以手工特征加上机器学习分类器为主，效果比较好的有采用尺度不变特征(SIFT特征)，方向梯度直方图特征(HOG)作为手工特征，用视角词袋框架和支持向量机(SVM)来解决车辆属性分类问题，分别对不同的属性分别建模。后来大家广泛采用深度学习来解决图像分类问题，通过大数据和强大的计算力，用随机梯度下降的优化算法优化网络上千万的参数，让网络很好地提取到车辆的特征，区别于传统方法的是深度网络输出的特征可学，最终通过学习出来的特征要远优于手工特征，这样再用分类器进行分类，效果要比传统的手工特征加上分类器的做法好。深度学习的方法具有很强的学习能力，只要训练数据涉及各类复杂场景(光照、尺度、遮挡)，那模型便能在这些复杂的场景表现出优异的性能。公开号为105678275A的中国专利申请揭示了一种车辆识别方法，其先对图片数据预处理，计算全部图片的平均向量，再计算出每个训练样本图片所构成向量与所述平均向量的差值；然后计算所述训练样本图片的协方差矩阵，根据所述协方差矩阵求出特征向量和特征值并按序排列，用主成分分析法(PCA)提取特征向量，最后用一个BP神经网络作为分类器。公开号为105787466A的中国专利申请揭示了一种车辆类型的精细识别方法及系统，其对获取的原始车辆图像进行灰度化和标准化处理；计算标准化图像每个像素点的梯度和方向；根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码，得到标准化图像的编码向量；根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理，得到车辆图像的最终表达向量，最后用一个SVM对这个特征向量进行车类型分类。公开号为102737221B的中国专利申请提供了一种车辆颜色的识别方法及装置，其根据图像的纹理和结构信息定位车辆颜色识别的参考区域，之后再进行主识别区域和辅助识别区域的识别，主识别区域和辅助识别区域的结果加权投票得出最终的颜色识别的结果。公开号为103544480A的中国专利申请提供了一种车辆颜色识别方法,其通过对参考区域饱和度等特征参数的统计，首先将车辆分为彩色车和黑白银灰色车；若判定结果为彩色车，分离出彩色区域，并对此区域进行颜色识别；若判定结果为黑白银灰车，则将参考区域分割，通过投票的方法确定车辆的颜色。公开号为106203420A的中国专利申请提供了一种卡口车辆颜色识别方法，其用一个深度卷积神经网络，但并非输入一辆完整的汽车图片，输入是颜色识别感兴趣区域，输出是一条特征向量，再用SVM或者softmax对该向量分类。公开号为103500327A的中国专利申请提供了一种基于空间位置信息的同一品牌车辆的车型识别方法，其先定位车牌位置，相对车牌的位置提取N个待测车型的特征区域，计算每个特征区域的特征向量用作分类，这种做法由于有车牌位置的帮助，可以巧妙地避开一些冗余信息，提高分类准确度。公开号为105930812A中国专利申请提供了一种基于融合特征稀疏编码模型的车辆品牌类型识别方法，其认为传统的特征，如Curvelet变换、HOG特征、PHOG特征、Harr特征、EOH特征、Gabor小波等都有各自的局限性，提出了一种融合特征稀疏编码的方法来增强特征的判别力。公开号为105488517A的中国专利申请提供了一种基于深度学习的车辆品牌型号识别方法利用不同城市的高清卡口点位搜集准备了2000多万张抓拍图片，经过人工筛选，根据车辆的品牌型号精确分成三千多类，建立丰富的涵盖各种条件的车辆品牌型号图片数据库。然后再利用车牌识别技术精确定位卡口图片中的车牌位置，根据车牌位置信息准确估计车脸区域，归一化车脸区域。他们设计了一个4个卷积层两个全连接层的卷积神经网络来提取这批数据的特征，然后用SVM做分类器。然而，上述公开号为105678275A、105787466A、103500327A、105930812A的中国专利申请主要用了一些统计和梯度上的低层特征来表征车辆的类型，并没有用到高层的语义特征；公开号为105678275A、105787466A、102737221B、103544480A的中国专利申请都有数据预处理或者结果后处理步骤，但其流程繁琐；公开号为105488517A的中国专利申请是一个大数据车辆品牌识别的方法，运用到了深度学习技术，但其深度网络过于简单，只有四个卷积层和两个全连接层，而且可识别的车辆视角单一，仅限于车前脸的监控车辆图片的品牌识别。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种用于精细化识别车辆属性的深度神经网络及其训练方法，以实现只用一个神经网络就能同时识别多种精细化的车辆属性的目的，节省计算，提高识别时间。为达上述目的，本专利技术提出一种用于精细化识别车辆属性的深度神经网络，包括：深度残差网络，用于对输入的图片进行特征提取，得到特征图，所提取的特征供多个属性识别任务共享；特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之更适应于特定的任务；多个全连接层，对应各属性识别任务分支，连接于所述特征迁移层，以得到对应各属性识别任务的特征向量；多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失，并于损失计算后，通过随机梯度下降优化算法回传损失，更新参数。优选地，所述深度神经网络还包括多个双线性池化单元，连接所述特征迁移层，用于使用双线性池化操作得到判别性更强的特征向量接入全连接层。优选地，对于车类型识别，视角识别，颜色识别类间差距比较大的识别任务，使用通用的深度网络图像分类算法，接入一个全连接层，输出一个1-D的概率向量，长度为分类的类别数目。优选地，对于品牌/子品牌识别任务，使用压缩的双线性池化操作，输入一个特征图，输出一个判别性较强的一维的特征向量，然后用一个全连接层将此特征向量转为长度为分类类别数的概率向量。优选地，每个特征迁移单元包括多个卷积层，每个卷积层采用卷积核，以迁移共享的特征，使之更适应于特定的任务。优选地，每个特征迁移单元包括两个卷积层，每个卷积层采用1*1卷积核。为达到上述目的，本专利技术还提供一种用于精细化识别车辆属性的深度神经网络的训练方法，包括如下步骤：步骤一，利用一数据集训练某一属性识别任务的分类分支以及共享的卷积层，得到判别性较好的预训练模型；步骤二，利用该预训练模型，固定住共享的卷积层，利用不同的数据集用较大的学习率训练每个分支；步骤三，将所有非一致数据集整合至一起变成一个大型本文档来自技高网...

【技术保护点】
1.一种用于精细化识别车辆属性的深度神经网络，包括：深度残差网络，用于对输入的图片进行特征提取，得到特征图，所提取的特征供多个属性识别任务共享；特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之更适应于特定的任务；多个全连接层，对应各属性识别任务分支，连接于所述特征迁移层，以得到对应各属性识别任务的特征向量；多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失，并于损失计算后，通过随机梯度下降优化算法回传损失，更新参数。

【技术特征摘要】
1.一种用于精细化识别车辆属性的深度神经网络，包括：深度残差网络，用于对输入的图片进行特征提取，得到特征图，所提取的特征供多个属性识别任务共享；特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之更适应于特定的任务；多个全连接层，对应各属性识别任务分支，连接于所述特征迁移层，以得到对应各属性识别任务的特征向量；多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失，并于损失计算后，通过随机梯度下降优化算法回传损失，更新参数。2.如权利要求1所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：所述深度神经网络还包括多个双线性池化单元，连接所述特征迁移层，用于使用双线性池化操作得到判别性更强的特征向量接入全连接层。3.如权利要求1所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：对于车类型识别，视角识别，颜色识别类间差距比较大的识别任务，使用通用的深度网络图像分类算法，接入一个全连接层，输出一个一维的概率向量，长度为分类的类别数目。4.如权利要求2所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：对于品牌/子品牌识别任务，使用压缩的双线性池化操作，输入一个特征图，输出一个判别性极强一维的特征向量，然后用一个全连接层将此特征向量转为长度为分类类别数的概率向量。5.如权...

【专利技术属性】
技术研发人员：林倞，周启贤，吴文熙，陈日全，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44