一种基于多任务卷积神经网络的车辆属性识别方法技术

本发明专利技术提供了一种基于多任务卷积神经网络的车辆属性识别方法，包括训练过程和识别过程两部分，具体过程包括：获取待识别车辆图片、设计多任务卷积神经网络结构并训练车辆属性识别的网络模型、识别车辆类型并回归车辆车窗位置坐标、设计车辆图像掩膜并生成新车辆图像、提取新车辆图像的多任务卷积神经网络特征、训练SVM分类模型，识别车辆颜色。本发明专利技术的优点在于：无需用户手动定义特征再分类，多任务卷积神经网络结构能够同时接收并处理多个任务，并在多任务卷积神经网络的基础上，获得车辆图像中车辆的结构信息，以实现有效的车辆颜色识别方法，提高其识别准确度，从而为智能交通提供准确的依据。

【技术实现步骤摘要】

本申请涉及智能交通系统领域和计算机视觉
，尤其涉及一种基于多任务卷积神经网络的车辆类型和车辆颜色识别方法。
技术介绍
目前，在识别图片中的具体内容时，通常包括如下步骤：第一步，在图片中检测感兴趣物体的位置，比如，若要进行车辆的属性识别则需要先使用一个检测器将这辆车从图片中检测出来，检测器的输出结果为该车在图片中的坐标；第二步，将该车按照坐标位置从原图中剪切下来，将剪切后的图片放到分类器中，分类器的输出结果为这辆车的识别结果。在第二步中，通常是将输入的原始图片像素值转化为人工定义的特征(Human-handcraftedFeatures)，比如：方向梯度直方图(HOG，HistogramofOrientedGradient)、局部二值模式(LBP，LocalBinaryPattern)、尺度不变性特征(SIFT，Scale-invariantFeatureTransform)等特征，然后将这些变换得到的特征作为分类器的输入，得到相应的分类结果，即物体的识别结果。采用这种方式进行识别，所采用的分类特征比较单一，不足以完整的刻画描述物体，特别是难以区分相似度较高的物体，导致识别准确率下降。现有技术中，图像识别时，由于提取的特征表达能力不足，导致识别精度下降。因此，在图像识别领域，技术人员致力于从图片中提取具有足够强的表达能力的特征训练分类器，以提高识别准确率。在智能交通系统中，车辆属性信息的重要性愈加明显，诸如车辆类型、车辆颜色等属性信息在视频监控、公安破案、道路场景分析、城市公共安全等诸多应用中作用非凡。因此，本申请实施例致力于获得更精确的车辆属性信息，使其能够在智能交通系统中发挥重要作用。
技术实现思路
本申请实施例提出一种基于多任务卷积神经网络的车辆属性识别方法，以解决现有技术中的图像识别方法识别准确率较低的技术问题。本专利技术是通过以下技术方案解决上述技术问题的：一种基于多任务卷积神经网络的车辆属性识别方法，其特征在于，包括如下步骤：步骤11：获取待识别车辆图像；步骤12：利用多任务卷积神经网络训练车辆属性识别的多任务网络模型；所述多任务卷积神经网络是在同一个卷积神经网络中同时识别车辆多个属性，所述多任务卷积神经网络的网络结构包括卷积层、池化层和全连接层，所述卷积层的后面连接所述池化层，所述池化层的后面连接所述全连接层，所述全连接层包含三组并行部分，每组并行部分又包含三个首尾连接的全连接层，每组并行部分分别对应所述车辆类型信息、车辆颜色信息和车窗位置信息，每组并行部分的最后一个全连接层的每个输出节点为所述车辆图像的车辆类型概率、车辆颜色概率和车窗位置坐标点预测值；步骤13：根据所述车辆类型和车窗位置的概率确定所述待识别车辆图像的车辆类型和车窗位置；步骤14：根据所述多任务卷积神经网络得到的车辆类型结果以及所述车辆车窗位置信息设计不同掩膜，所述掩膜为与车辆图像尺寸相同的二进制矩阵；将所述掩膜和车辆图像点乘得到加入所述掩膜的新车辆图像；利用所述多任务卷积神经网络提取所述新车辆图像在第二个池化层的特征；将提取的所述特征输入至分类器中训练分类模型；步骤15：根据所述分类器结果确定车辆颜色信息。作为优化的技术方案，所述步骤14中，所述分类器是SVM分类器。作为优化的技术方案，所述步骤12中，所述多任务卷积神经网络训练步骤具体包括：步骤122：获取带有标签的车辆图像样本；所述标签为多个标签，包括车辆的类型信息、颜色信息和车窗位置信息；步骤123：对获取的所述车辆图像样本准备其训练标签，按多标签的格式生成TXT训练标签；步骤124：对获取的车辆图像样本进行预处理；步骤125：设计所述多任务卷积神经网络结构；步骤126：利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像样本的进行车辆类型识别和车窗回归；步骤127：根据多任务卷积神经网络每一个属性的输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。作为优化的技术方案，步骤123中，所述多标签的格式为“车辆图片名车辆类型标签车辆颜色标签车辆车窗位置坐标”，其中除车辆图片名之外的标签顺序可以任意调整，对获取的车辆图像样本进行预处理包括数据增强、中心化以及resize操作。作为优化的技术方案，所述步骤126具体为：利用预先设置有初始参数的卷积核与所述车辆图像进行卷积计算；经过池化层的池化操作，然后连接至车辆颜色的全连接层的全连接操作，得到所述车辆图像样本车辆颜色属性概率，同时也在所述池化层操作之后继续连接所述卷积层和所述池化层，在所述池化层之后，分别连接至用于车辆类型识别和车辆车窗位置回归的全连接层；所述利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像车窗位置进行回归具体操作是将所述全连接层的输出数目改为车窗位置的坐标点个数；所述根据所述多任务卷积神经网络输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。作为优化的技术方案，所述训练所述多任务卷积神经网络的参数的过程具体为：当所述车辆属性概率与所述车辆的属性信息之间存在差异或者车辆车窗位置的输出概率与所述车辆车窗位置信息之间存在差异时，调整所述卷积核的参数，直至输出的车辆属性概率与所述车辆的属性信息相符或者输出的车辆车窗位置与所述车辆车窗位置信息相符。作为优化的技术方案，所述步骤14中根据所述多任务卷积神经网络预测的车辆类型和回归的车辆车窗位置的结果设计掩膜，根据所述图像掩膜和所述带标签的车辆图像样本做点乘运算，得到新车辆图像，具体为：初始化掩膜矩阵为全1矩阵，并使其与所述车辆图像尺寸相同，然后根据所述多任务卷积神经网络预测的车辆类型结果和回归的车辆车窗位置结果，找出车辆图像的边缘部分、车窗部分以及其他与车辆颜色信息无关的部分在掩膜矩阵中的相应位置，并将掩膜矩阵中这些位置的元素置零；然后将此掩膜矩阵和所述车辆图像矩阵点乘，得到新车辆图像样本。作为优化的技术方案，所述多任务卷积神经网络的网络结构具体为：所述多任务卷积神经网络的网络结构为能够处理多任务的网络模型，共5层卷积层、3个池化层和9个全连接层；整个多任务卷积神经网络等同于共有三个支路，分别对应车辆车型识别、车辆颜色识别、车窗位置回归三个任务；三个任务共用第一、二层所述卷积层和所述池化层，对于所述车辆颜色识别任务，直接在第二个所述池化层之后连接三个所述全连接层，最后一个所述全连接层的输出个数为所述车辆颜色类别总数目；对于所述车辆类型识别和所述车辆车窗位置回归任务，则继续共用连接三个所述卷积层，随后连接所述池化层，在所述池化层之后，分别连接三个所述全连接层，相应的最后一个全连接层的输出个数分别对应车辆类型的分类数目和车辆车窗位置的坐标个数；在卷积层，将所述待识别的车辆图像与预先训练得到的卷积核进行卷积计算，输出一个或多个特征图像；在池化层，对所述卷积层的输出进行池化操作；在全连接层，对所述上一层的输出进行全连接操作，所述最后的全连接层的输出节点个数与相应的车辆类型和车辆颜色的分类数目以及车辆车窗位置的坐标点个数相同；对所述最后的全连接层本文档来自技高网...

【技术保护点】
一种基于多任务卷积神经网络的车辆属性识别方法，其特征在于，包括如下步骤：步骤11：获取待识别车辆图像；步骤12：利用多任务卷积神经网络训练车辆属性识别的多任务网络模型；所述多任务卷积神经网络是在同一个卷积神经网络中同时识别车辆多个属性，所述多任务卷积神经网络的网络结构包括卷积层、池化层和全连接层，所述卷积层的后面连接所述池化层，所述池化层的后面连接所述全连接层，所述全连接层包含三组并行部分，每组并行部分又包含三个首尾连接的全连接层，每组并行部分分别对应所述车辆类型信息、车辆颜色信息和车窗位置信息，每组并行部分的最后一个全连接层的每个输出节点为所述车辆图像的车辆类型概率、车辆颜色概率和车窗位置坐标点预测值；步骤13：根据所述车辆类型和车窗位置的概率确定所述待识别车辆图像的车辆类型和车窗位置；步骤14：根据所述多任务卷积神经网络得到的车辆类型结果以及所述车辆车窗位置信息设计不同掩膜，所述掩膜为与车辆图像尺寸相同的二进制矩阵；将所述掩膜和车辆图像点乘得到加入所述掩膜的新车辆图像；利用所述多任务卷积神经网络提取所述新车辆图像在第二个池化层的特征；将提取的所述特征输入至分类器中训练分类模型；步骤15：根据所述分类器结果确定车辆颜色信息。...

【技术特征摘要】
1.一种基于多任务卷积神经网络的车辆属性识别方法，其特征在于，包括如下步骤：步骤11：获取待识别车辆图像；步骤12：利用多任务卷积神经网络训练车辆属性识别的多任务网络模型；所述多任务卷积神经网络是在同一个卷积神经网络中同时识别车辆多个属性，所述多任务卷积神经网络的网络结构包括卷积层、池化层和全连接层，所述卷积层的后面连接所述池化层，所述池化层的后面连接所述全连接层，所述全连接层包含三组并行部分，每组并行部分又包含三个首尾连接的全连接层，每组并行部分分别对应所述车辆类型信息、车辆颜色信息和车窗位置信息，每组并行部分的最后一个全连接层的每个输出节点为所述车辆图像的车辆类型概率、车辆颜色概率和车窗位置坐标点预测值；步骤13：根据所述车辆类型和车窗位置的概率确定所述待识别车辆图像的车辆类型和车窗位置；步骤14：根据所述多任务卷积神经网络得到的车辆类型结果以及所述车辆车窗位置信息设计不同掩膜，所述掩膜为与车辆图像尺寸相同的二进制矩阵；将所述掩膜和车辆图像点乘得到加入所述掩膜的新车辆图像；利用所述多任务卷积神经网络提取所述新车辆图像在第二个池化层的特征；将提取的所述特征输入至分类器中训练分类模型；步骤15：根据所述分类器结果确定车辆颜色信息。2.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤14中，所述分类器是SVM分类器。3.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤12中，所述多任务卷积神经网络训练步骤具体包括：步骤122：获取带有标签的车辆图像样本；所述标签为多个标签，包括车辆的类型信息、颜色信息和车窗位置信息；步骤123：对获取的所述车辆图像样本准备其训练标签，按多标签的格式生成TXT训练标签；步骤124：对获取的车辆图像样本进行预处理；步骤125：设计所述多任务卷积神经网络结构；步骤126：利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像样本的进行车辆类型识别和车窗回归；步骤127：根据多任务卷积神经网络每一个属性的输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。4.根据权利要求3所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，步骤123中，所述多标签的格式为“车辆图片名车辆类型标签车辆颜色标签车辆车窗位置坐标”，其中除车辆图片名之外的标签顺序可以任意调整，对获取的车辆图像样本进行预处理包括数据增强、中心化以及resize操作。5.根据权利要求3所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤126具体为：利用预先设置有初始参数的卷积核与所述车辆图像进行卷积计算；经过池化层的池化操作，然后连接至车辆颜色的全连接层的全连接操作，得到所述车辆图像样本车辆颜色属性概率，同时也在所述池化层操作之后继续连接所述卷积层和所述池化层，在所述池化层之后，分别连接至用于车辆类型识别和车辆车窗位置回归的全连接层；所述利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像车窗位置进行回归，具体操作是将所述全连接层的输出数目改为车窗位置的坐标点个数；所述根据所述多任务卷积神经网络输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。6.根据权利要求5所述的基于多任务卷积神经网络的车辆属性识别方法，其特...

【专利技术属性】
技术研发人员：李成龙，孙想，汤进，王文中，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34