一种基于迁移学习深层网络融合模型的货车品牌分类方法技术

本发明专利技术公开了一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，包括：采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测；构建Inception V3‑MMD网络模型，并基于车脸图像获取车辆品牌特征向量F

【技术实现步骤摘要】
一种基于迁移学习深层网络融合模型的货车品牌分类方法
本专利技术属于智能交通、智慧高速研究领域，具体涉及一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法。
技术介绍
车辆检测技术是智能交通系统中重要的一环，广泛应用于各种交通场景，无论对于交通执法、交通流检测，还是ETC不停车收费系统，该技术对于解决交通难题起着重大作用。传统的车辆检测技术大多基于车辆的颜色特征和纹理特征，基于颜色特征的车辆检测方法计算简单，实时性高，但鲁棒性较差；基于纹理特征的车辆检测方法对噪声的鲁棒性较高，检测效果较好。随着计算机视觉和GPU等技术的快速发展，基于卷积神经网络的车辆检测及识别技术得到迅速发展。计算机的图像处理能力得到了大幅度提高，随之而来的是深度学习的快速发展。深度学习相比于传统的机器学习算法相比，不需要手动的提取特征，因此具有良好的普适性和自适应性。与此同时，由于深度学习的方法相对于机器学习的方法参数量大大提高，对数据量的要求也大大提高，从头训练一个网络往往需要几百万甚至上千万的数据量，这对于单一检测或识别任务来说几乎是不可能的。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，提供一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其利用基于最大均值差异(MMD)迁移学习的深度学习方法有效地对货车车辆品牌类型进行识别和分类，可对高速公路场景中货车智慧收费系统提供技术支持。技术方案：为实现上述目的，本专利技术提供一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，包括如下步骤：S1：获取货车图像，采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测，构建货车车脸图像集；S2：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的InceptionV3-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FI；S3：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Xception-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FX；S4：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的DenseNet-201-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FD；S5：采用特征串联融合规则，将获取的车脸图像特征向量FI、FX和FD进行融合，得到车辆品牌融合特征向量FC；S6：构建用于货车车辆品牌类型分类的基于最大均值差异迁移学习的深层网络融合模型的输出层，并根据获取的车型融合特征向量FC对货车品牌进行识别分类。进一步的，所述步骤S1中采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测的具体步骤如下：S1-1：输入待检测图片；S1-2：提取图片EOH特征：S1-3：计算组件数为1部件数为2的DPM检测模型中的根滤波器对提取出的EOH特征的响应值，并计算各部件滤波器响应值和变形花费；S1-4：计算总分，若总分大于阈值则检测到货车车脸，反之未检测到车脸。进一步的，所述步骤S1-2中图片EOH特征的提取步骤如下：①图像灰度化；②采用Sobel运算得到(x，y)点的dx和dy；③计算所有边缘点的边缘方向，θ(x，y)＝tan-1(fy/dx)；④将图像分成16×16大小的单元格；⑤将边缘方向等分为16份，记为16个bin，然后统计每个bin的边缘点数量，构成边缘方向直方图，统计得到一个单元格内的边缘方向直方图；⑥将所有单元格的边缘方向直方图串联，得到整张图片的特征描述子。进一步的，所述基于最大均值差异迁移学习的InceptionV3-MMD网络模型的构建方法为：基于InceptionV3-MMD的货车车辆品牌分类模型，在InceptionV3的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络模型输入为三通道图像，每个block代表一组计算，前两组为卷积计算，一组卷积计算中包含若干卷积层和一个池化层，完成2个Block卷积计算后，与Inception单元相连，Block3中使用3个InceptionA单元，Block4中使用1个InceptionB单元，Block5中使用4个InceptionC单元，Block6中使用1个InceptionD单元，Block7中使用2个InceptionE单元。所述步骤S2中车辆品牌特征向量FI的提取步骤为：对于基于InceptionV3-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，采用卷积层-卷积层-卷积层-池化层-卷积层-卷积层-池化层的结构，池化之后加入3个InceptionA单元，之后连接1个InceptionB单元，之后再连接4个InceptionC单元，之后连接1个InceptionD单元，之后连接2个InceptionE单元，最后得到2048维的输出特征。进一步的，所述步骤S3中基于最大均值差异迁移学习的Xception-MMD网络模型的构建方法为：基于Xception-MMD的货车车辆品牌分类模型，在Xception的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络包括输入模块、中间模块和输出模块，分别包含三个深度可分卷积单元，八个深度可分卷积单元，一个深度可分卷积单元，模型输入为三通道图像，输出模块在深度可分卷积单元后进行两次深度可分卷积运算并进行全局平均最大池化，得到特征向量，输入全连接层，用逻辑回归进行分类。所述步骤S3中车辆品牌特征向量FX的提取步骤为：对于基于Xception-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，先进行两次卷积核为3×3的卷积运算并经过激活函数提高非线性，之后连接深度可分卷积运算单元，每一个运算单元都包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，输入模块得到特征图，中间模块是8个一样的深度可分卷积运算单元相连，每一个运算单元都包含3次带ReLU激活函数的3×3深度可分卷积运算，输出模块是一个深度可分卷积运算单元，运算单元包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，之后进行2次带ReLU激活函数的3×3深度可分卷积运算，得到2048维的输出特征。进一步的，所述步骤S4中基于最大均值差异迁移学习的DenseNet-201-MMD网络模型的构建方法为：基于DenseNet-201-MMD的货车车辆品牌分类模型，在DenseNet-201的基础上在最后一层全连接层加入基于MMD的迁移学习，DenseNet-201第一层为卷积层，之后进行池化，之后连接1个Block单元，1个过渡层，依此类推，总共有4个Block层和4个过渡层，最后连接分类层，包括1个全局平均池化层和基于MMD迁移学习的全连接层以及Softmax层。所述步骤S4中车辆品牌特征向量FD的提取步骤为：对于基于DenseNet-201-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，经过4个密集连接的Block，以及每两个Block之间的一个过渡层，过渡层包括一个BN层、一个1×1的卷积层本文档来自技高网...

【技术保护点】
1.一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：包括如下步骤：/nS1：获取货车图像，采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测，构建货车车脸图像集；/nS2：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Inception V3-MMD网络模型，并基于车脸图像获取车辆品牌特征向量F

【技术特征摘要】
1.一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：包括如下步骤：
S1：获取货车图像，采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测，构建货车车脸图像集；
S2：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的InceptionV3-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FI；
S3：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Xception-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FX；
S4：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的DenseNet-201-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FD；
S5：采用特征串联融合规则，将获取的车脸图像特征向量FI、FX和FD进行融合，得到车辆品牌融合特征向量FC；
S6：构建用于货车车辆品牌类型分类的基于最大均值差异迁移学习的深层网络融合模型的输出层，并根据获取的车型融合特征向量FC对货车品牌进行识别分类。


2.根据权利要求1所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S1中采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测的具体步骤如下：
S1-1：输入待检测图片；
S1-2：提取图片EOH特征：
S1-3：计算组件数为1部件数为2的DPM检测模型中的根滤波器对提取出的EOH特征的响应值，并计算各部件滤波器响应值和变形花费；
S1-4：计算总分，若总分大于阈值则检测到货车车脸，反之未检测到车脸。


3.根据权利要求2所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S1-2中图片EOH特征的提取步骤如下：
①图像灰度化；
②采用Sobel运算得到(x，y)点的dx和dy；
③计算所有边缘点的边缘方向，θ(x，y)＝tan-1(dy/dx)；
④将图像分成16×16大小的单元格；
⑤将边缘方向等分为16份，记为16个bin，然后统计每个bin的边缘点数量，构成边缘方向直方图，统计得到一个单元格内的边缘方向直方图；
⑥将所有单元格的边缘方向直方图串联，得到整张图片的特征描述子。


4.根据权利要求1所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述基于最大均值差异迁移学习的InceptionV3-MMD网络模型的构建方法为：基于InceptionV3-MMD的货车车辆品牌分类模型，在InceptionV3的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络模型输入为三通道图像，每个block代表一组计算，前两组为卷积计算，一组卷积计算中包含若干卷积层和一个池化层，完成2个Block卷积计算后，与Inception单元相连，Block3中使用3个InceptionA单元，Block4中使用1个InceptionB单元，Block5中使用4个InceptionC单元，Block6中使用1个InceptionD单元，Block7中使用2个InceptionE单元。


5.根据权利要求4所述的一种基于迁移学习深层网络融...

【专利技术属性】
技术研发人员：赵池航，郑有凤，钱倩，化丽茹，李昊，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32