一种基于深度学习融合模型的车辆类型识别方法技术

本发明专利技术公开了一种基于深度学习融合模型的车辆类型识别方法，包括：构建高速公路场景中车辆顶视图图像数据集；构建基于深度学习的高速公路场景中车辆类型检测与识别方法CenterNet，并使用crop函数裁剪车辆目标区域；构建基于深度学习的车辆类型识别模型VTR

【技术实现步骤摘要】
一种基于深度学习融合模型的车辆类型识别方法


[0001]本专利技术属于智能交通、智慧高速研究领域，具体涉及一种基于深度学习融合模型的车辆类型识别方法。

技术介绍

[0002]随着实电子不停车收费系统的研究与应用，实时精确的车辆类型识别不仅能协助交通管理部门高效监控道路情况，及时调整道路资源分配，而且能帮助车辆管理部门掌握车辆实时位置和状态信息，实现车辆定位、追踪、调度等功能。
[0003]在车辆类型识别研究中，传统机器学习方法依赖于人工提取特征及大量训练数据进行学习，在为学习过的车辆类型或拍摄角度上分类性能较差，泛化能力有限，难以应用于实际工程。而深度学习不再使用特征工程，理论上可以映射到任意函数，更加适合解决车辆类型识别这种复杂问题，在实际工程上具有非常大的应用潜力。融合模型能结合各种模型结构特性，兼具多个模型优势，补缺单一模型某些方面的缺陷，提高网络性能。因此，本专利技术提出了一种基于深度学习融合模型的车辆类型识别方法。

技术实现思路

[0004]专利技术目的：为了克服现有技术中存在的不足，提供一种基于深度学习融合模型的车辆类型识别方法，首先构建高速公路场景中车辆顶视图数据集，其次采用CenterNet模型进行车辆类型检测与识别，并使用crop函数获取车辆目标区域，最后利用深度融合神经网络有效地对车辆目标区域进行车辆类型分类，可对高速公路场景中的车辆信息感知提供技术支持。
[0005]技术方案：为实现上述目的，本专利技术提供一种基于深度学习融合模型的车辆类型识别方法，包括如下步骤：
[0006]S1：构建高速公路场景中车辆顶视图图像数据集；
[0007]S2：构建基于深度学习的车辆类型检测与分类模型CenterNet，并使用crop函数获取车辆顶视图中的车辆目标区域；
[0008]S3：构建基于深度学习的车辆类型识别模型VTR
‑
NASNetLarge，获取一维特征向量F
N
；
[0009]S4：构建基于深度学习的车辆类型识别模型VTR
‑
VGG16，获取一维特征向量F
V
；
[0010]S5：构建基于深度学习的车辆类型识别模型VTR
‑
MobileNetV2，获取一维特征向量F
M
；
[0011]S6：将特征向量F
N
、F
V
、F
M
融合，构建基于深度学习车辆类型识别融合模型DFN
‑
VTR，进行车辆类型识别。
[0012]进一步的，所述步骤S1中构建高速公路中车辆顶视图图像数据集的具体方法如下：
[0013]S1
‑
1：根据《收费公路车辆通行费车型分类》将高速公路日常通行收费车辆分为客
车与货车两大类，并根据车辆长度、核载人数、车(轴)型进一步细分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共十种标签；
[0014]S1
‑
2：收集高速公路场景中车辆顶视图图像8331幅，包括S1
‑
1中划分的十种收费车辆类型；
[0015]S1
‑
3：使用数据增强技术进一步丰富数据集，其中包括平移(将图像沿Y轴正方向平移200个像素单位，沿X轴正方向平移150个像素单位)得到432幅，镜像(将图片沿Y轴翻转)得到376幅，添加噪声(添加高斯噪声以模拟电子元件引起的噪声)得到484幅，改变亮度(使用对数变换保持较亮区域对比度的同时增强较暗区域对比度)得到377幅。最终构建高速公路场景中车辆顶视图数据集共10000幅图像数据；其中每种收费车辆类型1000幅，图像包括不同时段不同车道方向不同光线条件的变化；
[0016]S1
‑
4：模型训练前，随机抽取81：9：10比例的图像数据划分训练集、验证集和测试集。
[0017]进一步的，所述步骤S2中构建基于深度学习的车辆类型检测与分类模型CenterNet，并使用crop函数获取车辆顶视图中的车辆目标区域的具体步骤如下：
[0018]S2
‑
1：将车辆顶视图图像数据重整为512
×
512输入CenterNet模型；
[0019]S2
‑
2：将CenterNet模型主干提取网络更换为ResNet网络进行特征图提取；
[0020]S2
‑
3：使用三次通道数为256、128、64的反卷积对S2
‑
2中得到的特征图进行上采样，输出尺寸在128
×
128
×
64的高分辨率特征图；
[0021]S2
‑
4：将上步获得的高分辨率特征图进行三个不同卷积后拆分为热力图预测、中心点宽高预测三支。其中，热力图预测输出特征图尺寸为128
×
128
×
10(10类收费车型)，用于判断一个热力点是否有目标车辆存在及车辆所属收费类型；中心点预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆中心距离热力点偏移情况；宽高预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆宽高；
[0022]S2
‑
5：使用crop函数对检测结果进行ROI提取与裁剪，获得车辆目标区域；
[0023]进一步的，所述步骤S2
‑
5中crop函数具体步骤为：
[0024]①
函数接受检测后待裁剪图像及目标框坐标[top,left,bottom,right]作为输入
[0025]②
为保证裁剪框不超过图像上边界，令：
[0026]top＝max{0,不大于top的最大整数}
[0027]③
为保证裁剪框不超过图像左边界，令：
[0028]left＝max{0,不大于left的最大整数}
[0029]④
为保证裁剪框不超过图像下边界，令：
[0030]bottom＝min{原始图像高度,bottom向下取整}
[0031]⑤
为保证裁剪框不超过图像右边界，令：
[0032]right＝min{原始图像高度,right向下取整}
[0033]进一步的，所述步骤S3中构建基于深度学习的车辆类型识别模型VTR
‑
NASNetLarge，获取一维特征向量F
N
的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入NASNetLarge模型，并在模型的基础上，增加全局平均池化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习融合模型的车辆类型识别方法，其特征在于：包括如下步骤：S1：构建高速公路场景中车辆顶视图图像数据集；S2：构建基于深度学习的车辆类型检测与分类模型CenterNet，并使用crop函数获取车辆顶视图中的车辆目标区域；S3：构建基于深度学习的车辆类型识别模型VTR
‑
NASNetLarge，获取一维特征向量F
N
；S4：构建基于深度学习的车辆类型识别模型VTR
‑
VGG16，获取一维特征向量F
V
；S5：构建基于深度学习的车辆类型识别模型VTR
‑
MobileNetV2，获取一维特征向量F
M
；S6：将特征向量F
N
、F
V
、F
M
融合，构建基于深度学习车辆类型识别融合模型DFN
‑
VTR，进行车辆类型识别。2.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤S1中构建高速公路场景中车辆顶视图图像数据集的具体方法如下：S1
‑
1：将高速公路日常通行收费车辆分为客车与货车两大类，并根据车辆长度、核载人数、车型进一步细分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共十种标签；S1
‑
2：收集高速公路场景中车辆顶视图图像8331幅，包括S1
‑
1中划分的十种收费车辆类型；S1
‑
3：使用数据增强技术进一步丰富数据集，其中包括平移得到432幅，镜像得到376幅，添加噪声得到484幅，改变亮度得到377幅；最终构建高速公路场景中车辆顶视图数据集共10000幅图像数据；其中每种收费车辆类型1000幅，图像包括不同时段不同车道方向不同光线条件的变化；S1
‑
4：模型训练前，随机抽取81：9：10比例的图像数据划分训练集、验证集和测试集。3.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤S2中构建基于深度学习的车辆类型检测与分类模型CenterNet，并使用crop函数获取车辆顶视图中的车辆目标区域的具体步骤如下：S2
‑
1：将车辆顶视图图像数据重整为512
×
512输入CenterNet模型；S2
‑
2：将CenterNet模型主干提取网络更换为ResNet网络进行特征图提取；S2
‑
3：使用三次通道数为256、128、64的反卷积对S2
‑
2中得到的特征图进行上采样，输出尺寸在128
×
128
×
64的高分辨率特征图；S2
‑
4：将上步获得的高分辨率特征图进行三个不同卷积后拆分为热力图预测、中心点宽高预测三支；其中，热力图预测输出特征图尺寸为128
×
128
×
10，用于判断一个热力点是否有目标车辆存在及车辆所属收费类型；中心点预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆中心距离热力点偏移情况；宽高预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆宽高；S2
‑
5：使用crop函数对检测结果进行ROI提取与裁剪，获得车辆目标区域。4.根据权利要求3所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤S2
‑
5中crop函数具体内容为：
①
函数接受检测后待裁剪图像及目标框坐标[top,left,bottom,right]作为输入
②
为保证裁剪框不超过图像上边界，令：top＝max{0,不大于top的最大整数}
③
为保证裁剪框不超过图像左边界，令：left＝max{0,不大于left的最大整数}
④
为保证裁剪框不超过图像下边界，令：bottom＝min{原始图像高度,bottom向下取整}
⑤
为保证裁剪框不超过图像右边界，令：right＝min{原始图像高度,right向下取整}。5.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤S3中构建基于深度学习的车辆类型识别模型VTR
‑

【专利技术属性】
技术研发人员：赵池航，张子怡，马欣怡，
申请(专利权)人：东南大学，
类型：发明
国别省市：