基于多尺度轻量级卷积神经网络的交通标志识别方法技术

本发明专利技术提供了一种基于多尺度轻量级卷积神经网络的交通标志识别方法，构建了一个具有多尺度输入和轻量级计算的卷积神经网络，该网络采用三种尺度交通标志图像作为输入，中间模块采用深度可分离卷积进行计算，在交通标志识别问题中可训练出较为合适的分类特征；通过构建交通标志数据集，使用上述轻量级网络，使用K折交叉验证对样本数据集进行划分和训练，可实现对输入交通标志图像的分类识别；实验结果也表明该网络减少了可训练参数数量，降低了识别的计算量，同时具有较高的识别率。

【技术实现步骤摘要】
基于多尺度轻量级卷积神经网络的交通标志识别方法
本专利技术涉及计算机视觉
，尤其涉及到一种基于多尺度轻量级卷积神经网络的交通标志识别方法。
技术介绍
交通标志是道路设施的重要组成部分，发挥着引导、限制、警示和指示等作用，是保障道路交通安全、顺畅的重要措施；按照作用交通标志可分为主标志和辅助标志两大类，其中主标志还可细分为七个大类别。使用计算机视觉技术实现对交通标志的自动识别，可以提高驾驶安全；但由于交通标志种类繁多，图像质量易受到褪色、遮挡、光照、尺度等诸多因素的影响，使得交通标志的自动识别较为困难。基于计算机视觉的交通标志识别方法，通常采用基于颜色或形状特征，以及基于模板匹配等方法；常用特征包括HOG、Haar、SIFT/SURF、LBP和Gabor等；然而这些特征多为浅层特征，其表达和提取较为繁琐，使用范围也有局限，使其在复杂环境下的鲁棒性较差。卷积神经网络是含有卷积计算的前馈型神经网络，广泛应用于计算机视觉等领域。卷积神经网络由卷积、池化、激活等功能不同的“层”组合而来；原始图像被输入网络后，按照设计的顺序被各层处理，从颜色、纹理等低级特征逐步抽象出高级的语义特征，从而使得网络能更深刻地“理解”图像内容。卷积神经网络在交通标志识别中具有较大的优势，但是目前常规的方法需要训练的参数较多，在识别过程中的计算量偏大，不适合在车载等环境和条件下的运行。本专利技术提供了一种基于多尺度轻量级卷积神经网络的交通标志识别方法，构建了一个具有多尺度输入和轻量级计算的卷积神经网络，该网络采用三种尺度交通标志图像作为输入，有效地结合了全局和局部特征；中间模块采用深度可分离卷积进行计算，减少可训练参数数量，降低了识别的计算量。该网络在交通标志识别问题中可训练出较为合适的分类特征；实验结果也表明该网络具有较高的识别率，同时计算量较小。
技术实现思路
基于多尺度轻量级卷积神经网络的交通标志识别方法，包括以下步骤。步骤1，构建交通标志样本数据集；对样本数量较少的交通标志图像进行增广。为了使训练出的卷积神经网络模型有较好的分类效果，要求训练样本集中样本数量要达到一定的规模，各类别样本数量分布基本均匀；若样本数量较少，则无法得到适应性较强的模型；若各类别样本数量分布不均匀，也会影响对小样本类别的识别。所述对样本数量较少的交通标志图像进行增广，包括：对现有样本图像的增广，通过旋转、平移、缩放、亮度变换、添加噪声等方式处理，得到新的样本图像，加入到样本数据集中；对标准的交通标志图像进行样本合成，通过放射变换、计算图像掩膜、添加背景图像、调节亮度、添加噪声等方式，得到新的样本图像，加入到样本数据集中；数据增强后的交通标志样本数据集，需保证各类别的样本达到一定的数量。步骤2，构建多尺度轻量级卷积神经网络，包含三个输入层，五个中间模块，一个输出层。所述输入层包括：参考现有方法，统计现有样本数据集的图像尺度范围，选择三个具有代表性的尺度作为输入图像的尺度；输入到网络中实现分级融合；不同长宽比图像之间的转换，使用常规的图像裁剪方法；不同尺度图像之间的转换，使用常规的图像缩放方法。所述中间模块包括：借鉴MobileNetV3网络构建一种Bottleneck（瓶颈）结构；该结构包括：普通卷积、批量正则化、激活函数、深度可分离卷积，特征强化（全局池化、ReLU全连接、Hard-σ全连接、权重重分配），普通卷积，批量正则化，其中特征强化是可选的，同时还具备输入到输出的短路功能。所述中间模块还包括：五个中间模块均由该Bootleneck结构以及加入批量正则化的普通卷积构成，设计选取适当的激活函数和模型超参数，如可以使用H-Swish、ReLU、Hard-σ作为激活函数。所述输出层是由Softmax函数构建的全连接层。步骤3，使用交通标志训练样本集对网络模型参数进行训练。所述步骤3，包括：将交通标志样本数据集以均匀分布的方式打乱次序；并划分测试集和训练集；计算多次K折交叉训练后的模型在测试集上的准确率；选取训练次数、准确率、损失等指标合适的模型作为交通标志的分类模型。步骤4，针对某个具体的交通标志图像进行分类。所述步骤4，包括：将待检测的交通标志图像缩放和裁剪到所需的三种尺度后，送入到训练好的模型中，进行一次正向计算；模型将输出当前图像的交通标志属于每个交通标志类别的概率值；选择概率值最大的类别为本次交通标志图像的分类结果。本方法构建了一种多尺度轻量级的卷积神经网络实现对交通标志图像的分类识别，首先构建交通标志数据集；然后构建用于分类的网络模型，再使用K折交叉验证对数据集进行划分和训练；针对具体的测量，将图像输入到分类模型中得到分类结果。该方法提供了两种对交通标志图像进行增广的方法，为后续分类准备了质量良好的数据集；使用三种尺度的输入图像实现了分级融合，提高了对多类别交通标志图像的识别准确率；使用深度可分离卷积代替标准卷积，降低可训练参数数量和计算量，使网络成为轻量级的网络，识别的速度更快，计算开销更小。附图说明图1为本专利技术方法的流程示意图。图2为对标准交通标志图像进行样本合成的流程示意图。图3为本专利技术的网络结构的示意图。图4为本专利技术的Bottleneck层构成的示意图。具体实施方式为了更加清楚地展示本专利技术的目的和技术方案，下面将结合具体的实施过程和附图，对本专利技术的具体实施方式和参数进行更加详细的描述。一种基于多尺度轻量级卷积神经网络的交通标志识别方法，如图1所示，包含以下步骤。步骤1，构建交通标志样本数据集。尽管不同的样本数据集包含的交通标志图像种类、数量不同，但是通常情况下，并没有涵盖所有实际场景中遇到的交通标志图像，且样本的分布不均匀，常见交通标志数量远大于罕见交通标志数量。可以选择TT100K，GTSRB，GTSDB等交通标志样本数据库作为基础的样本数据集，然后对类别较少的交通标志图像进行增广。对于原始样本数量超过500的交通标志类别不再进行增广。对于数量不足500的交通标志类别，需要进行样本增广操作；可以使用对现有样本图像的增广处理，也可以使用对标准交通标志图像进行样本合成的增广处理。所述对现有样本图像的增广处理，包括：（1）将现有样本图像在[-α°，α°]范围内随机旋转一个角度；其中α可设为5；（2）将现有样本图像在[-β，β]个像素范围内随机水平或竖直平移一段距离，其中β可以设为图像最大边长的1/6；（3）将现有样本图像转到HSV颜色空间，随机改变V通道的值调整图像亮度；（4）在现有样本图像上添加椒盐或者高斯噪声。所述对标准交通标志图像进行样本合成的增广处理，如图2所示，包括：（1）仿射变换。将标准交通标志图像进行仿射变换，如可以采用旋转、平移和缩放等方式进行处本文档来自技高网...

【技术保护点】
1.基于多尺度轻量级卷积神经网络的交通标志识别方法，其特征在于，包括：/n（1）构建交通标志样本数据集；对样本数量较少的交通标志图像进行增广；/n（2）构建多尺度轻量级卷积神经网络，包含三个输入层，五个中间模块，一个输出层；其中；五个中间模块均由该Bootleneck结构以及加入批量正则化的普通卷积构成，设计选取适当的激活函数和模型超参数，如可以使用H-Swish、ReLU、Hard-σ作为激活函数；/n（3）使用K折交叉验证法划分样本数据集并进行模型参数训练；/n（4）针对某个具体的交通标志图像进行分类识别。/n

【技术特征摘要】
1.基于多尺度轻量级卷积神经网络的交通标志识别方法，其特征在于，包括：
（1）构建交通标志样本数据集；对样本数量较少的交通标志图像进行增广；
（2）构建多尺度轻量级卷积神经网络，包含三个输入层，五个中间模块，一个输出层；其中；五个中间模块均由该Bootleneck结构以及加入批量正则化的普通卷积构成，设计选取适当的激活函数和模型超参数，如可以使用H-Swish、ReLU、Hard-σ作为激活函数；
（3）使用K折交叉验证法划分样本数据集并进行模型参数训练；
（4）针对某个具体的交通标志图像进行分类识别。


2.基于权利要求1所述的方法，所述样本数量较少的交通标志图像进行增广，包括：
对现有样本图像的增广处理，通过旋转、平移、缩放、亮度变换、添加噪声等方式处理，得到新的样本图像，加入到样本数据集中；
对标准的交通标志图像进行样本合成，通过放射变换、计算图像掩膜、添加背景图像、调节亮度、添加噪声等方式，得到新的样本图像，加入到样本数据集中；
数据增强后的交通标志样本数据集，需保证各类别的样本达到一定的数量。


3.基于权利要求1所述的方法，所述输入层，包括：
参考现有方法，统计现有样本数据集的图像尺度范围，选择三个具有代表性的尺度作为输入图像的尺度；...

【专利技术属性】
技术研发人员：冯子亮，董朋林，王洋，杨斌，贺思睿，朱鑫，单强达，郭照康，李东璐，司马铭骏，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51