一种基于GMM聚类的多尺度识别交通信号标志的方法技术

本发明专利技术公开了一种基于GMM聚类的多尺度识别交通信号标志的方法。识别方法为：通过GMM聚类得到先验框尺寸作为网络的参数参与训练；先训练数据集中出现过多类的样本图像：将待训练图像输入神经网络中，网络提取输入图像不同层次的特征图，再通过上采样和特征融合，最后输出五个不同尺度的预测结果。通过迭代训练更新模型参数，得到过渡模型；按上述方法训练出现过少类的样本图像，得到最终模型；识别时将待识别图像输入最终模型，得到图像相应位置上的识别结果。通过GMM聚类，提高了网络的训练速度、识别速度和精度；通过多尺度预测，解决了交通信号标志太小，难以检测的问题；通过迁移学习的方法，解决了数据集少导致识别效果差的问题。

【技术实现步骤摘要】
一种基于GMM聚类的多尺度识别交通信号标志的方法
本专利技术涉及一种交通信号标志识别方法，尤其是涉及一种基于GMM聚类的多尺度识别交通信号标志的方法。
技术介绍
交通信号灯和交通标志牌的实时识别是自动驾驶和辅助驾驶技术的重要组成部分，也是实现安全驾驶的重要环节。车辆需要在行驶过程中快速识别出前方路段的交通信号灯和交通标志牌并以此为依据做出正确的行车操作或提醒驾驶员保持安全驾驶。这样做提高了自动驾驶的安全性且减小了交通事故发生的可能性。传统的方法主要根据交通信号标志的颜色和形状等特征来识别。RGB颜色分割是一种基于颜色特征的识别方法，但该方法的识别准确度较差。针对这一缺点，相继出现了HIS颜色分割、HSV多阈值分割等算法，虽然满足了一定的识别要求，但计算耗时太长，无法实现实时检测。基于形状特征的识别方法有Hough变换、梯度方向信息、Canny边缘检测等方法，但这些方法受限于形状匹配的模板，存在鲁棒性差等问题。为了克服传统识别方法的缺点，目前性能最好且用的最多的就是基于深度学习的目标检测方法，它又可大体分为single-stage和two-stage两大类。但是基于two-stage的方法需要产生大量的候选区域，导致识别速度非常慢，无法实现实时检测。虽然现有的基于single-stage的方法拥有较快的识别速度，但其对小目标的识别效果大多都较差。小目标指的是在图像中占据较小像素的目标，一般其长宽不到图像尺寸的10％，只有几十个像素。而在交通信号标志图像中会以小目标居多。所以，现有的基于single-stage的目标检测方法对交通信号标志的识别效果欠佳。除此以外，现有的基于single-stage的目标检测方法使用的先验框是通过K-means聚类得到的。但K-means的每个聚类在所有维度上的协方差都为零，使聚类结果局限于圆形。而由所有标定框的长宽大小构成的二维数据集是不规则形状的，如果使用圆形来聚类将会使聚类结果产生巨大误差，导致训练过程中预测框的回归过程耗时严重，影响到了训练速度和识别速度；并且，由于聚类结果的不准确也会直接造成神经网络识别准确度低下。同时，现有的目标检测方法大多要求训练数据集样本充足且数量均匀，如果有几个类别的数据集样本太少，那么最终这几类的识别效果将会非常差，会出现误检和漏检的现象。针对现有的基于single-stage的交通信号标志识别方法的这几大问题，寻找一种训练速度快、识别速度快和识别准确度高的新方法，以代替现有的识别方法，便成为了目前亟需解决的问题。
技术实现思路
为解决上述问题，本专利技术提出一种基于GMM聚类的多尺度识别交通信号标志的方法，显著提高了识别准确度、训练和识别速度且对小目标对象也能实现高准确度识别。本专利技术的技术方案采用如下步骤：步骤一：数据准备；通过对中国交通违章事件进行的统计，选择违章概率最高的25类交通标志作为数据集类别；一共收集到10000张包含有交通灯和交通标志牌的数据集，标定数据集并生成xml格式文件；随机选取2000张样本图片作为测试集，不参与神经网络的训练，只用来测试网络模型的性能；剩下的8000张样本图片被分为6000张训练样本和2000张验证样本后，需要参与神经网络模型的训练；计算并保存每个训练样本和验证样本中所有标定框的长宽大小。步骤二：通过GMM聚类得到先验框尺寸作为网络的参数参与训练；所述的步骤二中的GMM是以n个训练样本和验证样本中所有标定框的长宽大小作为二维数据点来构成；设有样本Xi，则GMM的表达式：其中：N是GMM中单一高斯模型的个数；πm是每个单一高斯模型的占比；P(Xi|μm,Varm)是样本Xi在第m个单一高斯模型中的概率密度函数；μm、Varm依次表示第m个高斯模型的均值、方差；由公式(1)可知：GMM由单一高斯模型通过一定权重比叠加而成；因此，GMM可以用N个单一高斯模型无限逼近，就可认为所有标定框尺寸可被聚类为N个不同大小的先验框尺度；通过EM算法对GMM的参数进行迭代更新:首先，分别初始化每个单一高斯模型的均值μ、方差Var和每个单一高斯模型的占比π；通过以下公式(2)计算样本Xi属于第m个单一高斯模型的概率，可称为样本Xi对第m个单一高斯模型的贡献系数：通过以下公式(3)计算似然函数初始值：在得到Wi,m之后，通过公式(4)、公式(5)和公式(6)依次更新πm、μm和Varm：以上便完成了一次GMM参数的更新，而通过更新后的πm、μm和Varm可以进一步更新贡献系数和计算出此时的似然函数值，并往复迭代；随着参数的更新，似然函数值会不断变大，直到似然函数值的变化量小于预设阈值，此时GMM的参数达到收敛，聚类过程结束；考虑到在多尺度识别网络中，最后需要输出五个尺度的预测结果，而每个尺度的预测结果需要三个不同大小的先验框；因此，需要通过GMM聚类出15个不同大小的先验框，即取N＝15。步骤三：先训练数据集中出现过多类的样本图像，若该样本图像中出现少类，也同时参与训练：将待训练图像输入神经网络中，网络提取输入图像不同层次的特征图，再通过上采样和特征融合，最后输出五个不同尺度的预测结果；通过迭代训练可以更新模型参数，得到过渡模型；其中多类为数据集中出现次数大于设定阈值的类，少类为数据集中出现次数小于设定阈值的类；所述的神经网络的构建步骤如下：设计由卷积层、BN归一化层、LeakyReLU非线性激活函数串联构成的CBL基本单元；设计由步长为1的1×1CBL卷积和步长为1的3×3CBL卷积构成的res残差单元结构；设计由一个步长为2的3×3CBL卷积和N个res残差单元结构串联构成的resN结构；神经网络分为特征提取网络和多尺度预测网络；特征提取网络会先调整输入图像的尺寸为512×512×3，再用1个输出通道为16的CBL卷积单元对输入图像进行滤波；再依次使用res1、res2、res8、res8、res4、res4残差结构对特征图进行下采样操作，同时增加特征图的通道数；通过特征提取网络可以依次得到128×128、64×64、32×32、16×16、8×8这些不同尺度的特征图，五个不同尺度的特征图将会被用于下一阶段的多尺度预测；多尺度预测网络会将尺度为8×8的特征图依次通过步长为1的1×1、3×3、1×1、3×3、1×1五个CBL卷积来调整通道数，再通过一个步长为1的3×3CBL卷积和一个步长为1的1×1CBL卷积后可以得到8×8×90的预测结果；同时，尺度为8×8的特征图在依次通过步长为1的1×1、3×3、1×1、3×3、1×1、1×1六个CBL卷积和一次上采样后需要与尺度为16×16的特征图进行特征融合，得到新的特征图；新的特征图将会进行与尺度为8×8的特征图相同的变换，然后得到16×16×90的预测结果；同时，将会进一步与尺度为32×32的特征图进行特征融合；依次对特征提取网络得到的五个特征图进行上述变换，最后将得到128×128×9本文档来自技高网...

【技术保护点】
1.一种基于GMM聚类的多尺度识别交通信号标志的方法，其特征在于：包括以下步骤：/n1)通过GMM聚类得到先验框尺寸作为网络的参数参与训练；/n2)先训练数据集中出现过多类的样本图像，若该样本图像中出现少类，也同时参与训练：将待训练图像输入神经网络中，网络提取输入图像不同层次的特征图，再通过上采样和特征融合，最后输出五个不同尺度的预测结果；通过迭代训练可以更新模型参数，得到过渡模型；其中多类为数据集中出现次数大于设定阈值的类，少类为数据集中出现次数小于设定阈值的类；/n3)按步骤2)的训练方法训练少类，得到最终模型；/n4)识别时将待识别图像输入最终模型，可得到图像相应位置上的识别结果。/n

【技术特征摘要】
1.一种基于GMM聚类的多尺度识别交通信号标志的方法，其特征在于：包括以下步骤：
1)通过GMM聚类得到先验框尺寸作为网络的参数参与训练；
2)先训练数据集中出现过多类的样本图像，若该样本图像中出现少类，也同时参与训练：将待训练图像输入神经网络中，网络提取输入图像不同层次的特征图，再通过上采样和特征融合，最后输出五个不同尺度的预测结果；通过迭代训练可以更新模型参数，得到过渡模型；其中多类为数据集中出现次数大于设定阈值的类，少类为数据集中出现次数小于设定阈值的类；
3)按步骤2)的训练方法训练少类，得到最终模型；
4)识别时将待识别图像输入最终模型，可得到图像相应位置上的识别结果。


2.根据权利要求1所述的一种基于GMM聚类的多尺度识别交通信号标志的方法，其特征在于：所述的步骤1)之前需要进行数据准备，步骤如下：通过对中国交通违章事件进行的统计，选择违章概率最高的25类交通标志作为数据集类别；一共收集到10000张包含有交通灯和交通标志牌的数据集，标定数据集并生成xml格式文件；随机选取2000张样本图片作为测试集，不参与神经网络的训练，只用来测试网络模型的性能；剩下的8000张样本图片被分为6000张训练样本和2000张验证样本后，需要参与神经网络模型的训练；计算并保存每个训练样本和验证样本中所有标定框的长宽大小。


3.根据权利要求1所述的一种基于GMM聚类的多尺度识别交通信号标志的方法，其特征在于：所述的步骤1)中的GMM是以n个训练样本和验证样本中所有标定框的长宽大小作为二维数据点来构成；设有样本Xi，则GMM的表达式：



其中：N是GMM中单一高斯模型的个数；πm是每个单一高斯模型的占比；P(Xi|μm,Varm)是样本Xi在第m个单一高斯模型中的概率密度函数；μm、Varm依次表示第m个高斯模型的均值、方差；
通过EM算法对GMM的参数进行迭代更新:首先，分别初始化每个单一高斯模型的均值μ、方差Var和每个单一高斯模型的占比π；通过以下公式(2)计算样本Xi属于第m个单一高斯模型的概率，可称为样本Xi对第m个单一高斯模型的贡献系数：



通过以下公式(3)计算似然函数初始值：



在得到Wi,m之后，通过公式(4)、公式(5)和公式(6)依次更新πm、μm和Varm：









以上便完成了一次GMM参数的更新，而通过更新后的πm、μm和Varm可以进一步更新贡献系数和计算出此时的似然函数值，并往复迭代；随着参数的更新，似然函数值会不断变大，直到似然函数值的变化量小于预设阈值，此时GMM的参数达到收敛，聚类过程结束；
考虑到在多尺度识别网络中，最后需要输出五个尺度的预测结果，而每个尺度的预测结果需要三个不同大小的先验框；因此，需要通过GMM聚类出15个不同大小的先验框，即取N＝15。


4.根据权利要求1所述的一种基于GMM聚类的多尺度识别交通信号标志的方法，其特征在于：所述的步骤2)中神经网络的构建步骤如下：
设计由卷积层、BN归一化层、LeakyReLU非线性激活函数串联构成的CBL基本单元；设计由步长为1的1×1CBL卷积和步长为1的3×3CBL卷积构成的res残差单元结构；设计由一个步长为2的3×3CBL卷积和N个res残差单元结构串联构成的resN结构；
神经网络分为特征提取网络和多尺度预测网络；特征提取网络会先调整输入图像的尺寸为512×512×3，再用1个输出通道为16的CBL卷积单元对输入图像进行滤波；再依次使用res1、res2、res8、res8、res4、res4残差结构对特征图进行下采样操作，同时增加特征图的通道数；通过特征提取网络可以依次得到128×128、64×64、32×32、16×16、8×8这些不同尺度的特征图，五个不同尺度的特征图将会被用于下一阶段的多尺度预测；
多尺度预测网络会将尺度为8×8的特征图依次通过步长为1的1×1、3×3、1×1、3×3、1×1五个CBL卷积来调整通道数，再通过一个步长为1的3×3CBL卷积和一个步长为1的1×1CBL卷积后可以得到8×8×90的预测结果；同时，尺度为8×8的特征图在依次通过步长为1的1×1、3×3、1×1、3×3、1×1、1...

【专利技术属性】
技术研发人员：高明煜，陈超，董哲康，杨宇翔，阮成杨，陈利丰，
申请(专利权)人：杭州电子科技大学，星际控股集团有限公司，
类型：发明
国别省市：浙江;33