基于条件随机场的路标识别方法技术

本发明专利技术公开了一种基于条件随机场的路标识别方法，主要解决现有路标识别准确率低的问题。其实现方案是：1.根据纯路标图像数据建立路标颜色种子点集合；2.根据路标颜色种子点集合计算含有路标的图像的先验颜色特征图集合；3.通过贝叶斯决策理论计算含有路标的图像的颜色概率分布图集合；4.用马尔科夫条件随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像；5.提取融合图像中的感兴趣区域。6.通过多尺度卷积神经网络对感兴趣区域进行分类识别。本发明专利技术提高了路标的检测率和路标的识别准确率，可用于交通领域的场景感知。

Landmark recognition method based on conditional random fields

The invention discloses a method for identifying road signs based on conditional random fields, which mainly solves the problem of low accuracy of existing road signs. The implementation schemes are as follows: 1. Setting up a set of color seed points according to the image data of the road signs; 2. Calculating the set of prior color feature maps of the images containing the road signs according to the set of color seed points of the road signs; 3. Calculating the set of color probability distribution maps of the images containing the road signs by Bayesian decision theory; 4. Random using Markov condition. The field model fuses the prior color feature map and color probability distribution map of the landmark image to get the fused image. 5. Extracting the region of interest in the fused image. 6. classification and recognition of ROI by multi-scale convolution neural network. The invention improves the detection rate of the road sign and the recognition accuracy rate of the road sign, and can be used for scene perception in the traffic field.

【技术实现步骤摘要】
基于条件随机场的路标识别方法
本专利技术属于图像处理
，更进一步涉及路标的识别方法，可用于交通领域的场景感知。
技术介绍
随着社会经济的发展和进步，车辆已经普及到国内大部分家庭，但是在汽车给人们的生活带来方便的同时，交通事故的发生频率也越来越高，交通安全问题受到了政府、科研机构以及汽车生产厂家的高度重视。而解决这一问题的有效途径之一是准确、有效地设立道路交通标志，为驾驶员提供禁止、警告、指示等行车信息，从而减少交通事故的发生。因此，路标检测识别系统受到了学者们的广泛关注，在过去的十几年中，学者们在交通标志的检测与识别应用领域展开了广泛的研究。在路标检测方面，Y.Nguwi等人先基于HIS颜色空间对图像做阈值化处理，使用YcbCr图像块为特征训练出神经网络分类器，检测图像中的标志候选区域。P.Wanitchai等人基于HSV颜色空间的Hue通道值对图像做阈值化处理，检测图像中的红色交通标志。F.Ren等人首先基于HSV颜色空间对图像基于Hue通道进行阈值化分割，之后根据简化的标志形状的目标函数与模板目标函数间距离实现交通标志的检测。X.Qingsong等使用图像HIS颜色空间阈值化后得到边缘图像，通过径向对称投票检测出交通标志区域。D.Deguchi等人针对七种具体类型的交通标志，使用基于局部等级模式特征的嵌套级联分类器对图像RGB像素值进行分类并得到一幅边缘图像，然后采用RANSAC圆形拟合来检测圆形交通标志。在路标识别方面，Ruta.A等人使用最近领域方法，通过各类别之间的最近距离，对待识别的交通图像进行识别。J.Greenhalgh等人通过提取路标数据的HoG特征，通过二叉树的方式训练多层级联svm分类器，达到识别的效果。上述几种路标检测方法，由于对路标颜色与形状特性考虑不够充分，提取特征较为简单，所以路标提取效率较低，对于上述的路标识别方法，由于传统特征表征能力有限，导致识别的准确率比较低。因此如何更有效的提取路标区域以及如何提升路标区域的识别准确率是路标检测与识别方法的重要研究内容。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种基于条件随机场的路标识别方法，以提高路标检测的效率和路标识别的准确率。为实现上述目的，本专利技术采取的技术方案包括如下：(1)根据纯路标图像数据建立路标颜色种子点集合；(2)在路标数据检测库GTSDB中取出600张含有路标的图像作为图像集data，对于图像集data中的每一张含有路标的图像I，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到含有路标的图像I的先验颜色特征图集合TI，将图像集data中所有图像的先验颜色特征图集合作为训练数据集D1；(3)对于图像集data中的每一张含有路标的图像I，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，将data中所有图像的颜色概率分布图集合作为训练数据集D2；(4)用(2)中的训练数据集D1与(3)中的训练数据集D2训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像H；(5)通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI；(6)通过多尺度卷积神经网络对感兴趣区域ROI进行分类识别。本专利技术与现有技术相比，具有以下优点：1)本专利技术相对于传统的路标检测方法，利用贝叶斯原理生成颜色概率特征图，结合条件随机场的特征图融合方法，充分用了路标颜色特性，在减少提取到的冗余的感兴趣区域数量的同时，提高了区域提取的召回率。2)本专利技术运用多尺度卷积神经网络进行特征的提取和分类，能更好地提取到图像的深层信息，使得分类效果得到提升。附图说明图1是本专利技术的实施例流程图；图2是本专利技术与现有不同方法在警告类路标下的召回率与平均区域提取数对比图；图3是本专利技术与现有不同方法在指示类路标下的召回率与平均区域提取数对比图；图4是本专利技术与现有不同方法在禁止类路标下的召回率与平均区域提取数对比图。具体实施方式以下结合附图和具体实施例，对本专利技术的技术方案作进一步详细描述：参照图1，本专利技术的实现步骤如下：步骤1，根据纯路标图像数据建立路标颜色种子点集合。(1a)根据路标的颜色将路标数据分为J类；(1b)通过简单线性聚类方法SLIC对每一类路标数据进行超像素分割，得到超像素块集合，并用超像素块上像素的色彩空间CIELAB平均颜色特征描述该超像素块，得到该类路标数据的一个超像素种子点集合；(1c)用J类路标数据的超像素种子点集合组成路标颜色种子点集合。步骤2，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，获得所有图像的先验颜色特征图集合作为训练数据集D1。(2a)在路标数据检测库GTSDB中取出600张图像组成图像集data；(2b)对于每一张含有路标的图像I∈data，通过简单线性迭代聚类方法SLIC对含有路标的图像I进行超像素分割，得到M个超像素块，并用超像素块的色彩空间CIELAB平均颜色特征和平均坐标来描述每一个超像素块；(2c)计算(2b)中得到的含有路标的图像I的超像素块与(1)中得到的路标颜色种子点集合的颜色相似度sk,m：其中Pk表示第k类颜色路标中种子点的个数，J为路标的类别数，cm表示图像I上第m个超像素块的颜色特征，表示第k类种子点集合中第n个超像素块的颜色特征，为cm与二范数的平方，表示它们在颜色空间上的距离，σ为权重值；(2d)将颜色相似度值sk,m映射到超像素块在含有路标的图像I的对应位置上，得到含有路标的图像I对于第k类路标数据的先验颜色特征图；(2e)用J个先验颜色特征图组成含有路标的图像I的先验颜色特征图集合TI，用所有的先验颜色特征图集合TI组成训练数据集D1。步骤3，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，获得所有图像的颜色概率分布图集合作为训练数据集D2。(3a)对于对每一张含有路标的图像I∈data，根据贝叶斯理论计算图像I中像素点属于第i类颜色路标的概率P(Classi|x)：P(Classi|x)＝P(x|Classi)·P(Classi)i＝1,2,...,J，其中，x表示图像I的像素点，Classi表示第i类颜色路标，P(Classi)为先验概率，J为路标的类别数，P(x|Classi)为似然函数；(3b)计算(3a)贝叶斯公式中的先验概率P(Classi)：其中代表第i类颜色路标的样本数量；(3c)根据高斯模型模拟第i类颜色路标在含有路标的图像I中的分布，计算(3a)贝叶斯公式中的似然函数P(x|Classi)：其中μi为像素点x的颜色特征均值，C为所有像素点的协方差矩阵，d代表像素点x的维数；(3d)将(3b)中的P(Classi)与(3c)中的P(x|Classi)带入(3a)贝叶斯公式得到像素点x属于第i类路标的概率P(Classi|x)，将每个像素点x的P(Classi|x)对应到含有路标的图像I中x的位置，得到像素点对于第i类颜色路标的颜色概率特征图；(3本文档来自技高网...

【技术保护点】
1.一种基于条件随机场的路标识别方法，包括：(1)根据纯路标图像数据建立路标颜色种子点集合；(2)在路标数据检测库GTSDB中取出600张含有路标的图像作为图像集data，对于图像集data中的每一张含有路标的图像I，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到含有路标的图像I的先验颜色特征图集合TI，将图像集data中所有图像的先验颜色特征图集合作为训练数据集D1；(3)对于图像集data中的每一张含有路标的图像I，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，将data中所有图像的颜色概率分布图集合作为训练数据集D2；(4)用(2)中的训练数据集D1与(3)中的训练数据集D2训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像H；(5)通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI；(6)通过多尺度卷积神经网络对感兴趣区域ROI进行分类识别。

【技术特征摘要】
1.一种基于条件随机场的路标识别方法，包括：(1)根据纯路标图像数据建立路标颜色种子点集合；(2)在路标数据检测库GTSDB中取出600张含有路标的图像作为图像集data，对于图像集data中的每一张含有路标的图像I，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到含有路标的图像I的先验颜色特征图集合TI，将图像集data中所有图像的先验颜色特征图集合作为训练数据集D1；(3)对于图像集data中的每一张含有路标的图像I，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，将data中所有图像的颜色概率分布图集合作为训练数据集D2；(4)用(2)中的训练数据集D1与(3)中的训练数据集D2训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像H；(5)通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI；(6)通过多尺度卷积神经网络对感兴趣区域ROI进行分类识别。2.根据权利要求1所述的方法，其特征在于，步骤(1)中根据纯路标图像数据建立路标颜色种子点集合按如下步骤进行：(1a)根据路标的颜色将路标数据分为J类；(1b)通过简单线性聚类方法SLIC对每一类路标数据进行超像素分割，得到超像素块集合，并用超像素块上像素的色彩空间CIELAB平均颜色特征描述该超像素块，得到该类路标数据的一个超像素种子点集合；(1c)用J类路标数据的超像素种子点集合组成路标颜色种子点集合。3.根据权利要求1所述的方法，其特征在于，步骤(2)中计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到先验颜色特征图集合TI按如下步骤进行：(2a)输入含有路标的图像I，通过简单线性迭代聚类方法SLIC对含有路标的图像I进行超像素分割，得到M个超像素块，并用超像素块的色彩空间CIELAB平均颜色特征和平均坐标来描述每一个超像素块；(2b)计算(2a)中得到的超像素块与(1)中得到的路标种子点集合的颜色相似度sk,m：其中Pk表示第k类颜色路标中种子点的个数，J为路标的类别数，cm表示图像I上第m个超像素块的颜色特征，表示第k类种子点集合中第n个超像素块的颜色特征，为cm与二范数的平方，表示它们在颜色空间上的距离，σ为权重值；(2c)将颜色相似度值sk,m映射到超像素块在含有路标的图像I的对应位置上，得到含有路标的图像I对于第k类路标数据的先验颜色特征图；(2d)用J个先验颜色特征图组成先验颜色特征图集合TI。4.根据权利要求1所述的方法，其特征在于，步骤(3)中通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到颜色概率分布图集合PI按如下步骤进行：(3a)根据贝叶斯理论计算含有路标的图像I中像素点属于第i类颜色路标的概率P(Classi|x)：P(Classi|x)＝P(x|Classi)·P(Classi)i＝1,2,...,J，其中，x表示图像I的像素点，Classi表示第i类颜色路标，J为路标的类别数，P(Classi)为先验概率，P(x|Classi)为似然函数；(3b)计算(3a)贝叶斯公式中的先验概率P(Classi)：其中代表第i类颜色路标的样本数量；(3c)根据高斯模型模拟第i类颜色路标在含有路标的图像I中的分布，计算(3a)贝叶斯公式中的似然函数P(x|Classi)：其中μi为像素点x的颜色特征均值，C为所有像素点的协方差矩阵，d代表像素点x的维数；(3d)将(3b)中的P(Classi)与(3c)中的P(x|Classi)带入(3a)贝叶斯公式得到像素点x属于第i类路标的概率P(Classi|x)，将每个像素点x的P(Classi|x)对应到含有路标的图像I中x的位置得到像素点对于第i类颜色路标...

【专利技术属性】
技术研发人员：韩冰，杨铮，张景滔，吕涛，高新波，王云浩，李凯，
申请(专利权)人：西安电子科技大学，江苏泽景汽车电子股份有限公司，
类型：发明
国别省市：陕西,61