一种基于深度学习的道路上方文字交通标志识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的道路上方文字交通标志识别方法及装置，所述方法包括如下步骤：先采集道路上方文字交通标志，并对图像进行预处理；然后基于源域已训练好的网络参数迁移到Faster‑R‑CNN网络上作为文字交通标志检测网络的初始网络参数，基于目标域样本对网络参数进行微调获得最终的网络参数；对RGB颜色空间的交通标志图像进行HSV颜色空间转换，并将转换后的HSV颜色空间图像也作为Faster‑R‑CNN网络的输入；最后利用EAST文本文字检测网络模型和ELM分类器的识别模型对检测到的道路上方文字交通标志进行识别分类，并输出检测结果。实现了在自然场景下提取出交通标志中的有效信息。

A method and device of text traffic sign recognition over the road based on deep learning

【技术实现步骤摘要】
一种基于深度学习的道路上方文字交通标志识别方法及装置
本专利技术属于智能交通中图像识别的
，具体涉及一种基于深度学习的道路上方文字交通标志识别方法及装置。
技术介绍
近年来，交通标志识别被广泛运用到驾驶员辅助系统，无人驾驶智能汽车以及公路养护等方面，传统的交通标志识别方法难以实现对类别复杂的道路上方文字交通标志进行识别的要求。基于深度学习的交通标志识别方法近两年成为研究热门，如卷积神经网络(CNN)已成功运用到交通标志识别系统中，但通常情况都是使用CNN对图形交通标志进行训练识别，而对于类别复杂、识别困难的文字交通标志普通的CNN网络难以取得较好效果。而多个深度网络的组合是一个可行的思路，检测网络用于检测道路上方文字交通标志区域，文字识别网络用于识别区域内的文字，根据文字识别结果，结合文字标志分类标准可以得到文字交通标志的识别结果。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的道路上方文字交通标志识别方法及装置，可以在自然场景下识别道路上方文字交通标志，提取出交通标志中的有效信息，为无人驾驶智能汽车，驾驶员辅助系统以及公路养护等方面提供数据支持。为实现上述技术目的，本专利技术采取的技术方案为：一种基于深度学习的道路上方文字交通标志识别方法，所述识别方法包括如下步骤：Step1：采集道路上方文字交通标志，并对图像进行预处理；Step2：根据源域和目标域交通标志图像具有形状相似性，将基于源域已训练好的网络参数迁移到Faster-R-CNN网络上作为文字交通标志检测网络的初始网络参数，然后基于目标域样本对网络参数进行微调获得最终的网络参数；与此同时，对RGB颜色空间的交通标志图像进行HSV颜色空间转换，并将转换后的HSV颜色空间图像也作为Faster-R-CNN网络的输入；Step3：将Faster-R-CNN网络输出的Bbox信息和Scores信息输出给EAST文本文字检测网络模型和ELM分类器的识别模型，利用EAST文本文字检测网络模型和ELM分类器的识别模型对检测到的道路上方文字交通标志进行识别分类，并输出检测结果。优选的，上述方法的图像预处理方法为提取图片中上部交通标志所在位置的图像内容。优选的，上述Faster-R-CNN网络的训练方法为：Step1：利用文字交通标志数据库，输出大量采集到的图片输入Faster-R-CNN网络进行训练；Step2：输入文字交通标志分类标准，将道路上方交通标志中的文字交通标志分为：目标地点导向标志、车道区分标志和提示语标志三类；分别设置相对应的关键字集，所述目标地点导向标志对应的关键字集包含地点名称；所述车道区分标志对应的关键字集包含车道区分文字；所述提示语标志对应的关键字集包含提示语文字。Step3：利用迁移学习的网络确定初始参数；利用已训练好的形状检测识别网络参数值作为Faster-R-CNN网络的参数初值，再利用Step1中所述的交通标志数据库对Faster-R-CNN网络进行微调。优选的，上述EAST文本文字检测网络模型在对道路上方文字交通标志进行识别时，根据道路上方文字交通标志上的文字不存在旋转角度，对原有的网络模型结构进行修剪，去除了旋转角度信息的输出与相应的卷积层，以提高识别速度。一种基于深度学习的道路上方文字交通标志识别装置，至少包括图像采集识别单元、运算单元、存储单元和输出单元，所述存储单元存储有上述算法；所述运算单元运行上述算法，并通过输出单元对外输出。本专利技术具有以下有益效果：本专利技术基于源域和目标域交通标志图像具有形状相似性，将基于源域已训练好的网络参数迁移到Faster-R-CNN网络上作为文字交通标志检测网络的初始网络参数，然后基于目标域样本对网络参数进行微调获得最终的网络参数。与此同时，对RGB颜色空间的交通标志图像进行HSV颜色空间转换并将转换后的HSV颜色空间图像也作为网络的训练样本，从而克服因训练样本少带来的模型欠学习问题。本专利技术对传统EAST文本文字检测网络模型进行裁剪，提出一种新的基于ELM分类器的识别模型对检测到的道路上方文字交通标志进行识别分类。由于ELM分类器在训练过程中不需要反复调整输入层和隐藏层之间的权值参数以及隐藏层上的偏置参数，算法的计算量与训练学习时间较于传统全连接层大幅缩减，相较于传统的全连接网络，具有更好的实时性。本专利技术通过收集道路上方文字交通标志图像，建立了一个小型的道路上方文字交通标志图像数据集，并将数据集中的交通标志进行了类型划分和标注，为基于道路上方文字交通标志识别的无人驾驶或辅助驾驶的应用研究提供数据支撑。附图说明图1是本专利技术的Faster-R-CNN网络结构示意图。图2是本专利技术的工作流程示意图。图3是本专利技术的改进的EAST网络图。图4是本专利技术的ELM分类器模型示意图。具体实施方式以下结合附图对本专利技术的实施例作进一步详细描述。参见图1、图2，一种基于深度学习的道路上方文字交通标志识别方法，所述识别方法包括如下步骤：Step1：采集道路上方文字交通标志，并对图像进行预处理；Step2：根据源域和目标域交通标志图像具有形状相似性，将基于源域已训练好的网络参数迁移到Faster-R-CNN网络上作为文字交通标志检测网络的初始网络参数，然后基于目标域样本对网络参数进行微调获得最终的网络参数；与此同时，对RGB颜色空间的交通标志图像进行HSV颜色空间转换，并将转换后的HSV颜色空间图像也作为Faster-R-CNN网络的输入；Step3：将Faster-R-CNN网络输出的Bbox信息和Scores信息输出给EAST文本文字检测网络模型和ELM分类器的识别模型，利用EAST文本文字检测网络模型和ELM分类器的识别模型对检测到的道路上方文字交通标志进行识别分类，并输出检测结果。具体实施时，上述方法的图像预处理方法为提取图片中上部交通标志所在位置的图像内容。具体实施时，上述Faster-R-CNN网络的训练方法为：Step1：利用文字交通标志数据库，输出大量采集到的图片输入Faster-R-CNN网络进行训练；本专利技术采用的交通标志图像主要来源为Tsinghua-Tencent100K和在长沙理工大学综合交通运输大数据智能处理湖南省重点实验室制作的中国交通数据集(CCTSDB)数据集，共计300张训练样本，60张测试样本，包含3类文字交通标志。首先将图片中上部分提取出。训练样本需要携带标签，带标签的训练样本表示为(xi,ti)，i＝1,2,...,N，N表示训练样本的个数；xi表示第i个样本的特征向量，ti表示第i个样本的标签向量。Step2：输入文字交通标志分类标准，将道路上方交通标志中的文字交通标志分为：目标地点导向标志、车道区分标志和提示语标志三类；分别设置相对应的关键字集，所述目标地点导向标志对应的关键字集包含地点名称；所述车道区分标志对应的关键字集包含车道区分文字；所述提示语标志对应的关键字集包含提示语文字。考虑到自然语言的词法、文法复杂性(如：“机动车道”和“注意车距”中的“车”字，前者属于车道区分标志，后者属于提示语标志)，本专利技术建立类别强度判别机制如下，对识别的文字建立函数映射，再通过最值函数判断当前文字交通标志所属的文字交通标志类别。建立的类别强度判本文档来自技高网...

【技术保护点】
1.一种基于深度学习的道路上方文字交通标志识别方法，其特征在于：所述识别方法包括如下步骤：Step1：采集道路上方文字交通标志，并对图像进行预处理；Step2：根据源域和目标域交通标志图像具有形状相似性，将基于源域已训练好的网络参数迁移到Faster‑R‑CNN网络上作为文字交通标志检测网络的初始网络参数，然后基于目标域样本对网络参数进行微调获得最终的网络参数；与此同时，对RGB颜色空间的交通标志图像进行HSV颜色空间转换，并将转换后的HSV颜色空间图像也作为Faster‑R‑CNN网络的输入；Step3：将Faster‑R‑CNN网络输出的Bbox信息和Scores信息输出给EAST文本文字检测网络模型和ELM分类器的识别模型，利用EAST文本文字检测网络模型和ELM分类器的识别模型对检测到的道路上方文字交通标志进行识别分类，并输出检测结果。

【技术特征摘要】
1.一种基于深度学习的道路上方文字交通标志识别方法，其特征在于：所述识别方法包括如下步骤：Step1：采集道路上方文字交通标志，并对图像进行预处理；Step2：根据源域和目标域交通标志图像具有形状相似性，将基于源域已训练好的网络参数迁移到Faster-R-CNN网络上作为文字交通标志检测网络的初始网络参数，然后基于目标域样本对网络参数进行微调获得最终的网络参数；与此同时，对RGB颜色空间的交通标志图像进行HSV颜色空间转换，并将转换后的HSV颜色空间图像也作为Faster-R-CNN网络的输入；Step3：将Faster-R-CNN网络输出的Bbox信息和Scores信息输出给EAST文本文字检测网络模型和ELM分类器的识别模型，利用EAST文本文字检测网络模型和ELM分类器的识别模型对检测到的道路上方文字交通标志进行识别分类，并输出检测结果。2.根据权利要求1所述的一种基于深度学习的道路上方文字交通标志识别方法，其特征在于：所述方法的图像预处理方法为提取图片中上部交通标志所在位置的图像内容。3.根据权利要求1所述的一种基于深度学习的道路上方文字交通标志识别方法，其特征在于：所述Faster-R-CNN网络的训练方法为：Step1：利用文字交通标志数据库，输...

【专利技术属性】
技术研发人员：孙伟，杜洋涛，张小瑞，孙敏，李免，张学平，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32