基于深度学习的交通标志标号识别方法技术

一种基于深度学习的交通标志标号识别方法。从监控摄像头实时捕捉标志标号所在场景图像；将原始待测场景图像输入训练好的标志标号检测网络，识别场景图像中的标志标号所在区域；将标志标号所在区域从原始图像中分割出来，输入训练好的字符识别网络，识别标志标号区域内的字符；对所有字符的边界框的左上角坐标进行排序和组合，得到标志标号的具体内容。本发明专利技术不需要对图像进行预处理，不需要从标志标号所在区域分割单个字符；使用两个基于深度学习的目标检测网络模型检测和识别场景图像中的标志标号内容，对于各种角度歪斜的交通标志标号、模糊的场景图像、光照较暗的场景图像等都具有较好的识别效果，且实时性好、准确率高。

Traffic sign identification method based on deep learning

【技术实现步骤摘要】
基于深度学习的交通标志标号识别方法
本专利技术涉及计算机视觉
，具体涉及一种基于深度学习的交通标志标号识别方法。
技术介绍
交通标志标号包含大量的道路信息、车辆信息等，如限速标志、停车(禁停)标志、车辆车牌、轨道交通列车车次号等等。实时标志标号识别是指检测和识别摄像机所拍摄的场景图像中的交通标志标号的具体内容，实时识别交通标志标号是汽车高级辅助驾驶系统、自动驾驶系统、交通管理与控制的重要组成部分，有利于保障车辆行驶的安全性、提高交通管理与控制的效率。由于真实场景中环境复杂多变，交通标志标号识别易受复杂的天气、光照条件、标志标号多样性等多种因素的影响，仍然是具有挑战性的技术。当前主要采用的交通标志标号识别方法大多集中于检测到标志标号的位置和类别，但标志标号的具体内容无法得知，如限速标志，只能检测出是限速，但具体的限速值无从得知。识别具体内容的方法往往需要先检测标志标号，然后利用图像处理算法将标志标号内的所有字符单独分割开，然后单独识别每一个字符，确定标志标号的具体内容。这种方法对图像处理算法和字符分割算法的要求非常高，在复杂环境下的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的交通标志标号识别方法，其特征在于，包括以下步骤：/n步骤S1：从监控摄像头实时捕捉交通标志标号所在场景图像；/n步骤S2：将步骤S1中捕捉的原始待测场景图像输入训练好的标志标号检测网络(网络1)，识别场景图像中的标志标号，得到标志标号的边界框参数；/n步骤S3：根据步骤S2中得到的标志标号的边界框参数将标志标号所在区域从原始图像中分割出来，将分割出来的标志标号图像输入训练好的字符识别网络(网络2)，识别标志标号所在区域的字符，得到字符的类别和边界框参数；/n步骤S4：根据步骤S3中得到的字符的边界框参数，对所有字符的边界框的左上角坐标进行排序和组合，得到标志标号的具体内容...

【技术特征摘要】
1.一种基于深度学习的交通标志标号识别方法，其特征在于，包括以下步骤：
步骤S1：从监控摄像头实时捕捉交通标志标号所在场景图像；
步骤S2：将步骤S1中捕捉的原始待测场景图像输入训练好的标志标号检测网络(网络1)，识别场景图像中的标志标号，得到标志标号的边界框参数；
步骤S3：根据步骤S2中得到的标志标号的边界框参数将标志标号所在区域从原始图像中分割出来，将分割出来的标志标号图像输入训练好的字符识别网络(网络2)，识别标志标号所在区域的字符，得到字符的类别和边界框参数；
步骤S4：根据步骤S3中得到的字符的边界框参数，对所有字符的边界框的左上角坐标进行排序和组合，得到标志标号的具体内容。


2.根据权利要求1所述的基于深度学习的交通标志标号识别方法，其特征在于，所述步骤S2具体包括：
步骤S21：将所述场景图像输入标志标号检测网络(网络1)，得到检测结果；
步骤S22：若检测到标志标号，则输出标志标号的边界框参数{xleft,xright,ytop,ybottom}；若未检测到标志标号，则输出“NoneSign”提示信息；
所述边界框参数为标志标号区域矩形边界框在所述场景图像中的左边界的x坐标xleft、右边界的x坐标xright、上边界的y坐标ytop、下边界的y坐标ybottom，其中坐标原点位于场景图像的左上角。


3.根据权利要求2所述的基于深度学习的交通标志标号识别方法，其特征在于，所述标志标号检测网络(网络1)为基于深度学习的目标检测网络——YOLO-Tiny网络，检测的类别数为1：Sign，即标志标号；
所述标志标号检测网络包括conv层、maxpooling层、route层、upsample层、yolo层，一共24层；
所述conv层通过3×3和1×1的卷积核提取原始图像的基本特征，颜色、纹理、形状等，步长为1；
所述maxpooling层采用最大池化的方法，对前一层进行最大采样，滑窗大小为2×2，步长为2；
所述route层将深层的特征图与浅层的特征图进行拼接，同时学习深层和浅层的特征；
所述upsample层对图像进行上采样；
所述yolo层指定所述场景图像类别数参数，计算训练的平均损失值loss，并进行输出；
第0至11层为6个卷积核大小为3×3的所述conv层，每个所述conv层之后是所述maxpooling层；
第12至15层是4个所述conv层，卷积核大小分别为3×3、1×1、3×3、1×1；
第16层是所述yolo层；
第17层是所述route层，拼接所述第13层的特征图；
第18层是卷积核大小为1×1的所述conv层；
第19层是所述upsample层；
第20层是所述route层，将第19层的特征图与所述第8层的特征图进行拼接；
第21至22层是两个卷...

【专利技术属性】
技术研发人员：黄世泽，陶婷，杨玲玉，张肇鑫，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31