一种基于深度学习的交通标志自动识别与标注方法技术

本发明专利技术提供了一种基于深度学习的交通标志自动识别与标注方法，用于智能汽车的环境感知技术领域。本发明专利技术采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域，语义分割结构包含两部分：编码网络；解码网络和基于像素的分类层。然后通过快速区域卷积神经网络对候选区域中的交通标志进行分类识别并定位。基于该交通标志自动识别与标注方法，还相应提供了一种有效的更新地图导航信息的方法。本发明专利技术用语义分割的方法对交通标志候选区域进行定位，提供了新思路，并减少了训练的参数数量，节省了存储空间，缩短了计算时间。本发明专利技术识别准确率高，可以对地图导航信息进行较准确的交通标志信息更新，以方便更好地服务驾驶员。

【技术实现步骤摘要】

本专利技术涉及智能汽车的环境感知
，适用于无人驾驶以及辅助驾驶系统，具体涉及一种基于深度学习的交通标志自动识别与标注方法。技术背景随着社会的发展，汽车已经成为人类日常生活不可替代的交通工具。然而，随之而来的是日益突出的安全问题。当今，地图导航是人们日常出行常用的工具。但地图导航存在着明显的缺点，它提供的路况信息往往会因为道路维修、扩建、改造等原因而发生变化，其中交通标志的信息也时常发生变化。因此，能使用自动识别交通标志的模块定期对地图导航中的信息进行更新是非常必要的，这关乎人们的出行安全。道路交通标志识别模块是无人驾驶汽车环境感知的重要部分，可以通过与GPS共同使用以获取交通标志的精确地理信息和标志含义，同时无人驾驶汽车也可根据所处环境的交通标志指示信息做出正确决策，进而减少交通事故的发生。交通标志包含了道路状况的改变、行驶速度以及驾驶行为限制等重要信息，因此，交通标志自动识别技术有很强的必要性：1)能够为驾驶员提供视力延伸：驾驶员因为身体疲劳、视力不佳、注意力不集中等原因，以及受到光照、恶劣天气等因素干扰，有时不能准确快速获取行驶过程中的交通标志信息；2)能够及时获取真实、准确的交通信息：地图导航仪能自动提示行驶路线以及部分现行规则信息，但是由于地图导航仪不能及时跟上道路中标志牌变化，从而经常发生错误的指引；3)采集和更新地理信息时，可以节省大量的人力和物力。在交通标志的定位检测方面，滑动窗口的方法，如级联分类器或基于梯度方向直方图特征的支持向量机分类器，由于需要在测试图片中要获得大量窗口，使得计算的复杂性和误检率增大。部分学者使用颜色信息对交通标志进行检测，根据图像在一个亮度信号Y和两个色差信号U、V的颜色模型中红色像素所占的比例检测可能的交通标志区域。但是，基于颜色的交通标志检测在强光照、昏暗和不利天气的情况下表现不佳。在交通标志识别方面，现有的交通标志分类识别方法大多是本身的特征和分类器相结合。有学者提出的基于Zernike不变矩与支持向量机的交通标志识别方法，该方法对于交通标志出现旋转、尺度缩放等情况效果不错，但是在改变光照条件下的识别率效果不佳。在自然场景下，光照变化、颜色褪色、运动造成的模糊、复杂的背景、部分遮挡等因素，给交通标志的实时自动检测与识别带来了巨大挑战。现有的方法大多基于人工提取的交通标志特征进行分类识别，泛化能力差。因此，高效准确的交通标志识别系统在智能交通系统中发挥举足轻重的作用，而交通标志的检测与识别算法则是识别系统的核心，决定了识别系统的性能，对于汽车安全驾驶以及无人驾驶汽车正确决策都有着很高的应用价值。
技术实现思路
针对目前交通标志识别差的问题，本专利技术提供了一种基于深度学习的交通标志自动识别与标注方法，获取含有交通标志的图片候选区域，对提取的交通标志候选区域使用快速区域卷积神经网络进行分类识别，实现交通标志识别和标注，本专利技术用于更新地图导航信息，同时为交通标志识别的研究提供新的角度和思路。本专利技术的一种基于深度学习的交通标志自动识别与标注方法，通过以下步骤实现：步骤一：采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域；所述的语义分割结构包含两部分：一部分是编码网络；另一部分是相应的解码网络和基于像素的分类层。所述的编码网络包含VGG16网络的卷积层和最大值池化层，去掉VGG16网络的全连接层；一个卷积层对应一个编码器，每个编码器卷积生成特征图，存储最深的编码器输出的特征图，存储各最大值池化的指数；所述的解码网络中，对应编码网络中的每个编码器有一个解码器，解码器利用相应编码器在最大值池化时的池化指数对输入的特征图进行非线性上采样，生成稀疏的特征图，再对稀疏的特征图经过卷积操作，生成密集特征图；基于像素的分类层是指将解码网络输出的密集特征图送入softmax分类器，对图中的每个像素分别进行分类，输出一个p通道的概率图，p为类别数量。步骤二：将步骤一得到的候选区域输入训练好的快速区域卷积神经网络，对交通标志进行分类识别并定位。所述的快速区域卷积神经网络与解码网络共享卷积层。基于上述的交通标志自动识别与标注方法，本专利技术进一步提供了一种有效的更新地图导航信息的方法，通过以下步骤实现：步骤1：获取精确的地理位置信息和交通标志信息；采用GPS模块获取精确的地理位置信息，并用交通标志识别模块识别出交通标志信息，将两者结合后得到准确的交通标志本身含有的信息以及其所在的地理位置。所述的交通标识识别模块采用所述的交通标志自动识别与标注方法实现。步骤2：对地图导航进行更新；将步骤1识别的交通标识及其所在的地理位置信息，与地图导航仪中的地理信息及交通标志信息进行匹配，如果信息不能匹配则将地图导航信息进行更新，如果完全匹配则地图导航信息保持不变。本专利技术的优点和积极效果在于：1、本专利技术方法具有识别交通标志的种类多、节省存储空间和计算所需的时间、实时性好等优势，可以将由于路况发生变化或者由于更新不及时或不准确的地图导航信息进行较准确的交通标志信息更新，以方便更好地服务驾驶员。2、与现有对交通标志的定位检测的研究角度不同，本专利技术用语义分割的方法对交通标志候选区域进行定位，为交通标志的定位检测提供新的研究思路。本专利技术主要应用于道路场景的理解，解码器利用了相应编码器在最大值池化时的池化指数来进行非线性上采样，避免了学习上采样的过程，同时改善边界的非线性，减少了端到端训练的参数数量，更节省存储空间，同时缩短计算所需的时间。3、交通标志识别阶段中，本专利技术对上述候选区域采用一种与解码网络共享卷积层的快速区域卷积神经网络，能够快速识别高分辨率图片中的交通标志。4、本专利技术充分利用图像卷积的优势，降低了光照变化、颜色褪色、运动造成的模糊、复杂的背景、部分遮挡等因素对图像识别的影响，提高了抗干扰能力，识别准确率高，误识别率低。附图说明图1是本专利技术更新地图导航信息的方法流程示意图；图2是本专利技术的交通标志自动识别和标注的流程示意图；图3是本专利技术方法中交通标志定位检测阶段的示意图；图4是VGG16的网络配置表示意图；图5是ReLU激活函数示意图；图6是解码工作流程示意图。具体实施方式下面结合附图和实施例对本专利技术进行详细陈述。如图1所示，本专利技术采用GPS模块获取地理位置信息，并用交通标志识别模块识别出交通标志信息，将两者结合后与地图导航仪中的地理信息与交通标志信息进行匹配，如果信息不能匹配则将地图导航信息进行更新，如果完全匹配则地图导航信息保持不变。通过此方法，本专利技术可以将由于路况发生变化或者由于更新不及时或不准确的地图导航信息进行较准确的交通标志信息更更新，以方便更好地服务驾驶员。本专利技术的交通标志识别模块中使用本专利技术提出的基于深度学习的交通标志自动识别与标注方法，流程如图2所示，包括以下几个步骤：步骤一：交通标志定位检测阶段，获取含有交通标志的候选区域。交通标志的定位检测阶段是整个交通标志识别的基础，本专利技术采用的语义分割结构包含两部分，一部分是编码网络，另一部分是相应的解码结构和最后的基于像素的分类层，如图3，输出图像中的矩形框选区域为交通标志的候选区域。(1)VGG16网络。在介绍本专利技术的语义分割结构之前，简要介绍一下VGG16结构，如图4所示：每组卷积层由多个卷积层组成，后面紧跟着最大值本文档来自技高网...

【技术保护点】
一种基于深度学习的交通标志自动识别与标注方法，其特征在于，实现步骤如下：步骤一：采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域；所述的语义分割结构包含两部分：一部分是编码网络，另一部分是相应的解码网络和基于像素的分类层；所述的编码网络包含VGG16网络的卷积层和最大值池化层，去掉VGG16网络的全连接层；一个卷积层对应一个编码器，每个编码器卷积生成特征图，存储最深的编码器输出的特征图，存储各最大值池化的指数；所述的解码网络中，对应编码网络中的每个编码器有一个解码器，解码器利用相应编码器在最大值池化时的池化指数对输入的特征图进行非线性上采样，生成稀疏的特征图，再对稀疏的特征图经过卷积操作，生成密集特征图；基于像素的分类层是指将解码网络输出的密集特征图送入softmax分类器，对图中的每个像素分别进行分类，输出一个p通道的概率图，p为类别数量；步骤二：将步骤一得到的候选区域输入训练好的快速区域卷积神经网络，对交通标志进行分类识别并定位；所述的快速区域卷积神经网络与解码网络共享卷积层。

【技术特征摘要】
1.一种基于深度学习的交通标志自动识别与标注方法，其特征在于，实现步骤如下：步骤一：采用语义分割结构对交通标志定位检测，获取含有交通标志的候选区域；所述的语义分割结构包含两部分：一部分是编码网络，另一部分是相应的解码网络和基于像素的分类层；所述的编码网络包含VGG16网络的卷积层和最大值池化层，去掉VGG16网络的全连接层；一个卷积层对应一个编码器，每个编码器卷积生成特征图，存储最深的编码器输出的特征图，存储各最大值池化的指数；所述的解码网络中，对应编码网络中的每个编码器有一个解码器，解码器利用相应编码器在最大值池化时的池化指数对输入的特征图进行非线性上采样，生成稀疏的特征图，再对稀疏的特征图经过卷积操作，生成密集特征图；基于像素的分类层是指将解码网络输出的密集特征图送入softmax分类器，对图中的每个像素分别进行分类，输出一个p通道的概率图，p为类别数量；步骤二：将步骤一得到的候选区域输入训练好的快速区域卷积神经网络，对交通标志进行分类识别并定位；所述的快速区域卷积神经网络与解码网络共享卷积层。2.根据权利要求1所述的一种基于深度学习的交通标志自动识别与标注方法，其特征在于，步骤一中所述的编码网络和解码网络，在训练时，(1)对每个编码器或解码器，权重采用正态分布上的采样数乘以的方式进行初始化，n为编码器或解码器的权重的输入值个数；(2)采用随机梯度下降算法进行训练，训练时使用固定的学习率0.1和动量0.9。(3)使用cross-entropy损失函数Li作为训练网络的目标函数，如下：...

【专利技术属性】
技术研发人员：余贵珍，钟晓明，吴新开，马亚龙，王章宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11