本发明专利技术公开了一种基于Fast R‑CNN的路面交通标志识别方法，包括步骤：进行图像采集和预处理，制作样本集；将训练集输入，多任务训练Fast R‑CNN网络；待识别图片经过若干卷积层与池化层，得到特征图；由候选框得到对应的特征框，经由ROI池化层和全连接层，分别得到分类得分和窗口回归两个输出向量；将所有结果通过非极大值抑制处理产生最终的目标检测和识别结果，交通标志得以识别。本发明专利技术采用Fast R‑CNN这一深度学习方法，规避了区域卷积神经网络R‑CNN中冗余的特征提取操作，实现了多任务训练，也不需要额外的特征存储空间，提高了检测速度和精度。相比于浅层学习分类器，它具有更高的学习效率和识别精度。
【技术实现步骤摘要】
一种基于FastR-CNN的路面交通标志识别方法
本专利技术属于图像处理和汽车安全辅助驾驶领域，尤其是涉及一种基于FastR-CNN的路面交通标志检测与识别方法，用以解决路面交通标志识别问题中识别精度不高的问题。
技术介绍
道路交通标志识别(TSR,TrafficSignsRecognition)作为车载辅助系统中一个重要分支，是目前尚未解决的难题之一。由于交通标志中含有许多重要的交通信息，如对当前行车的速度提示、前方道路状况的变化、驾驶员行为制约，因此在该辅助系统中，如何快速、准确、有效地识别出道路中的交通标志并将之反馈给驾驶人员或控制系统，对于保证驾驶安全,避免交通事故的发生具有十分重要的研究意义。路面交通标志识别常用的方法包括基于形状的识别方法，特征提取与分类器结合的方法，深度学习的识别方法。基于形状的识别方法鲁棒性较差，复杂环境中效果不佳。特征提取与分类器结合的方法识别效果较好，但计算开销大，环境适应能力比较差。深度学习能够直接对原始图像进行识别，提取反映数据本质的隐性特征，具有足够的学习深度。卷积神经网络具有局部权值共享的特性，对于环境复杂、多角度变化等情况都具有一定的实时性和鲁棒性。因此，需要设计一种能够精确获取道路场景中路面交通标志的识别方法。RossB.Girshick在2015年提出FastR-CNN算法，规避了R-CNN(Region-basedConvolutionalNeuralNetwork)中冗余的特征提取操作，实现了多任务训练，也不需要额外的特征存储空间，提高了检测速度和精度。
技术实现思路
为解决现有技术存在的上述问题，本专利技术要设计一种基于FastR-CNN的路面交通标志识别方法，能够精确获取道路场景中路面交通标志的，以便有助于辅助驾驶员在复杂的条件下更好地感知车外环境，预防交通事故的发生。为了实现上述目的，本专利技术的技术方案如下：一种基于FastR-CNN的路面交通标志识别方法，包括步骤：进行图像采集和预处理，制作样本集；将训练集输入，多任务训练FastR-CNN网络；将待识别图片输入FastR-CNN网络，经过若干卷积层与池化层，得到特征图；采用选择搜索(SelectiveSearch)算法提取若干个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI池化层中将每个特征框池化到固定大小；将特征框经过全连接层得到固定大小的特征向量，所述特征向量经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；将所有结果进行非极大值抑制处理产生最终的目标检测和识别结果，路面交通标志得以识别。进一步地，所述图像采集的步骤具体包括：开启车载行车记录仪，实时拍摄道路交通视频信息；将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列；对图像集合进行筛选，选取包含路面交通标志的图像。进一步地，所述图像预处理和样本集制作的步骤具体包括：在选取的图像中，将目标区域取出，并缩放到固定的224×224大小，为增强对比度，再将目标区域经过对比度增强处理，得到原始的训练集，测试集采用同样的方式处理；将原始训练集经过旋转[-12°,12°],缩放[0.4，1.6]后，加入原始数据集中，组成新的训练集；在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集。进一步地，所述FastR-CNN网络结构包括：13个卷积层，4个池化层，1个ROI池化层，2个全连接层和两个平级层。进一步地，所述ROI池化层中将每个特征框池化到7×7的固定大小。进一步地，所述的多任务训练FastR-CNN网络的全连接输出包括两个分支：cls_score层和bbox_pred层，所述cls_score层用于分类，所述bbox_pred层用于调整候选框位置。进一步地，所述特征向量经由各自的全连接层时，期间经过奇异值分解(SVD,SingularValueDecomposition)加速，分别得到两个输出向量，即Softmax的分类得分和Bounding-box窗口回归。进一步地，对全连接输出的两个分支，利用随机梯度下降法训练输出层的分类层和回归层直至分类和回归的损失函数收敛。进一步地，所述将所有结果进行非极大值抑制处理的步骤具体包括：根据输出的两个分支，利用窗口得分分别对每一类物体进行非极大值抑制剔除重叠候选框，最终得到每个类别中回归修正后的得分最高的窗口。进一步地，所述路面交通标志包括直行箭头、掉头箭头、向左箭头、向右箭头、直行向左箭头、直行向右箭头、菱形标线。相比现有技术，本专利技术为了解决上述现有技术中的至少一些问题，提出了一种基于FastR-CNN的交通标志检测与识别方法。该方法自行制作路面交通标志数据集，通过深度学习从样本中学习特征，能够提取到反映数据本质的隐性特征，具有更高的学习效率和识别精度，提高了检测算法的鲁棒性，有效提高了路面交通标志检测的准确性。附图说明本专利技术提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现专利技术概念的一些专利技术的非限制性示例，而不是用于做出任何限制。图1是根据本专利技术的一些示范实施例的基于FastR-CNN的路面交通标志识别方法的流程图。图2是根据本专利技术的一些示范实施例的FastR-CNN网络结构图。图3是根据本专利技术的一些示范实施例的多任务训练代价函数示意图。图4是根据本专利技术的一些示范实施例的部分交通标志样本集的示意图。图5是根据本专利技术的一些示范实施例的基于FastR-CNN的路面交通标志识别方法的检测结果示意图。具体实施方式下面结合附图和技术方案对本专利技术作详细说明。如附图1所示为基于FastR-CNN的路面交通标志识别方法的流程图，本专利技术的具体实施方式为：一种基于FastR-CNN的路面交通标志识别方法，包括步骤：进行图像采集和预处理，制作样本集；将训练集输入，多任务训练FastR-CNN网络；将待识别图片输入FastR-CNN网络，经过若干卷积层与池化层，得到特征图；采用选择搜索(SelectiveSearch)算法提取约2000个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI(感兴趣区域，RegionofInterest)池化层中将每个特征框池化到固定大小；将所述特征框经过全连接层得到固定大小的特征向量，经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；将所有结果通过非极大值抑制处理产生最终的目标检测和识别结果，交通标志得以识别。在一些实施例中，所述图像采集的步骤具体包括：开启车载行车记录仪，实时拍摄道路交通视频信息，选用行车记录仪拍摄的视频分辨率为1280*720的视频图像；对所拍摄的视频图像进行分帧处理，得到一个图像集合序列；对图像集合进行筛选，从其中选取出现次数较多的7种路面交通标志。具体而言，所述图像预处理和样本集制作的步骤具体包括：在选取的图像中，将目标区域取出，并缩放到固定的224×224大小，为增强对比度，再将目标区域经过对比度增强处理，构成原始训练集，测试集采用同样的方式处理；将原始训练集经过旋转[-12°,12°]，缩放[0.4，1.6]后，加入原始数据集中组成新的训练集；在新的数据集中随机取出与测试集数目相当的样本本文档来自技高网...
【技术保护点】
一种基于Fast R‑CNN的路面交通标志识别方法，其特征在于，包括步骤：进行图像采集和预处理，制作样本集；将训练集输入，多任务训练Fast R‑CNN网络；将待识别图片输入Fast R‑CNN网络，经过若干卷积层与池化层，得到特征图；采用选择搜索算法提取若干个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI池化层中将每个特征框池化到固定大小；将所述特征框经过全连接层得到固定大小的特征向量，所述特征向量经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；将所有结果进行非极大值抑制处理产生最终的目标检测和识别结果，路面交通标志得以识别。
【技术特征摘要】
1.一种基于FastR-CNN的路面交通标志识别方法，其特征在于，包括步骤：进行图像采集和预处理，制作样本集；将训练集输入，多任务训练FastR-CNN网络；将待识别图片输入FastR-CNN网络，经过若干卷积层与池化层，得到特征图；采用选择搜索算法提取若干个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI池化层中将每个特征框池化到固定大小；将所述特征框经过全连接层得到固定大小的特征向量，所述特征向量经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；将所有结果进行非极大值抑制处理产生最终的目标检测和识别结果，路面交通标志得以识别。2.如权利要求1所述的路面交通标志识别方法，其特征在于：所述图像采集的步骤具体包括：开启车载行车记录仪，实时拍摄道路交通视频信息；将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列；对图像集合进行筛选，选取包含路面交通标志的图像。3.如权利要求1所述的路面交通标志识别方法，其特征在于：所述图像预处理和样本集制作的步骤具体包括：在选取的图像中，将目标区域取出，并缩放到固定的224×224大小，为增强对比度，再将目标区域经过对比度增强处理，得到原始的训练集，测试集采用同样的方式处理；将原始训练集经过旋转[-12°,12°],缩放[0.4，1.6]后，加入原始数据集中，组成新的训练集；在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集。4.如权利要求1所述的路面交通标...
【专利技术属性】
技术研发人员：刘兰馨，李巍华，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。