一种基于卷积神经网络的交通标志数据集制作方法技术

本发明专利技术提出一种基于卷积神经网络的交通标志数据集制作方法，解决训练神经网络过程中某类特定数据集制作成本和工作量大的问题，一定程度上避免训练神经网络出现的过拟合现象，属于智能化领域。其包括以下步骤：(1)对选用的基准数据集(本发明专利技术实例选用TT100K和CCTSDB数据集)中的所有图片格式、标记格式和与标记边框进行检查；(2)将数据集转换为统一格式；(3)构造用于检测目标的卷积网络；(4)修改检测网络中读取数据集的函数，并利用步骤(3)所设计检测网络在转换格式后的基准数据集中检测交通标志；(5)训练检测网络以优化参数；(6)构造分类网络对已经完成步骤(4)和步骤(5)中的检测任务的交通标志进行分类；(7)整合检测与分类网络，使之互不干扰。

A method of making traffic sign data set based on convolution neural network

The invention provides a method for making traffic sign data set based on convolution neural network, which solves the problem of large cost and workload of making a certain kind of specific data set in the process of training neural network, avoids over fitting phenomenon of training neural network to a certain extent, and belongs to the field of intelligence. The method comprises the following steps: (1) checking all picture formats, mark formats and mark borders in the selected reference data set (tt100k and cctsdb data sets are selected for the example of the invention), (2) transforming the data set into a unified format, (3) constructing a convolution network for detecting the target, (4) modifying the function of reading the data set in the detection network, and using step (3) designing the detection network The traffic signs are detected in the transformed benchmark data set; (5) the detection network is trained to optimize the parameters; (6) the classification network is constructed to classify the traffic signs that have completed the detection tasks in steps (4) and (5); (7) the detection and classification network are integrated so that they do not interfere with each other.

【技术实现步骤摘要】
一种基于卷积神经网络的交通标志数据集制作方法
本专利技术提出一种基于卷积神经网络的交通标志数据集制作方法，解决训练神经网络过程中某类特定数据集制作成本和工作量大的问题，一定程度上避免训练神经网络出现的过拟合现象。属于智能化领域。
技术介绍
随着汽车数量的增长，交通拥堵问题也越发严重。交通标志是道路上十分重要的安全设施之一，具有规范交通行为，指示道路情况的作用，同时也用来引导机动车与非机动车的行驶，指示行人通行。在智能化领域中，检测与识别交通标志是自动驾驶汽车系统中非常重要的一个部分，因此准确的检测与识别交通标志的研究意义也更加突出。在交通标志的识别任务中，交通标志具有在图片中占比较小与种类众多的特点，为准确有效的识别交通标志增加了许多困难与障碍。交通标志在图片中占比较小，将会导致目标检测网络难以检测识别。如果数据集选择或制作不当，很容易造成训练的网络出现比较严重的过拟合现象。因此高质量的数据集对训练网络尤为重要。由于生活中交通标志的种类非常众多，如果要将每种交通标志都准确识别，就需要制作一个庞大的数据集，为这些图片制作标注信息时，需要在图片中圈出交通标志，并在多个类别中选择，这将会是一个非常庞大的工作量。并且交通标志在生活中出现的频率却有很大的不同，有些类别的交通标志出现次数可以破千，而有些类别交通标志出现的次数连10次都不到，甚至只有一次，导致出现次数少的交通标志难以被有效识别。
技术实现思路
针对上述问题，本专利技术的是一种基于卷积神经网络的交通标志数据集制作方法，将交通标示的检测和识别分成两步，通过两个卷积神经网络先后完成，目的是降低制作数据集的难度，一定程度上缓解过拟合现象，专利技术基本流程如图1所示。本专利技术采取如下技术方案：一种基于卷积神经网络的交通标志数据集制作方法包括如下步骤：1)对选用的基准数据集(本专利技术实例选用TT100K和CCTSDB数据集)中的所有图片格式、标记格式和与标记边框进行检查；2)将数据集转换为统一格式；3)构造用于检测目标的卷积网络；4)修改检测网络中读取数据集的函数，并利用步骤(3)所设计检测网络在转换格式后的基准数据集中检测交通标志；；5)训练检测网络以优化参数；6)构造的分类网络对已经完成步骤4)和步骤5)中的检测任务的交通标志进行分类。7)整合检测与分类网络，使之互不干扰。所述步骤1)防止在训练是出现异常，导致网络崩溃或者不准确。所述步骤2)不同网络对于可接受的数据集格式不尽相同，不同组织所制作的数据集格式也各不相同，因此转换数据集为统一的格式，方便网络读取标记信息，对数据进行检查。所述步骤3)采用以AlexNet为基础网络的SSD网络为检测网络，该网络共9层，特征图分别从第2层，第7层，第8层与第9层中进行提取，采用两个3×3大小的卷积核，分别负责检验该特征图中先验框的所对应物体的类别与位置。所述步骤4)修改检测网络中读取数据集的函数，完成获取标记信息与统一图片大小的工作，保存到文件中。以AlexNet为基础网络的SSD网络深度较浅，能够以较快的速度实现TT100K和CCTSDB数据集的目标检测任务。所述步骤5)在训练过程中学习率设置为0.5，L2正则化参数为0.001，每一批训练16张图片，取20％的图片计算验证集的loss，每一轮训练完数据集中的所有图片，一共训练400轮，便可以获得经对比验证的比较好的训练效果。所述步骤6)本专利技术实例的分类网络结构参考了结构简单的经典LeNet-5网络，由两个卷积层，两个池化层与两个全连接层所构成。两个卷积核大小参考了VGG-16和AlexNet网络，最终通过交叉熵代价函数来计算Loss值和随机梯度下降法来进行训练网络。所述步骤7)检测与分类网络的结合需要运行两个网络图，并且不能相互干扰。本专利技术由于采取以上方法，其具有以下优点：1、显著制作数据集的工作量，并可以解决少见交通标志难以寻找的问题。2、可以避免因数据集制作不当而出现的训练网络过拟合问题。附图说明图1本专利技术基本流程图；图2检测网络SSD整体架构；图3SSD_hock_conv结构；图4检测网络训练loss值；图5分类网络结构LeNet-5整体结构；图6分类网络训练准确率；图7分类网络训练loss值具体实施方式下面结合说明书附图通过一个实例对本专利技术做进一步说明，本实例仅为本专利技术其中的一种应用实例。步骤一、由于数据集中的交通标志标记信息可能出现错误，因此在训练之前需要对所有标记数据进行检查，防止在训练时出现异常，导致网络崩溃或者不准确。检查的主要内容为标记格式、标记边框与图片格式。在标记格式的检查中，发现有的数据为整形数，有的为浮点数，为了更好的适应网络，便将所有的浮点数转化为整形数。在标记边框的检查中，发现有的数据可能是缺少小数点，有的数据可能是因为转化误差，导致出现了标记边框坐标超出图片边界的情况，因此需要对这些数据进行更改或者删除。在图片格式中，有些图片为三通道，有些为四通道，如果将这些图片同时输入网络，就会出现通道数无法统一的错误，最终将通道数统一为三通道。步骤二、由于不同网络可以接受的数据集的格式各不相同，不同组织所制作的数据集格式也各不相同，因此需要将数据集转换为统一的格式，然后修改网络读取数据集的函数。首先是将数据集转换为统一的格式。在目标检测网络中，所需要的标记信息主要为以下参数，分别为标记框所属图片，标记框四个坐标与标记框的类别。为了方便处理，便将所有的数据集的标记信息写入到GroundTruth.txt文件中，每一行为每一个标记框的标记信息，标记框的每个信息参数通过分号间隔开。统一数据格式后便可以方便的读取标记信息，对数据信息进行检查，并以此为基础构建标记信息格式转换的脚本代码，将该标记信息转化为其他类型数据格式，以满足在其他网络训练的需要。步骤三、本实例以AlexNet为基础网络构造SSD网络作为检测网络。该网络共9个卷积层如图2所示，特征图分别从第2层，第7层，第8层与第9层中进行提取，采用两个3×3大小的卷积核，分别负责检验该特征图中先验框的所对应物体的类别与位置。由于网络的深度相较VGG-16等深层网络较浅，从而提升目标检测速度。当网络输入的图片为400×260时，这些特征图的大小分别为48×31、23×15、18×12与6×4。所有特征图最终输入到对应的ssd_hock_conv中。以ssd_hock_conv7为例，ssd_hock_conv的结构如图3所示步骤四、修改检测网络SSD中读取数据集的函数，然后在转换格式后的TT100K和CCTSDB数据集中检测交通标志。修改获取标记数据的函数，通过该函数完成获取标记信息与统一图片大小的工作。在获取标记信息中，首先读取GroundTruth.txt每一行的记录信息并存入一个数组中，之后读取每一张图片的名称，为每一张图片建立本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的交通标志数据集制作方法，其包含如下步骤/n1)对选用的基准数据集(本专利技术实例选用TT100K和CCTSDB数据集)中的所有图片格式、标记格式和与标记边框进行检查；/n2)将数据集转换为统一格式；/n3)构造用于检测目标的卷积神经网络；/n4)修改检测网络中读取数据集的函数，并利用步骤(3)所设计检测网络在转换格式后的基准数据集中检测交通标志；/n5)训练检测网络以优化参数；/n6)构造分类网络对已经完成步骤(4)和步骤(5)中的检测任务的交通标志进行分类；/n7)整合检测与分类网络，使之互不干扰。/n

【技术特征摘要】
1.一种基于卷积神经网络的交通标志数据集制作方法，其包含如下步骤
1)对选用的基准数据集(本发明实例选用TT100K和CCTSDB数据集)中的所有图片格式、标记格式和与标记边框进行检查；
2)将数据集转换为统一格式；
3)构造用于检测目标的卷积神经网络；
4)修改检测网络中读取数据集的函数，并利用步骤(3)所设计检测网络在转换格式后的基准数据集中检测交通标志；
5)训练检测网络以优化参数；
6)构造分类网络对已经完成步骤(4)和步骤(5)中的检测任务的交通标志进行分类；
7)整合检测与分类网络，使之互不干扰。


2.如权利要求1所述的一种基于卷积神经网络的交通标志数据集制作方法，其特征在于：所述步骤1)，防止在训练是出现异常，导致网络崩溃或者不准确。


3.如权利要求1的一种基于卷积神经网络的交通标志数据集制作方法，其特征在于：所述步骤2)，不同网络对于可接受的数据集格式不尽相同，不同组织所制作的数据集格式也各不相同，因此转换数据集为统一的格式，方便网络读取标记信息，对数据进行检查。


4.如权利要求1所述的一种基于卷积神经网络的交通标志数据集制作方法，其特征在于：所述步骤3)，本发明的实例采用以AlexNet为基础网络的SSD网络为检测网络，该网络共9层，特征图分...

【专利技术属性】
技术研发人员：郑秋梅，王璐璐，胡永泽，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东;37