一种基于循环卷积神经网络的黑烟车检测方法技术

本发明专利技术公开了一种基于循环卷积神经网络的黑烟车检测方法，针对复杂的路面场景，设计采用长短时间记忆网络融合卷积神经网络提取的静态特征，保持高的捕获率的同时，能保证很低的误检率，稳定可靠。本发明专利技术基于前景面积进行过滤，小于一定面积的前景目标，减少了运算量和大量误检；通过引入卷积神经网络进行特征提取，通过自建的大量车尾样本数据集，能提高单帧图像的检测率，同时也保证了单帧静态图像静态特征的有效性；由于设计了长短时间记忆网络，通过组合连续帧的空间特征，挖掘连续车辆尾部图像的时空特征。在保证高检测率的同时，能够降低大量因为阴影等情况造成的误报，这样的方法大大提高了识别精度。

【技术实现步骤摘要】
一种基于循环卷积神经网络的黑烟车检测方法
本专利技术属于计算机视觉和交通视频检测领域，涉及一种基于循环卷积神经网络的黑烟车检测方法。
技术介绍
汽车尾气排放是造成城市空气污染的主要因素。为了保护大气环境，政府制定了一系列车辆排放标准和监管措施。但是，由于技术限制，环保部门仍采用人工方法收集黑烟车证据。目前城市中已经有大量的监控摄像头可供使用，因此基于视觉的烟雾车辆检测无疑是一种低成本且前景广阔的方法。智能视频系统在过去十年中已经从实际需求大幅增长，受到运输中各种计算机视觉技术的推动，但很少有研究涉及烟雾车辆的检测。因此，高效稳定的烟雾车辆检测算法对有效的大气污染控制和减缓策略的开发和评价具有重要的科学意义。传统的黑烟车检测方法中，有基于远红外线摄像头和高分辨率可见波长摄像头来检测烟雾，并从视频中分析汽车尾气。Tatikonda等人设计了基于FPGA的尾气检测装置，但是这些方法都需要安装额外的硬件设备，如中波红外相机和一氧化碳传感器等，成本相对高昂。此外，现有的基于计算机视觉的黑烟车检测算法大多是基于手工特征，手工特征的缺点在于很难适应不同的复杂场景。
技术实现思路
为解决上述问题，本专利技术公开了一种基于循环卷积神经网络的黑烟车检测方法，针对复杂的路面场景，设计采用长短时间记忆网络融合卷积神经网络提取的静态特征，保持高的捕获率的同时，能保证很低的误检率，稳定可靠。对路面的运动车辆前景目标进行分析，通常会引入许多干扰信息，例如行人、自行车等。这些会在一定程度上对算法产生干扰。为了解决上述问题，本专利技术基于前景面积进行过滤。而车辆尾部信息较为复杂，包括阴影、路面纹理以及车辆本身的外形等。传统的手工特征无法适应多种场景。为了克服这一点，本专利技术引入卷积神经网络进行特征提取。车辆尾气因为光照、阴影、气流扰动等因素，轮廓、透明度、颜色等特征通常会快速变化。若基于单幅图像往往会引入诸多偶然因素等，导致识别精度下降。为了解决上述问题，本专利技术设计了长短时间记忆网络。为了达到上述目的，本专利技术提供如下技术方案：一种基于循环卷积神经网络的黑烟车检测方法，包括以下步骤：步骤1：基于大量道路监控视频，采用前景检测算法提取车辆序列图像样本，建立黑烟车序列图像分类数据集，包括训练集与测试集；步骤2：在公开数据集上预训练卷积神经网络模型，得到1000分类的预训练模型；步骤3：冻结卷积神经网络的浅层特征提取部分的权值，不使用原有1000分类的全连接层分类器，新增本项目所需的二分类顶层全连接层分类器，然后在步骤1建立的黑烟车分类数据集上精调步骤2得到的模型参数；步骤4：通过步骤3训练得到能够用于单帧图像分类的卷积神经网络模型，对步骤1的序列图像样本数据逐帧进行前向计算，将序列图像数据按照时间顺序转换为序列特征向量；步骤5：设计输入维度与步骤4的特征向量维度相同的循环神经网络，采用长短时间记忆网络作为循环神经网络主体，经过特定的时间步长后，通过全连接层预测序列分类；步骤6：采用基于时间的反向传播算法对长短时间记忆网络进行训练，在步骤4得到的特征向量数据集上训练与验证长短时间记忆网络的分类效果；步骤7：通过步骤6选取表现最优异的序列分类模型后，对算法模型进行部署，包括步骤3得到的卷积神经网络和步骤6得到的长短时间记忆网络；模型部署后只有前向计算过程，不需要进行训练时的反向传播过程；通过前景检测算法得到车辆候选框，使用卷积神经网络提取车尾静态特征，堆叠连续多帧静态特征后依次传入长短时间记忆网络进行分类，得到预测概率。进一步的，所述步骤1中建立的黑烟车序列图像样本数据集包括黑烟车与非黑烟车两类样本，图像尺寸均为299×299，样本采集时采用隔帧降采样处理，序列样本长度选择10帧到30帧，样本采集时覆盖影响图像的各种因素。进一步的，所述步骤2中在ImageNet数据集上预训练模型，采用Inception网络结构设计。进一步的，所述步骤3中在黑烟车分类数据集上再次精调及测试的过程具体为：通过添加堆叠新的全连接层，在训练好的神经网络模型的基础上定义一个新的顶层分类器；在新分类器的顶部，隐层节点通过全连接层将特征进一步抽象，最终连接到输出单元；新堆叠的层使用relu作为激活函数，并使用softmax进行分类；在基于黑烟车样本数据集的训练阶段，选择仅训练前2个Inception初始块和新堆叠层，并冻结前172个层。进一步的，所述步骤4中，通过卷积神经网络对序列图像数据进行前向计算，得到每帧序列数据的空间特征，将Inception网络的avg_pool层的输出作为空间特征，由卷积神经网络提取的2048维空间特征用于后续分析。进一步的，所述步骤5中长短时间记忆网络隐层单元使用输入门、忘记门和输出门控制神经网络单元中信息的流动，按照时间顺序，长短时间记忆网络每次输入2048维的单帧图像空间特征，隐藏单元中的信息与之前所有的特征输入相关。进一步的，所述步骤6中基于时间的反向传播算法具体包括如下步骤：步骤601、长短时间记忆网络训练：长短时间记忆网络的初始参数采用随机初始化，损失函数采用交叉熵损失函数L(p,q)：其中p是真实标签向量，q是网络预测的概率向量；pi是真实标签中的第i个元素，qi是神经网络实际输出概率中的第i个元素；神经网络最后一层的Softmax函数输出的概率分别对应预测为0或1的概率，定义预测结果为1的概率为同理，预测结果为0的概率真实标签对应1和0的概率值表示为py＝1＝y和py＝0＝1-y；步骤602、在步骤4得到的特征向量序列数据集上交叉验证，训练时测试不同的训练超参数设置，选取表现最优异的模型。进一步的，所述步骤602中训练时测试不同的训练超参数设置，选取表现最优异的模型。进一步的，所述步骤7中卷积神经网与长短时间记忆网络具体部署流程如下：步骤701、对完整的视频监控图像进行前景检测，得到当前视频的前景区域。通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块；步骤702、得到前景区域块后，截取下半部分区域；通过卷积神经网络进行特征提取，得到2048维的静态特征；步骤703、将静态特征按照时间顺序传入长短时间记忆网络，最后长短时间记忆网络综合输入的多帧静态特征后，计算得到最终的分类结果。进一步的，所述步骤701中，面积较小的前景区域块包括：行人、自行车、电动车以及视野中较远的车辆目标。进一步的，所述步骤702中，在实际部署时采用隔帧降采样。与现有技术相比，本专利技术具有如下优点和有益效果：1.本专利技术基于前景面积进行过滤，小于一定面积的前景目标，减少了运算量和大量误检。2.本专利技术引入卷积神经网络进行特征提取，通过自建的大量车尾样本数据集，能提高单帧图像的检测率，同时也保证了单帧静态图像静态特征的有效性。3.本专利技术设计了长短时间记忆网络，通过组合连续帧的空间特征，挖掘连续车辆尾部图像的时空特征。在保证高检测率的同时，能够降低大量因为阴影等情况造成的误报，这样的方法大大提高了识别精度。附图说明图1是本专利技术提供的基于循环卷积神经网络的黑烟车检测方法流程图。图2是本专利技术的神经网络结构图。具体实施方式以下将结合具体实施例对本专利技术提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。本专利技术提供的基于循环卷积神经网络本文档来自技高网...

【技术保护点】
1.一种基于循环卷积神经网络的黑烟车检测方法，其特征在于，包括以下步骤：步骤1：基于大量道路监控视频，采用前景检测算法提取车辆序列图像样本，建立黑烟车序列图像分类数据集，包括训练集与测试集；步骤2：在公开数据集上预训练卷积神经网络模型，得到1000分类的预训练模型；步骤3：冻结卷积神经网络的浅层特征提取部分的权值，不使用原有1000分类的全连接层分类器，新增本项目所需的二分类顶层全连接层分类器，然后在步骤1建立的黑烟车分类数据集上精调步骤2得到的模型参数；步骤4：通过步骤3训练得到能够用于单帧图像分类的卷积神经网络模型，对步骤1的序列图像样本数据逐帧进行前向计算，将序列图像数据按照时间顺序转换为序列特征向量；步骤5：设计输入维度与步骤4的特征向量维度相同的循环神经网络，采用长短时间记忆网络作为循环神经网络主体，经过特定的时间步长后，通过全连接层预测序列分类；步骤6：采用基于时间的反向传播算法对长短时间记忆网络进行训练，在步骤4得到的特征向量数据集上训练与验证长短时间记忆网络的分类效果；步骤7：通过步骤6选取表现最优异的序列分类模型后，对算法模型进行部署，包括步骤3得到的卷积神经网络和步骤6得到的长短时间记忆网络；模型部署后只有前向计算过程，不需要进行训练时的反向传播过程；通过前景检测算法得到车辆候选框，使用卷积神经网络提取车尾静态特征，堆叠连续多帧静态特征后依次传入长短时间记忆网络进行分类，得到预测概率。...

【技术特征摘要】
1.一种基于循环卷积神经网络的黑烟车检测方法，其特征在于，包括以下步骤：步骤1：基于大量道路监控视频，采用前景检测算法提取车辆序列图像样本，建立黑烟车序列图像分类数据集，包括训练集与测试集；步骤2：在公开数据集上预训练卷积神经网络模型，得到1000分类的预训练模型；步骤3：冻结卷积神经网络的浅层特征提取部分的权值，不使用原有1000分类的全连接层分类器，新增本项目所需的二分类顶层全连接层分类器，然后在步骤1建立的黑烟车分类数据集上精调步骤2得到的模型参数；步骤4：通过步骤3训练得到能够用于单帧图像分类的卷积神经网络模型，对步骤1的序列图像样本数据逐帧进行前向计算，将序列图像数据按照时间顺序转换为序列特征向量；步骤5：设计输入维度与步骤4的特征向量维度相同的循环神经网络，采用长短时间记忆网络作为循环神经网络主体，经过特定的时间步长后，通过全连接层预测序列分类；步骤6：采用基于时间的反向传播算法对长短时间记忆网络进行训练，在步骤4得到的特征向量数据集上训练与验证长短时间记忆网络的分类效果；步骤7：通过步骤6选取表现最优异的序列分类模型后，对算法模型进行部署，包括步骤3得到的卷积神经网络和步骤6得到的长短时间记忆网络；模型部署后只有前向计算过程，不需要进行训练时的反向传播过程；通过前景检测算法得到车辆候选框，使用卷积神经网络提取车尾静态特征，堆叠连续多帧静态特征后依次传入长短时间记忆网络进行分类，得到预测概率。2.根据权利要求1所述的基于循环卷积神经网络的黑烟车检测方法，其特征在于，所述步骤1中建立的黑烟车序列图像样本数据集包括黑烟车与非黑烟车两类样本，图像尺寸均为299×299，样本采集时采用隔帧降采样处理，序列样本长度选择10帧到30帧，样本采集时覆盖影响图像的各种因素。3.根据权利要求1所述的基于循环卷积神经网络的黑烟车检测方法，其特征在于，所述步骤2中在ImageNet数据集上预训练模型，采用Inception网络结构设计。4.根据权利要求1所述的基于循环卷积神经网络的黑烟车检测方法，其特征在于，所述步骤3中在黑烟车分类数据集上再次精调及测试的过程具体为：通过添加堆叠新的全连接层，在训练好的神经网络模型的基础上定义一个新的顶层分类器；在新分类器的顶部，隐层节点通过全连接层将特征进一步抽象，最终连接到输出单元；新堆叠的层使用relu作为激活函数，并使用softmax进行分类；在基于黑烟车样本数据集的训练阶段，选择仅...

【专利技术属性】
技术研发人员：路小波，曹毅超，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32