一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法技术

本发明专利技术公开了一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法，属于辅助驾驶领域。通过增加输入图像尺寸、网格划分密度和多尺度训练，使YOLOv3卷积神经网络对于小目标检测更加准确。从而更加精准的识别面积较小的车尾灯；同时，针对夜间行车环境中复杂的灯光干扰，在darknet53特征提取网络中加入了通道注意力机制‑改进型SE‑Block模块。对不同重要程度的信息进行了加权操作，从而对重要信息进行强化，对不重要信息进行抑制；针对没有开源的夜间车辆数据集，构建了一个新的夜间车辆数据集。填补了这方面的空缺。最终通过对YOLOv3卷积神经网络的改进，使其更加适合夜间车辆识别。在小目标和复杂灯光干扰的环境中可以更加准确、快速地识别夜间车辆。

A night vehicle detection method based on improved yolov3 convolutional neural network

【技术实现步骤摘要】
一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
本专利技术属于辅助驾驶领域，涉及一种夜间车辆检查的方法，尤其是一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法。
技术介绍
随着深度学习在目标检测领域地不断发展，利用卷积神经网络进行实时目标检测已经成为现实。卷积神经网络在特定环境下对于目标检测的速度和准确率已经取得了非常好的效果。相比较于传统目标识别和机器学习等方法。卷积神经网络在速度和精度上都有着不可替代的优势。由于卷积神经网络对不同目标的细微差别有着很好的分辨能力，因此单一网络结构对不同环境下的目标分类效果并不理想。也就是说将白天车辆识别的网络模型用于夜间车辆识别效果并不理想。因此基于夜间行车环境的特点，对卷积神经网络进行了相应的改进。深度学习中，常用于图像目标检测的卷积神经网络有Faster-RCNN、SSD系列和YOLO系列。其中YOLOv3卷积神经网络可以很好地平衡目标识别准确率和目标识别速度，从而被广泛应用于目标检测中。利用YOLOv3卷积神经网络识别夜间车辆存在着以下几个问题：一、目前开源数据集多为白天车辆数据集，用白天车辆数据集训练的网络模型不能有效地识别夜间车辆；二、夜间环境由于光线不足，导致车辆整体特征不明显、车辆细节和车辆边缘特征缺失。因此利用特征明显的车尾灯进行车辆识别。但是车尾灯面积小，而YOLOv3卷积神经网络对于小目标检测并不友好；三、夜间环境中广告灯、路灯等灯光背景会对夜间车辆识别产生干扰。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点，提供一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法。针对小目标检测和复杂灯光背景两大问题，设计了适用与夜间车辆检测的网络结构：一、通过增加输入图像尺寸、增加网格划分密度和多尺度训练等方式使YOLOv3卷积神经网络提升对小目标检测的准确率；二、通过增加改进型SE-Block模块，使YOLOv3卷积神经网络获得注意力机制，对重要信息和不重要信息进行加权操作，从而提升YOLOv3卷积神经网络在复杂灯光背景下的目标检测速度和准确率。为达到上述目的，本专利技术采用以下技术方案予以实现：一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法，包括如下步骤：步骤1：采集图像，将输入图像做等比例变换，然后用黑色像素填充成正方形图像；步骤2：将填充后的正方形图像随机缩放1-3个单位，进行多尺度训练；步骤3：将随机缩放后的正方形图像放入到darknet53特征提取网络中进行特征提取；步骤4：对步骤3特征提取得到的特征图通过全卷积网络进行目标定位和识别；步骤5：利用非极大值抑制对交并比大于0.5的预测框进行筛选，过滤掉同一夜间车辆的多余预测框。本专利技术车辆检测方法的进一步改进在于：步骤1中对输入图像进行等比例变换，然后利用黑色像素填充成正方形图像，具体为：步骤1-1，输入图像进行等比例变换设原始图像长宽分别为h1、w1，原始图像的长边lmax＝max(h1，w1)，进行等比例变换后图像长宽分别为h2、w2；等比例变换后图像长h2为：等比例变换后图像宽w2为：步骤1-2，等比例变换后图像进行填充以等比例变换后图像的中心点为坐标原点，以一个像素长度为单位长度建立坐标系；f(x，y)表示该坐标系中(x，y)点像素的像素值；填充得到一个832像素边长的正方形图像作为YOLOv3卷积神经网络的输入图像。步骤2中图像多尺度变换，是将步骤1填充好的正方形图像通过最近邻插值法将边长随机缩放1-3个单位长度，每个单位长度为64个像素，最终获得一个边长为832±n×64，1≤n≤3的正方形图像，其中n表示图片边长随机缩放单位长度的个数。步骤3中的darknet53特征提取网络是在残差网络模块的残差映射中加入改进型SE-Block模块；改进型SE-Block模块具体步骤为：步骤3-1，经过卷积后得到c×h×w的特征图，其中c表示特征通道数，h表示特征图的高度，w表示特征图的宽度；步骤3-2，通过全局池化层对每个特征通道进行通道压缩，Fn表示第n个特征通道经过全局池化层后得到的实数，un(i，j)表示第n个特征通道中(i，j)坐标点的特征值；全局池化操作：步骤3-3，通道压缩后产生了c个实数F1、F2...、Fc，将这c个实数经过两个全连接层进行通道激活；全连接层c1的网络尺寸为δ表示ReLU激励层，表示经过第一个全连接层进行通道激活后得到的权重：全连接层c2的网络尺寸为1×1×c，δ表示ReLU激励层，表示经过第二个全连接层进行通道激活后得到的权重：步骤3-4，通道激活后得到权重经过Sigmoid函数归一化结果σ：步骤3-5，归一化结果σ加上0.5得到最终权重步骤3-6，残差网络的残差映射得到特征图为改进型SE-Block模块得到的通道权重为加入改进型SE-Block模块的残差映射得到的特征图为步骤4中目标定位和识别，具体为：步骤4-1，通过五次下采样后，尺寸为832×832的输入图像变为104×104的第一预测层特征图；步骤4-2，尺寸为104×104的特征图经过通道数为18的全卷积层，每个特征点都会生成三个预测框，每个预测框包含六个数据，分别为预测框长w、预测框宽h、预测框中心点坐标(x，y)、预测框置信度confidence和预测框类别概率class。与现有技术相比，本专利技术具有以下有益效果：本专利技术是在原有的YOLOv3卷积神经网络的基础上，增加输入图像尺寸、增加网格划分密度和多尺度训练。使YOLOv3卷积神经网络对于小目标检测更加精准；其次提出了一种改进型SE-Block模块，并将其加入到YOLOv3的特征提取网络中，使网络自主学习重要信息和背景信息。将重要信息增强，背景信息抑制。从而YOLOv3在复杂灯光干扰下的目标检测速度和准确率得到了提高。【附图说明】图1为本专利技术的流程示意图；图2为本专利技术的图像填充示意图；图3为本专利技术中改进型SE-Block模块结构示意图；图4为夜间车辆图；图5为夜间车尾灯识别图。【具体实施方式】为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，不是全部的实施例，而并非要限制本专利技术公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本专利技术公开的概念。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。在附图中示出了根据本专利技术公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略本文档来自技高网...

【技术保护点】
1.一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法，其特征在于，包括如下步骤：/n步骤1：采集图像，将输入图像做等比例变换，然后用黑色像素填充成正方形图像；/n步骤2：将填充后的正方形图像随机缩放1-3个单位，进行多尺度训练；/n步骤3：将随机缩放后的正方形图像放入到darknet53特征提取网络中进行特征提取；/n步骤4：对步骤3特征提取得到的特征图通过全卷积网络进行目标定位和识别；/n步骤5：利用非极大值抑制对交并比大于0.5的预测框进行筛选，过滤掉同一夜间车辆的多余预测框。/n

【技术特征摘要】
1.一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法，其特征在于，包括如下步骤：
步骤1：采集图像，将输入图像做等比例变换，然后用黑色像素填充成正方形图像；
步骤2：将填充后的正方形图像随机缩放1-3个单位，进行多尺度训练；
步骤3：将随机缩放后的正方形图像放入到darknet53特征提取网络中进行特征提取；
步骤4：对步骤3特征提取得到的特征图通过全卷积网络进行目标定位和识别；
步骤5：利用非极大值抑制对交并比大于0.5的预测框进行筛选，过滤掉同一夜间车辆的多余预测框。


2.如权利要求1所述基于改进型YOLOv3卷积神经网络的夜间车辆检测方法，其特征在于，步骤1中对输入图像进行等比例变换，然后利用黑色像素填充成正方形图像，具体为：
步骤1-1，输入图像进行等比例变换
设原始图像长宽分别为h1、w1，原始图像的长边lmax＝max(h1,w1)，进行等比例变换后图像长宽分别为h2、w2；
等比例变换后图像长h2为：



等比例变换后图像宽w2为：



步骤1-2，等比例变换后图像进行填充
以等比例变换后图像的中心点为坐标原点，以一个像素长度为单位长度建立坐标系；f(x,y)表示该坐标系中(x,y)点像素的像素值；



填充得到一个832像素边长的正方形图像作为YOLOv3卷积神经网络的输入图像。


3.如权利要求1所述基于改进型YOLOv3卷积神经网络的夜间车辆检测方法，其特征在于，步骤2中图像多尺度变换，是将步骤1填充好的正方形图像通过最近邻插值法将边长随机缩放1-3个单位长度，每个单位长度为64个像素，最终获得一个边长为832±n×64，1≤n≤3的正方形图像，其中n表示图片边长随机缩放单位长度的个数。


4.如权利要求1所述基于改进型YOLOv3卷积神经...

【专利技术属性】
技术研发人员：乔瑞萍，张连超，党祺玮，翟沛源，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61