基于深浅特征融合卷积神经网络的路侧图像车辆分割方法技术

本发明专利技术公开了基于深浅特征融合卷积神经网络的路侧图像车辆分割方法，该方法针对智能路侧终端图像中车辆相互粘连造成其边界难以准确获取的难题，首先通过对池化层、不同类型卷积层进行优化设计，得到一个高效的卷积神经网络来分层提取车辆特征，进而将网络浅层所提取的边缘细节特征与深层所提取的语义特征融合，得到深浅特征融合卷积神经网络。本发明专利技术方法在提高分割速度的同时，获得了完整、准确的车辆分割边界，有效克服了单一网络结构难以准确描述车辆边界的不足，满足智能路侧终端对准确性和实时性的要求。

Vehicle Segmentation in Roadside Image Based on Deep-Shallow Feature Fusion Convolutional Neural Network

【技术实现步骤摘要】
基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
本专利技术属于计算机视觉及智能路侧感知
，涉及智能路侧终端图像车辆分割方法，尤其涉及一种基于深浅特征融合卷积神经网络的路侧图像车辆分割方法。
技术介绍
汽车保有量的连续增长使得我国道路交通压力凸显，交通事故尤其是车辆相互碰撞事故严重威胁了驾驶员及乘客的生命安全。为了缓解这种状况，除了制定严格的交通法规外，提高车辆的智能化水平来感知周围车辆，进而辅助驾驶员安全驾驶，可有效防止碰撞事故的发生。然而，当前大部分智能车辆仅利用自车的传感器进行车辆感知，其视野有限并存在视距盲区，对交通场景中车辆相互遮挡的情况适应性不足，存在极大的安全隐患。在这种背景下，智能路侧车辆感知技术的发展为减少车辆碰撞事故的发生提供了新的解决思路，借助路侧感知设备作用范围广的优势，将感知到的车辆信息以通信的手段广播给附近车辆，提醒驾驶员谨慎行驶以避让其它车辆。考虑到成本、可行性等影响因素，目前大部分车辆感知方法是基于计算机视觉的，其中，基于视觉的车辆分割作为车辆感知的重要手段之一得到广泛研究。传统车辆分割方法大多利用图像的颜色、纹理以及边缘等低级特征，特征表达能力有限，对路侧终端图像中车辆相互遮挡、车辆尺度变化的情况适应性不足。近年来，深度学习技术的不断发展为智能路侧终端图像车辆分割任务提供了一种新的解决方案，与传统方法相比，深度学习的突出优势是具有强大的特征表达能力。基于深度神经网络的车辆分割方法对复杂的交通场景有良好的适应性，能够获得更准确的分割性能。然而，由于路侧成像设备视野广阔，能够拍摄到更多的车辆，在图像中这些车辆相互粘连，其边缘呈现出更为复杂的特性，传统的单一网络结构难以获得准确的分割边界。此外，当前大部分分割网络重点关注精度的提升，层数较多并且结构复杂，实时性难以满足路侧终端的需求。
技术实现思路
为解决上述问题，本专利技术公开了一种基于深浅特征融合卷积神经网络的路侧图像车辆分割方法，不仅实现了运算加速，还获得了完备的车辆局部细节信息和全局信息，有效克服了单一网络结构在车辆粘连的情况下难以获得准确分割边界的不足，满足智能路侧终端对车辆分割准确性和实时性的要求。为了达到上述目的，本专利技术提供如下技术方案：基于深浅特征融合卷积神经网络的路侧图像车辆分割方法，包括以下步骤：(1)建立车辆分割数据集；(2)构建深浅特征融合卷积神经网络，首先通过对池化层、不同类型卷积层进行优化设计，得到一个高效的卷积神经网络来分层提取车辆特征，进而将网络浅层所提取的边缘特征与深层所提取的语义特征融合，获得深浅特征融合卷积神经网络，包括以下子步骤：子步骤1：设计池化层，池化层数量为2，均采用最大池化操作，采样尺寸均为2×2，步长均为2；子步骤2：设计扩张卷积层，扩张卷积层数量为5，扩张率分别为2、4、6、8、4，卷积核数量分别为128、128、256、256、512，卷积核大小均为3×3，步长均为1；子步骤3：设计标准卷积层，标准卷积层数量为4，卷积核数量分别为64、64、2、2，卷积核大小分别为3×3、3×3、3×3、1×1，步长均为1；子步骤4：设计分解卷积层，分解卷积层数量为4，卷积核数量分别为256、256、512、512，卷积核大小分别为3×1、1×3、3×1、1×3，步长均为1；子步骤5：设计反卷积层，反卷积层数量为2，卷积核数量分别为2、2，卷积核大小均为3×3，步长均为2；子步骤6：确定网络的浅层特征和深层特征所在位置，浅层特征位于从左至右第5个卷积层，深层特征位于从左至右第12个卷积层；子步骤7：融合浅层特征与深层特征，使用步骤(2)的子步骤3中设计的1×1标准卷积对浅层特征进行降维，使其具有与深层特征相同的维度，然后构建跳跃连接结构将浅层特征与深层特征融合；子步骤8：确定网络架构，根据步骤(2)中的网络层参数建立模型，得到网络架构如下：标准卷积层1_1：用64个3×3的卷积核与A×A像素的输入样本做卷积，步长为1，再经过ReLU激活，得到维度为A×A×64的特征图；标准卷积层1_2：用64个3×3的卷积核与标准卷积层1_1输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为A×A×64的特征图；池化层1：用2×2的核对标准卷积层1_2输出的特征图做最大池化，步长为2，得到维度为的特征图；扩张卷积层2_1：用128个3×3的卷积核与池化层1输出的特征图做卷积，步长为1，扩张率为2，再经过ReLU激活，得到维度为的特征图；扩张卷积层2_2：用128个3×3的卷积核与扩张卷积层2_1输出的特征图做卷积，步长为1，扩张率为4，再经过ReLU激活，得到维度为的特征图；池化层2：用2×2的核对扩张卷积层2_2输出的特征图做最大池化，步长为2，得到维度为的特征图；扩张卷积层3_1：用256个3×3的卷积核与池化层2输出的特征图做卷积，步长为1，扩张率为6，再经过ReLU激活，得到维度为的特征图；标准卷积层3_1_1：用2个1×1的卷积核对扩张卷积层3_1输出的特征图进行降维，步长为1，再经过ReLU激活，得到维度为的特征图；扩张卷积层3_2：用256个3×3的卷积核与扩张卷积层3_1输出的特征图做卷积，步长为1，扩张率为8，再经过ReLU激活，得到维度为的特征图；分解卷积层3_3：用256个3×1的卷积核与扩张卷积层3_2输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为的特征图；分解卷积层3_4：用256个1×3的卷积核与分解卷积层3_3输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为的特征图；分解卷积层3_5：用512个3×1的卷积核与分解卷积层3_4输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为的特征图；分解卷积层3_6：用512个1×3的卷积核与分解卷积层3_5输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为的特征图；扩张卷积层3_7：用512个3×3的卷积核与分解卷积层3_6输出的特征图做卷积，步长为1，扩张率为4，再经过ReLU激活，得到维度为的特征图；标准卷积层3_8：用2个3×3的卷积核与扩张卷积层3_7输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为的特征图；反卷积层4：用2个3×3的卷积核对标准卷积层3_1_1与标准卷积层3_8融合后输出的特征图做反卷积，步长为2，得到维度为的特征图；反卷积层5：用2个3×3的卷积核与反卷积层4输出的特征图做反卷积，步长为2，得到维度为A×A×2的特征图；(3)训练设计的深浅特征融合卷积神经网络，获得网络参数；(4)使用深浅特征融合卷积神经网络进行路侧图像车辆分割。与现有技术相比，本专利技术具有如下优点和有益效果：(1)本专利技术提出了一种适用于智能路侧终端图像的车辆分割方法，借助路侧设备感知范围广的优势，实现车辆的超视距全局感知，克服了当前大部分智能车辆主要依靠自车传感器进行车辆感知从而容易出现视距盲点的不足，有效降低了车辆漏检率。(2)本专利技术针对智能路侧终端图像中车辆粘连时其分割边界难以准确获取的问题，首先通过对池化层、不同类型卷积层进行优化设计，得到一个高效的卷积神经网络来分层提取车辆特征，进而融合浅层特征所包含的边缘细节信息和深层特征所包含的语义信息，得到深浅特征融合本文档来自技高网...

【技术保护点】
1.基于深浅特征融合卷积神经网络的路侧图像车辆分割方法，其特征在于，包括以下步骤：(1)建立车辆分割数据集；(2)构建深浅特征融合卷积神经网络，首先通过对池化层、不同类型卷积层进行优化设计，得到一个高效的卷积神经网络来分层提取车辆特征，进而将网络浅层所提取的边缘特征与深层所提取的语义特征融合，获得深浅特征融合卷积神经网络，包括以下子步骤：子步骤1：设计池化层，池化层数量为2，均采用最大池化操作，采样尺寸均为2×2，步长均为2；子步骤2：设计扩张卷积层，扩张卷积层数量为5，扩张率分别为2、4、6、8、4，卷积核数量分别为128、128、256、256、512，卷积核大小均为3×3，步长均为1；子步骤3：设计标准卷积层，标准卷积层数量为4，卷积核数量分别为64、64、2、2，卷积核大小分别为3×3、3×3、3×3、1×1，步长均为1；子步骤4：设计分解卷积层，分解卷积层数量为4，卷积核数量分别为256、256、512、512，卷积核大小分别为3×1、1×3、3×1、1×3，步长均为1；子步骤5：设计反卷积层，反卷积层数量为2，卷积核数量分别为2、2，卷积核大小均为3×3，步长均为2；子步骤6：确定网络的浅层特征和深层特征所在位置，浅层特征位于从左至右第5个卷积层，深层特征位于从左至右第12个卷积层；子步骤7：融合浅层特征与深层特征，使用步骤(2)的子步骤3中设计的1×1标准卷积对浅层特征进行降维，使其具有与深层特征相同的维度，然后构建跳跃连接结构将浅层特征与深层特征融合；子步骤8：确定网络架构，根据步骤(2)中的网络层参数建立模型，得到网络架构如下：标准卷积层1_1：用64个3×3的卷积核与A×A像素的输入样本做卷积，步长为1，再经过ReLU激活，得到维度为A×A×64的特征图；标准卷积层1_2：用64个3×3的卷积核与标准卷积层1_1输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为A×A×64的特征图；池化层1：用2×2的核对标准卷积层1_2输出的特征图做最大池化，步长为2，得到维度为...

【技术特征摘要】
1.基于深浅特征融合卷积神经网络的路侧图像车辆分割方法，其特征在于，包括以下步骤：(1)建立车辆分割数据集；(2)构建深浅特征融合卷积神经网络，首先通过对池化层、不同类型卷积层进行优化设计，得到一个高效的卷积神经网络来分层提取车辆特征，进而将网络浅层所提取的边缘特征与深层所提取的语义特征融合，获得深浅特征融合卷积神经网络，包括以下子步骤：子步骤1：设计池化层，池化层数量为2，均采用最大池化操作，采样尺寸均为2×2，步长均为2；子步骤2：设计扩张卷积层，扩张卷积层数量为5，扩张率分别为2、4、6、8、4，卷积核数量分别为128、128、256、256、512，卷积核大小均为3×3，步长均为1；子步骤3：设计标准卷积层，标准卷积层数量为4，卷积核数量分别为64、64、2、2，卷积核大小分别为3×3、3×3、3×3、1×1，步长均为1；子步骤4：设计分解卷积层，分解卷积层数量为4，卷积核数量分别为256、256、512、512，卷积核大小分别为3×1、1×3、3×1、1×3，步长均为1；子步骤5：设计反卷积层，反卷积层数量为2，卷积核数量分别为2、2，卷积核大小均为3×3，步长均为2；子步骤6：确定网络的浅层特征和深层特征所在位置，浅层特征位于从左至右第5个卷积层，深层特征位于从左至右第12个卷积层；子步骤7：融合浅层特征与深层特征，使用步骤(2)的子步骤3中设计的1×1标准卷积对浅层特征进行降维，使其具有与深层特征相同的维度，然后构建跳跃连接结构将浅层特征与深层特征融合；子步骤8：确定网络架构，根据步骤(2)中的网络层参数建立模型，得到网络架构如下：标准卷积层1_1：用64个3×3的卷积核与A×A像素的输入样本做卷积，步长为1，再经过ReLU激活，得到维度为A×A×64的特征图；标准卷积层1_2：用64个3×3的卷积核与标准卷积层1_1输出的特征图做卷积，步长为1，再经过ReLU激活，得到维度为A×A×64的特征图；池化层1：用2×2的核对标准卷积层1_2输出的特征图做最大池化，步长为2，得到维度为的特征图；扩张卷积层2_1：用128个3×3的卷积核与池化层1输出的特征图做卷积，步长为1，扩张率为...

【专利技术属性】
技术研发人员：李旭，郑智勇，胡玮明，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32