基于非对称卷积的具有粒度级多尺度特性的车辆检测方法技术

本发明专利技术公开了基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，包括以下步骤：步骤S1：通过视频流获取若干包含车辆的图片，制作车辆目标检测数据集，包括训练集和测试集；步骤S2：设计非对称卷积AC单元；步骤S3：将非对称卷积AC单元嵌入Res2Net模块构建具有粒度级多尺度特性的非对称卷积ACB模块；步骤S4：将ACB模块嵌入轻量化模型ShuffleNetV2中构建基于卷积神经网络的车辆目标分类网络ACBNet；步骤S5：利用所制作的车辆目标训练集训练车辆目标分类网络ACBNet；步骤S6：将测试集图片放入分类网络ACBNet进行分类，之后再经过残差预测模块处理获得所预测图像或视频中车辆的类别和位置信息并框出车辆目标。

Vehicle detection method with granularity multi-scale characteristics based on asymmetric convolution

【技术实现步骤摘要】
基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
本专利技术涉及深度学习中的视频检测
，特别涉及基于非对称卷积的具有粒度级多尺度特性的车辆检测方法。
技术介绍
近年来，随着市场需求的增长以及人工智能的不断发展，自动驾驶逐步成为了各大学者研究的热点问题之一。车辆目标检测作为自动驾驶中的一个重要步骤，也是大家研究的主要问题之一。在智能交通监控视频中，目标检测技术也得到了广泛的应用。车辆检测技术是利用计算机视觉技术判断静态图像或动态视频中是否存在车辆并定位车辆的位置信息。在现实生活的交通场景中，车辆目标检测受到多种因素的干扰，如：光照、遮挡等。如何快速地、准确地对复杂交通场景下的车辆进行检测、识别已经成为一个值得深入研究的课题。基于深度学习特征提取的车辆检测方法学到的特征具有很强层次表达能力，可以更好的解决一些视觉问题。然而现有的基于深度学习的车辆检测方法鲁棒性以及解决多尺度问题表现欠佳。
技术实现思路
为了克服现有技术中的不足，本专利技术提供基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，用以解决现有技术中实时性和鲁棒性低、多尺度问题检测性能相对较差的问题。为了达到上述专利技术目的，解决其技术问题所采用的技术方案如下：基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，包括以下步骤：步骤S1：通过视频流获取若干包含车辆的图片，制作车辆目标检测数据集，包括训练集和测试集；步骤S2：设计非对称卷积AC单元；步骤S3：将步骤S2设计的非对称卷积AC单元嵌入Res2Net模块构建具有粒度级别多尺度特性的非对称卷积ACB模块；步骤S4：将步骤S3设计的ACB模块嵌入轻量化模型ShuffleNetV2中构建基于卷积神经网络的车辆目标分类网络ACBNet；步骤S5：利用所制作的车辆目标训练集训练车辆目标分类网络ACBNet；步骤S6：将测试集图片放入步骤S5训练好的分类网络ACBNet进行分类，之后再经过具有通道和空间注意力的残差预测模块处理获得所预测图像或视频中车辆的类别和位置信息并框出车辆目标。进一步的，步骤S2具体为：一个AC单元由卷积核为1×3和1×3、1×3、3×1三个平行分支组成，对于AC单元中的一个分支，表示卷积层的输入，使用F＝[g1，g1，...，gc]表示学习的卷积核集，其中gc表示对应的第c个卷积核的参数，表示卷积层的输出，H、W、C分别表示输出特征图的高度、宽度、通道数，对于该层的第c个滤波器，对应的输出特征图通道为：其中，*表示卷积，U＝[V1，V2，...，VC]，I＝[Y1，Y2，...，YD]和表示gc的单个通道的二维空间核，Vc表示U的第c个输出特征图通道，Ys表示I的第s个输入特征图通道；为了减少过拟合，在卷积层之后采用批量归一化操作，批处理后的归一化层进行线性尺度变换以增强网络的表示能力，输出特征映射通道变为：其中，uc和σc表示通道平均值和批量归一化的标准偏差，γc和βc分别表示学习尺度因子和偏差项；每一层中的每个卷积操作之后都要进行批量归一化，称为一个分支，三个分支的输出汇总为AC单元的输出，对于卷积核为1×3和3×1的分支，该分支中输入特征图首先经过卷积核为1×3的卷积层，对于1×3的卷积层中第c个滤波器，对应的输出特征图通道为：其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；之后1×3的卷积层的输出特征图进入卷积核为3×1的卷积层，对于3×1的卷积层中第c个滤波器，对应的输出特征图通道为：其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；对于卷积核为1×3的分支，该层的第c个滤波器对应的输出特征图通道为：其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；对于卷积核为3×1的分支，该层的第c个滤波器对应的输出特征图通道为：其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；将三个分支第c个滤波器对应的输出特征图相加得到AC单元的输出，记为：其中，表示卷积核为1×3和3×1分支的第c个通道上的输出特征图，表示卷积核为1×3分支的第c个通道上的输出特征图，表示卷积核为3×1分支的第c个通道上的输出特征图。进一步的，步骤S3具体为：经过1×1的卷积，将特征映射平均分割成s个特征映射子集，用xi表示，其中i∈{1，2，…，s}，与输入特征图相比，每个特征子集xi具有相同的空间大小，但通道数为1/s，除了x1，每个xi都有一个对应的AC单元，记Ki()，ACB模块的输出yi可以写成：其中，xi表示输入特征图，yi表示输出特征图，Ki表示非对称卷积核。进一步的，步骤S4具体为：将设计的ACB模块嵌入轻量化模型ShuffleNetV2中构建基于卷积神经网络的车辆目标分类网络ACBNet：ACBNet网络的第一层是输入图像；第二层是Conv1卷积层，卷积步长为2，卷积核大小和数量分别为3×3和24；第三层是Pool池化层，选用最大池化操作，池化大小和步长分别为3×3和2；第四层是Stage2层，其中包含1个步长为2，输出特征图数量为116的ACB模块，3个步长为1，输出特征图数量为116的ACB模块；第五层是Stage3层，其中包含1个步长为2，输出特征图数量为232的ACB模块，7个步长为1，输出特征图数量为232的ACB模块；第六层是Stage4层，其中包含1个步长为2，输出特征图数量为464的ACB模块，3个步长为1，输出特征图数量为464的ACB模块；第七层是Conv5卷积层，卷积步长为1，卷积核大小和数量分别为1×1和1024；第八层是Pool池化层，选用全局平均值化操作；第九层是FC全卷积层，输出维数为1000。进一步的，步骤S5具体为：选择在所制作的车辆目标训练集上实验，利用所制作的车辆目标训练集训练车辆目标分类网络ACBNet。进一步的，步骤S6具体为：首先将测试集图片放入步骤S5训练好的分类网络ACBNet进行分类；之后通过具有通道和空间注意力构建块的残差预测模块处理获得所预测图像或视频中车辆的类别和位置信息并框出车辆目标：一个通道和空间注意力构建块具有三个分支，第一个分支是通道注意力构建块，第二个跳跃分支，第三个分支是空间注意力分支；对于一个进入通道注意力分支的特征图Q＝[q1，q2，...，qc]，通道注意力分支使用全局平均池来生成通道统计信息，通过将Q缩小到其空间维度为H×W来生成特征统计量使得特征统计量z的第c个元素通过以下公式计算：其中，Fga(·)表示全局平均池操作符，qc表示特征图Q的第c个本文档来自技高网...

【技术保护点】
1.基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，其特征在于，包括以下步骤：/n步骤S1：通过视频流获取若干包含车辆的图片，制作车辆目标检测数据集，包括训练集和测试集；/n步骤S2：设计非对称卷积AC单元；/n步骤S3：将步骤S2设计的非对称卷积AC单元嵌入Res2Net模块构建具有粒度级别多尺度特性的非对称卷积ACB模块；/n步骤S4：将步骤S3设计的ACB模块嵌入轻量化模型ShuffleNetV2中构建基于卷积神经网络的车辆目标分类网络ACBNet；/n步骤S5：利用所制作的车辆目标训练集训练车辆目标分类网络ACBNet；/n步骤S6：将测试集图片放入步骤S5训练好的分类网络ACBNet进行分类，之后再经过具有通道和空间注意力的残差预测模块处理获得所预测图像或视频中车辆的类别和位置信息并框出车辆目标。/n

【技术特征摘要】
1.基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，其特征在于，包括以下步骤：
步骤S1：通过视频流获取若干包含车辆的图片，制作车辆目标检测数据集，包括训练集和测试集；
步骤S2：设计非对称卷积AC单元；
步骤S3：将步骤S2设计的非对称卷积AC单元嵌入Res2Net模块构建具有粒度级别多尺度特性的非对称卷积ACB模块；
步骤S4：将步骤S3设计的ACB模块嵌入轻量化模型ShuffleNetV2中构建基于卷积神经网络的车辆目标分类网络ACBNet；
步骤S5：利用所制作的车辆目标训练集训练车辆目标分类网络ACBNet；
步骤S6：将测试集图片放入步骤S5训练好的分类网络ACBNet进行分类，之后再经过具有通道和空间注意力的残差预测模块处理获得所预测图像或视频中车辆的类别和位置信息并框出车辆目标。


2.根据权利要求1所述的基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，其特征在于，步骤S2具体为：一个AC单元由卷积核为1×3和1×3、1×3、3×1三个平行分支组成，对于AC单元中的一个分支，表示卷积层的输入，使用F＝[g1，g2，...，gc]表示学习的卷积核集，其中gc表示对应的第c个卷积核的参数，表示卷积层的输出，H、W、C分别表示输出特征图的高度、宽度、通道数，对于该层的第c个滤波器，对应的输出特征图通道为：



其中，*表示卷积，U＝[V1，V2，...，VC]，I＝[Y1，Y2，...，YD]和表示gc的单个通道的二维空间核，Vc表示U的第c个输出特征图通道，Ys表示I的第s个输入特征图通道；
为了减少过拟合，在卷积层之后采用批量归一化操作，批处理后的归一化层进行线性尺度变换以增强网络的表示能力，输出特征映射通道变为：



其中，uc和σc表示通道平均值和批量归一化的标准偏差，γc和βc分别表示学习尺度因子和偏差项；
每一层中的每个卷积操作之后都要进行批量归一化，称为一个分支，三个分支的输出汇总为AC单元的输出，对于卷积核为1×3和3×1的分支，该分支中输入特征图首先经过卷积核为1×3的卷积层，对于1×3的卷积层中第c个滤波器，对应的输出特征图通道为：



其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；
之后1×3的卷积层的输出特征图进入卷积核为3×1的卷积层，对于3×1的卷积层中第c个滤波器，对应的输出特征图通道为：



其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；
对于卷积核为1×3的分支，该层的第c个滤波器对应的输出特征图通道为：



其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；
对于卷积核为3×1的分支，该层的第c个滤波器对应的输出特征图通道为：



其中，表示的单个通道的二维空间核，和表示通道平均值和批量归一化的标准偏差，和分别表示学习尺度因子和偏差项；
将三个分支第c个滤波器对应的输出特征图相加得到AC单元的输出，记为：



其中，表示卷积核为1×3和3×1分支的第c个通道上的输出特征图，表示卷积核为1×3分支的第c个通道上的输出特征图，表示卷积核为3×1分支的第c个通道上的输出特征图。


3.根据权利要求2所述的基于非对称卷积的具有粒度级多尺度特性的车辆检测方法，其特征在于，步骤S3具体为：经过1×1的卷积，将特征映射平均分割成s个特征映射子集，用xi表示，其中i∈{1，2，…，s}，与输入特征图相比，每个特征子集xi具有相同的空间大小，但通道数为1/s，除了x1，每个xi都有一个对应的AC单元，记Ki()，ACB模块的输出yi可以写成：



其中，xi表示输入特征图，yi表示输出特征图，Ki表示非对称卷积核。


4.根据权利要求3所述的基于非对称卷积的具有...

【专利技术属性】
技术研发人员：杨振坤，马向华，狄逸群，茅丰，于志强，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：上海;31