一种基于自注意力机制的危化品运输车辆检测识别方法技术

本发明专利技术公开了一种基于自注意力机制的危化品运输车辆检测识别方法，针对交通视频获取单帧图像，构建危化品运输车辆数据集，通过对图像进行数据增强与还原处理，淡化天气等特定信息对检测的影响，接着将处理好的图像输入检测网络，采用基于自注意力机制的特征提取模块与自下而上和自上而下两种多尺度特征融合方式对车辆特征进行提取与融合，结合目标的浅层特征和语义特征，增强特征图捕获上下文信息的能力。本发明专利技术对解决复杂环境中小目标车辆检测具有重要意义。具有重要意义。具有重要意义。

【技术实现步骤摘要】
一种基于自注意力机制的危化品运输车辆检测识别方法


[0001]本专利技术属于模式识别
，具体涉及一种危化品运输车辆检测识别方法。

技术介绍

[0002]随着国民经济的快速发展，针对危险化学品(以下简称危化品)的运输需求日益增加，危化品具有易燃、易爆、有毒、有害和放射性等特性，因此在运输、装卸和储存保管过程中，需要特别防护。目前针对危化品车辆检测的方法主要有两类。
[0003]第一类是基于传统特征的危化品车辆识别采取人工设计方式提取图像的车辆特征，使用特征算子提取图像特征，再结合传统的分类器进行车辆识别，然而基于传统的图像处理算法鲁棒性较低，容易受到外界因素影响。第二类是基于深度学习的检测算法，深度学习方法从统计的图像数据中提取特征，自动学习物体的外观特征。随着深度学习的发展，根据算法原理与车辆检测过程一阶段目标检测与两阶段目标检测开始出现。其中CNN自2012年以来已经成为视觉任务的主导模型，但是CNN针对小目标问题与实时性问题不能做出较好的响应。与CNN相比，基于自注意力机制的Transformer的具有全局特征提取机制，可以将上下文信息充分利用起来，为危化品车辆检测提供了新的思路。
[0004]目前危化品车辆检测方法大多鲁棒性较低，容易受到外界因素影响，例如环境中光线强度变化、天气变化对危化品车辆检测造成误检漏检。且由于架设监控设备的局限性获取的视频序列距离远目标小，受训练样本规模限制，识别难度大。因此，如何针对复杂环境下小目标危化品车辆检测展开可行有效的研究具有重要的实用意义。
专利
技术实现思路

[0005]为了克服现有技术的不足，本专利技术提供了一种基于自注意力机制的危化品运输车辆检测识别方法，针对交通视频获取单帧图像，构建危化品运输车辆数据集，通过对图像进行数据增强与还原处理，淡化天气等特定信息对检测的影响，接着将处理好的图像输入检测网络，采用基于自注意力机制的特征提取模块与自下而上和自上而下两种多尺度特征融合方式对车辆特征进行提取与融合，结合目标的浅层特征和语义特征，增强特征图捕获上下文信息的能力。本专利技术对解决复杂环境中小目标车辆检测具有重要意义。
[0006]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0007]步骤1：收集包含危化品运输标识的危化品运输车辆在公路的监控视频组成危化品车辆数据集，将数据集分为两部分，一部分作为训练集，另一部分作为测试集；
[0008]步骤2：对危化品车辆数据集中的图像进行尺寸调整，得到尺寸调整后的图像样本，并通过数据增强以及图像还原操作对图像样本进行预处理；
[0009]步骤3：构建特征提取模块，对预处理后的图像进行切块处理，得到多个图像立方体，对每个立方体做扁平化线性映射，得到与立方体对应的一维向量，代表预处理后图像的原始特征；构造一个与原始特征维度相同的向量作为位置编码，然后与代表原始特征的一维向量相加作为基于Transformer的多尺度目标检测网络的输入；
[0010]步骤4：训练基于Transformer的多尺度目标检测网络，采用动量梯度下降法对多尺度目标检测网络进行优化，得到优化后的多尺度目标检测网络；
[0011]利用经过训练的多尺度目标检测网络检测危化品车辆标识，实现特征提取与融合；
[0012]步骤5：在测试集上测试优化后的多尺度目标检测网络，得到目标的类别及该类别对应的置信度。
[0013]进一步地，所述步骤2的预处理具体包括以下内容：
[0014]步骤2
‑
1：计算所有图像样本的平均灰度值；
[0015]步骤2
‑
2：对平均灰度值低于Z的图像样本进行增强操作，通过直方图归一化提高图像亮度；平均灰度值不低于Z的图像样本则不进行增强操作；
[0016]步骤2
‑
3：对增强后的危化品车辆数据集进行增广操作；
[0017]在数据集中随机取四张图像，每张图像都有对应标注信息，接着对随机选取的四张图片进行左右翻转，尺寸缩小到原图像的70％，增强亮度与饱和度；设置一张与最终输出图像大小相同尺寸的画布，随机选取画布上一个点，将四张处理后的图像分别放置在随机选取点左上、右上、左下、右下位置；
[0018]首先完成拼图操作：将放置在左上位置图像以随机选取点作为左上位置图像的右下坐标，同理，右上、左下、右下图像分别以随机选取点作为左下、右上、左上坐标，超出画布边缘的图像区域采取裁剪操作；
[0019]接着完成对标注信息的修正：针对左上图像，如果检测框的左上与右下坐标点都不在画布内，则左上图像不包含检测框；若检测框的左上坐标点在画布内，检测框的右下坐标点不在画布内，则将随机选取点作为检测框的右下坐标点；如果修正后的左上坐标与右下坐标之间的距离小于设定阈值，则忽略该检测框；同理，针对右上图像修正其左侧与下侧框线，针对左下图像修正其右侧与上侧框线，针对右下图像修正其左侧与上侧框线；
[0020]步骤2
‑
4：完成四张图片的摆放与修正后，对于修正后不包含检测框的图像进行舍弃，包含检测框的图像为含有目标的区域拼接成的一张新的图片，新的图片含有修正后的标注框；
[0021]步骤2
‑
5：接着对图像进行还原处理，利用暗通道去雾技术处理包含车辆的待检测图像，具体为；
[0022]大气光照散射模型为：
[0023]I(x)＝J(x)t(x)+A(1
‑
t(x))
[0024]其中，I(x)与J(x)分别代表有雾图像与恢复后去雾图像在x处的像素值，A代表全球大气光照强度，t(x)为光照透射率；
[0025]假设在每一个窗口中设定光照透射率t(x)为常数，上标C表示R\\B三个颜色通道；对大气光照散射模型两边求两次最小值计算，得到：
[0026][0027]由暗通道先验知识知：
[0028]min
y∈Ω(x)
(minJ
c
(y)
→
0，
[0029]因此：
[0030][0031]推出：
[0032][0033]从而实现对图像的还原处理。
[0034]进一步地，所述步骤3具体包括以下内容：
[0035]设定步长为S，以S为步长按顺序分别将每张尺寸为C
×
C
×
3的图像样本切割成N个C/S
×
C/S
×
3的小立方体，通过线性映射展平得到长度为C/S
×
C/S
×
3的一维向量，这样的一维向量共有N个；位置编码用来记录不同图像特征在原始图像中的位置信息，且将位置编码当作可训练参数。
[0036]进一步地，所述步骤4具体包括以下内容：
[0037]步骤4
‑
1：特征提取使用一维向量进行交互自注意力计算，其中，编码层网络由M个相同层组成堆栈，每一层使用残差连接多头注意力机制网络和全连接层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的危化品运输车辆检测识别方法，其特征在于，包括以下步骤：步骤1：收集包含危化品运输标识的危化品运输车辆在公路的监控视频组成危化品车辆数据集，将数据集分为两部分，一部分作为训练集，另一部分作为测试集；步骤2：对危化品车辆数据集中的图像进行尺寸调整，得到尺寸调整后的图像样本，并通过数据增强以及图像还原操作对图像样本进行预处理；步骤3：构建特征提取模块，对预处理后的图像进行切块处理，得到多个图像立方体，对每个立方体做扁平化线性映射，得到与立方体对应的一维向量，代表预处理后图像的原始特征；构造一个与原始特征维度相同的向量作为位置编码，然后与代表原始特征的一维向量相加作为基于Transformer的多尺度目标检测网络的输入；步骤4：训练基于Transformer的多尺度目标检测网络，采用动量梯度下降法对多尺度目标检测网络进行优化，得到优化后的多尺度目标检测网络；利用经过训练的多尺度目标检测网络检测危化品车辆标识，实现特征提取与融合；步骤5：在测试集上测试优化后的多尺度目标检测网络，得到目标的类别及该类别对应的置信度。2.根据权利要求1所述的一种基于自注意力机制的危化品运输车辆检测识别方法，其特征在于，所述步骤2的预处理具体包括以下内容：步骤2
‑
1：计算所有图像样本的平均灰度值；步骤2
‑
2：对平均灰度值低于Z的图像样本进行增强操作，通过直方图归一化提高图像亮度；平均灰度值不低于Z的图像样本则不进行增强操作；步骤2
‑
3：对增强后的危化品车辆数据集进行增广操作；在数据集中随机取四张图像，每张图像都有对应标注信息，接着对随机选取的四张图片进行左右翻转，尺寸缩小到原图像的70％，增强亮度与饱和度；设置一张与最终输出图像大小相同尺寸的画布，随机选取画布上一个点，将四张处理后的图像分别放置在随机选取点左上、右上、左下、右下位置；首先完成拼图操作：将放置在左上位置图像以随机选取点作为左上位置图像的右下坐标，同理，右上、左下、右下图像分别以随机选取点作为左下、右上、左上坐标，超出画布边缘的图像区域采取裁剪操作；接着完成对标注信息的修正：针对左上图像，如果检测框的左上与右下坐标点都不在画布内，则左上图像不包含检测框；若检测框的左上坐标点在画布内，检测框的右下坐标点不在画布内，则将随机选取点作为检测框的右下坐标点；如果修正后的左上坐标与右下坐标之间的距离小于设定阈值，则忽略该检测框；同理，针对右上图像修正其左侧与下侧框线，针对左下图像修正其右侧与上侧框线，针对右下图像修正其左侧与上侧框线；步骤2
‑
4：完成四张图片的摆放与修正后，对于修正后不包含检测框的图像进行舍弃，包含检测框的图像为含有目标的...

【专利技术属性】
技术研发人员：沈钧戈，董雯，毛昭勇，王亦晨，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：