一种弱光条件下的高速车辆跟踪测速方法技术

本发明专利技术涉及图像处理技术领域，一种弱光条件下的高速车辆跟踪测速方法，通过夜间交通检测NTD网络对车辆进行跟踪测速，夜间交通检测NTD网络包括基于MBLLEN的注意力特征FBA模块、特征增强FE模块、预测输出FO模块，当弱光条件下拍摄的高速车辆的图像或视频输入到夜间交通检测NTD网络时，首先输入到基于MBLLEN的注意力特征FBA模块，基于MBLLEN的注意力特征FBA模块提取弱光条件下的图像特征并输入到特征增强FE模块，特征增强FE模块进行特征增强提取获得增强后的图像特征，增强后的图像特征输入到预测输出FO模块，预测输出FO模块生成车辆检测框并通过检测框的变化实时测量夜间车辆的行驶速度。行驶速度。行驶速度。

【技术实现步骤摘要】
一种弱光条件下的高速车辆跟踪测速方法


[0001]本专利技术涉及图像处理
，特别是涉及一种弱光条件下的高速车辆跟踪测速方法。

技术介绍

[0002]早期，车辆跟踪的方法主要基于视频的运动目标检测，如光流法、背景差分法、帧间差分法等，其中光流法通过利用图像像素在时间上的变化与每帧图像间的相关程度获取目标状态，该方法适用于移动摄像机，但计算复杂；背景差分法通过建模的方法将目标与背景分离，如ViBe检测算法，可通过较小的内存达到较好的检测效果；帧间差分法通过比较每帧图像之间的背景已获得目标区域，计算简单且实时性较高。这些传统算法虽然可以对车辆进行检测，但检测精度与实时性都较差，无法适应当今的要求。
[0003]目前，随着深度学习的兴起，在目标跟踪方面也有了显著提高，其中根据算法流程可分为one
‑
stage与two
‑
stage两种。其中，two
‑
stage的代表作如R
‑
CNN系列，首先生成了一些列的检测框作为候选样本，再对其进行进一步的分类处理，相较传统检测方法在检测精度上有了大幅的提高，但在实时性上效果不佳；one
‑
stage的代表作如YOLO系列并不会生成候选框，而是直接生成bounding box检测框并进行调整，虽然牺牲了一部分检测精度，但在实时性上有了较为显著的提升。在光线充足的情况下，高速公路上的检测系统可以有效地跟踪车辆并测量速度，但在弱光条件下(如夜间的高速公路)往往难以达到相同的检测效果，同时如果天气情况较为恶劣时，图像的质量也会受到干扰，进一步影响检测结果。

技术实现思路

[0004]本专利技术的目的是为解决上述现有技术的不足之处而提供一种弱光条件下的高速车辆跟踪测速方法。
[0005]本专利技术所采用的技术方案是：一种弱光条件下的高速车辆跟踪测速方法，通过夜间交通检测NTD网络对车辆进行跟踪测速，所述夜间交通检测NTD网络包括基于MBLLEN的注意力特征FBA模块、特征增强FE模块、预测输出FO模块，当弱光条件下拍摄的高速车辆的图像或视频输入到夜间交通检测NTD网络时，首先输入到基于MBLLEN的注意力特征FBA模块，所述基于MBLLEN的注意力特征FBA模块提取弱光条件下的图像特征并输入到特征增强FE模块，所述特征增强FE模块进行特征增强提取获得增强后的图像特征，增强后的图像特征输入到所述预测输出FO模块，所述预测输出FO模块生成车辆检测框并通过检测框的变化实时测量夜间车辆的行驶速度。
[0006]所述基于MBLLEN的注意力特征FBA模块包括成串联关系的卷积模块、多注意力机制模块MA、第一高效层聚合网络模块ELAN、第一最大池化模块MP、第二高效层聚合网络模块ELAN、第二最大池化模块MP、第三高效层聚合网络模块ELAN、第三最大池化模块MP、第四高效层聚合网络模块ELAN，FBA模块的四个高效层聚合网络模块ELAN的结构相同，FBA模块的三个最大池化模块MP的结构相同，FBA模块的第二高效层聚合网络模块ELAN、第三高效层聚
合网络模块ELAN、第四高效层聚合网络模块ELAN分别引出一个输出作为MBLLEN的注意力特征FBA模块的第一输出、第二输出、第三输出。
[0007]所述特征增强FE模块包括闭环连接的残差空间池化金字塔模块SPPR、第一卷积模块、第一上采样模块US、第一高效层聚合网络模块ELAN、第二卷积模块、第二上采样模块US、第二高效层聚合网络模块ELAN、第一最大池化模块MP、第三高效层聚合网络模块ELAN、第二最大池化模块MP，MBLLEN的注意力特征FBA模块的第一输出输入到增强FE模块的残差空间池化金字塔模块SPPR，MBLLEN的注意力特征FBA模块的第二输出与增强FE模块的第一上采样模块US的输出拼接后输入到特征增强FE模块的第一高效层聚合网络模块ELAN，MBLLEN的注意力特征FBA模块的第三输出与增强FE模块的第二上采样模块US的输出拼接后输入到特征增强FE模块的第二高效层聚合网络模块ELAN，特征增强FE模块的第二高效层聚合网络模块ELAN的输出分为两个支路，一个支路输出作为增强FE模块的第一输出，另一个支路输入到特征增强FE模块的第一最大池化模块MP，特征增强FE模块的第一高效层聚合网络模块ELAN的输出分为两个支路，一个支路输出到特征增强FE模块的第二卷积模块，另一个支路输出与特征增强FE模块的第一最大池化模块MP的输出拼接后输入到特征增强FE模块的第三高效层聚合网络模块ELAN，特征增强FE模块的第三高效层聚合网络模块ELAN的输出分为两个支路，一个支路输出作为增强FE模块的第二输出，另一个支路输入到特征增强FE模块的第二最大池化模块MP，特征增强FE模块的第二最大池化模块MP和残差空间池化金字塔模块SPPR输出拼接后作为增强FE模块的第三输出。
[0008]预测输出FO模块包括三个并列的子分支，每个子分支由一个卷积模块与一个RC模块串联构成，特征增强FE模块的三个输出分别输入到一个卷积模块中，每个RC模块的输出拼接后形成预测输出FO模块的输出。
[0009]所述夜间交通检测NTD网络中的每个卷积模块结构都相同，包括成串联关系的一个卷积层conv、一个归一化层BN和一个激活层Mish，用以实现网络的卷积操作；所述夜间交通检测NTD网络中的多注意力机制模块MA为FBA模块的核心，一方面通过卷积模块提取特征图的特征，并使用多个子网络针对弱光条件下的图片特征进行增强，另一方面使用了注意力机制，提升了网络的特征提取能力，当特征图输入到多注意力机制模块MA时，首先经过一个卷积模块，此时该卷积模块的输出记为MA1‑1，其次将MA1‑1输入到一个自注意力SE(Self
‑
Attention)模块，该SE模块由一层全局池化层、一层全连接层、一层Mish激活层串联构成，再将SE模块的输出与原MA1‑1在channel(通道)上进行拼接，此时该拼接结果记为MA1‑2，最后再将MA1‑1输入到一个上采样层UpSample，该上采样层UpSample的输出记为MA1‑3，此时将MA1‑2作为输入的特征图输入到下一个卷积模块，并重复上述操作，得到输出MA2‑2与输出MA2‑3，再将MA2‑2作为输入的特征图输入到下一个卷积模块，并重复上述操作，得到输出MA3‑2与输出MA3‑3，再将MA3‑2作为输入的特征图输入到下一个卷积模块，并重复上述操作，得到输出MA4‑2与输出MA4‑3，此时将MA4‑2作为输入的特征图输入到一个卷积模块，该卷积模块的输出记为MA5‑1，最后将MA5‑1与MA1‑3、MA2‑3、MA3‑3、MA4‑3在channel上进行拼接，该拼接的结果即为多注意力机制模块MA的输出；所述夜间交通检测NTD网络中的每个高效层聚合网络模块ELAN结构都相同，高效层聚合网络模块ELAN使用残差连接的思想，由四个卷积模块并行拼接构成，用以防止过拟合，当特征图输入到ELAN模块时同时经过两条分支，其中一条分支上有三个串联的卷积模块，另本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱光条件下的高速车辆跟踪测速方法，其特征在于：通过夜间交通检测NTD网络对车辆进行跟踪测速，所述夜间交通检测NTD网络包括基于MBLLEN的注意力特征FBA模块、特征增强FE模块、预测输出FO模块，当弱光条件下拍摄的高速车辆的图像或视频输入到夜间交通检测NTD网络时，首先输入到基于MBLLEN的注意力特征FBA模块，所述基于MBLLEN的注意力特征FBA模块提取弱光条件下的图像特征并输入到特征增强FE模块，所述特征增强FE模块进行特征增强提取获得增强后的图像特征，增强后的图像特征输入到所述预测输出FO模块，所述预测输出FO模块生成车辆检测框并通过检测框的变化实时测量夜间车辆的行驶速度。2.根据权利要求1所述的一种弱光条件下的高速车辆跟踪测速方法，其特征在于：所述基于MBLLEN的注意力特征FBA模块包括成串联关系的卷积模块、多注意力机制模块MA、第一高效层聚合网络模块ELAN、第一最大池化模块MP、第二高效层聚合网络模块ELAN、第二最大池化模块MP、第三高效层聚合网络模块ELAN、第三最大池化模块MP、第四高效层聚合网络模块ELAN，FBA模块的四个高效层聚合网络模块ELAN的结构相同，FBA模块的三个最大池化模块MP的结构相同，FBA模块的第二高效层聚合网络模块ELAN、第三高效层聚合网络模块ELAN、第四高效层聚合网络模块ELAN分别引出一个输出作为MBLLEN的注意力特征FBA模块的第一输出、第二输出、第三输出。3.根据权利要求2所述的一种弱光条件下的高速车辆跟踪测速方法，其特征在于：所述特征增强FE模块包括闭环连接的残差空间池化金字塔模块SPPR、第一卷积模块、第一上采样模块US、第一高效层聚合网络模块ELAN、第二卷积模块、第二上采样模块US、第二高效层聚合网络模块ELAN、第一最大池化模块MP、第三高效层聚合网络模块ELAN、第二最大池化模块MP，MBLLEN的注意力特征FBA模块的第一输出输入到增强FE模块的残差空间池化金字塔模块SPPR，MBLLEN的注意力特征FBA模块的第二输出与增强FE模块的第一上采样模块US的输出拼接后输入到特征增强FE模块的第一高效层聚合网络模块ELAN，MBLLEN的注意力特征FBA模块的第三输出与增强FE模块的第二上采样模块US的输出拼接后输入到特征增强FE模块的第二高效层聚合网络模块ELAN，特征增强FE模块的第二高效层聚合网络模块ELAN的输出分为两个支路，一个支路输出作为增强FE模块的第一输出，另一个支路输入到特征增强FE模块的第一最大池化模块MP，特征增强FE模块的第一高效层聚合网络模块ELAN的输出分为两个支路，一个支路输出到特征增强FE模块的第二卷积模块，另一个支路输出与特征增强FE模块的第一最大池化模块MP的输出拼接后输入到特征增强FE模块的第三高效层聚合网络模块ELAN，特征增强FE模块的第三高效层聚合网络模块ELAN的输出分为两个支路，一个支路输出作为增强FE模块的第二输出，另一个支路输入到特征增强FE模块的第二最大池化模块MP，特征增强FE模块的第二最大池化模块MP和残差空间池化金字塔模块SPPR输出拼接后作为增强FE模块的第三输出。4.根据权利要求3所述的一种弱光条件下的高速车辆跟踪测速方法，其特征在于：预测输出FO模块包括三个并列的子分支，每个子分支由一个卷积模块与一个RC模块串联构成，特征增强FE模块的三个输出分别输入到一个卷积模块中，每个RC模块的输出拼接后形成预测输出FO模块的输出。5.根据权利要求4所述的一种弱光条件下的高速车辆跟踪测速方法，其特征在于：所述夜间交通检测NTD网络中的每个卷积模块结构都相同，包括成串联关系的一个卷积层conv、
一个归一化层BN和一个激活层Mish，用以实现网络的卷...

【专利技术属性】
技术研发人员：丁洁，张峻祎，丁冰，郑德智，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：