基于模块化轻量级网络的视频流目标检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于模块化轻量级网络的视频流目标检测方法及装置。所述方法包括：实时采集应用场景下道路交通的视频流图像信息；将采集的视频流图像信息输入构建的基于深度学习的边缘目标检测网络，输出应用场景下目标检测结果；通过模型训练与模型校正两阶段方法，确保目标检测的精度与可靠性要求。本发明专利技术通过构建基于深度学习与边缘计算融合架构的视频流目标检测网络与系统方法，解决了现有边缘视频监控系统内，视频采集单元与边缘服务器等嵌入式设备的计算和存储资源有限，无法搭载传统的目标检测模型，因而难以实现目标检测的实时性与高效率的问题。实时性与高效率的问题。实时性与高效率的问题。

【技术实现步骤摘要】
基于模块化轻量级网络的视频流目标检测方法及装置


[0001]本专利技术具体涉及一种基于模块化轻量级网络的视频流目标检测方法及装置，属于智能交通


技术介绍

[0002]汽车产业电动化、智能化、网联化、共享化的“新四化”快速发展为推动道路智能化设备的升级和智能网联交通与车路云一体化控制奠定坚实基础。视频流检测作为智能网联交通系统的重要组成部分，是路网交通监测方向的研究热点。基于交通监控系统对路网车流量进行识别并优化调度，达到避免拥堵和交通疏导的目的；同时基于智能驾驶辅助系统，智能网联汽车实时感知周围车辆的状态信息，可以支撑其驾驶决策与控制，对保障行车安全具有重要意义。因此，研究智能网联交通场景下轻量级设备如何实现视频流检测并实时、准确地执行检测任务，有利于车—路—云协同下的交通信号优化与协调，提升路网整体运行效率。
[0003]近年来，随着深度神经网络和硬件计算能力的提高，卷积神经网络主要用于深度学习的检测方法逐渐取代传统方法。卷积网络通过训练网络中的输入图像，可以有效地提取和学习被检测目标的特征。基于深度学习的方法可以分为两类：单阶段方法和两阶段方法。两阶段方法通常包括两个步骤：潜在区域提取和类别预测。基于区域的卷积神经网络于2014年提出，是早期两级检测器发展的重大突破。R
‑
CNN通过选择性搜索而不是传统的滑动窗口提取图像特征，然后使用分类器预测目标，这种方法提高了检测性能，但是计算成本大，一个小数据集甚至需要几天的时间训练。为了解决这一问题，可以通过Fast R
‑r/>CNN简化重叠候选区域的冗余计算优化训练过程。在Fast R
‑
CNN的基础上提出的Fast R
‑
CNN模型，引入区域建议网络生成可能的区域，将推理时间缩短了一个数量级。特征金字塔网络结构能够提高小目标检测的性能，通过学习不同层的特征，成为现有多尺度检测方法的必要模块。虽然两阶段方法的计算精度较高，但是其计算速度往往不如单阶段方法。以Yolo网络为代表的单阶段方法被广泛应用于各种实际任务中。但是，在Yolo网络中存在大量冗余操作，为了获得高精度，模型参数量巨大，存在难以实际部署在存储空间有限的嵌入式设备上的问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提供一种基于模块化轻量级网络的视频流目标检测方法及装置，解决现有智能网联系统内，车载单元与路侧设施等嵌入式设备的计算和存储资源有限，无法搭载传统的目标检测模型，因而难以实现目标检测的实时性与高效率的问题。
[0005]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0006]第一方面，提供一种视频流目标检测方法，包括：实时采集应用场景下道路交通的视频流图像信息；将采集的视频流图像信息输入构建的基于深度学习与边缘计算融合架构
的视频流目标检测网络Edge
‑
YoloV4，输出视频流目标检测结果。
[0007]进一步地，所述基于深度学习与边缘计算融合架构的视频流目标检测网络Edge
‑
YoloV4，包括依次连接的特征提取网络S_GhostNet、多尺度特征增强网络SPP、改进特征融合网络DSC_PANet和解耦合检测网络；所述特征提取网络S_GhostNet，用于对交通流图像信息进行初步特征提取，并将处理结果输出至多尺度特征增强网络SPP；所述多尺度特征增强网络SPP，用于进行多尺度特征增强，并将处理结果输出至改进特征融合网络DSC_PANet；所述改进特征融合网络DSC_PANet，用于加强特征提取，并将处理结果输出至解耦合检测头；所述解耦合检测网络，用于进行目标检测，并输出视频流目标检测结果。
[0008]进一步地，所述特征提取网络S_GhostNet，包括一个卷积层和若干个依次连接的组合模块S_GBN；所述组合模块S_GBNs包括若干单步S_GBN和若干两步S_GBN；其中，所述单步S_GBN通过一个Ghost模块进行卷积操作，扩展特征的样本量，生成原始特征与新特征的样本集合；然后，采用SimAM对样本集合中各通道特征的关键区域进行特征提取；最后，由另一个Ghost模块对样本集合进行降维处理，输出和原始特征同维度的特征集；所述两步S_GBN在网络结构中堆叠了两个嵌入式深度卷积层(Depthwise convolution,DW)，用于减少特征集变化和多尺度参数的影响。
[0009]进一步地，所述组合模块S_GBN中融合了SimAM注意力机制，SimAM注意力机制使用能量函数为不同的空间位置分配权重；能量函数将特征图的每个像素视为一个神经元，神经元的能量函数表示为：
[0010][0011]其中，t为目标神经元，为t目标神经元的能量函数，和分别为该通道中除了t外所有神经元的均值和方差，其中x
i
为同一通道上的其他神经元，H和W分别为输入特征图的高和宽，M＝H
×
W代表每个通道输入矩阵的维度，参考CIFAR数据集的实验设置λ＝1e
‑
4。
[0012]进一步地，所述多尺度特征增强网络SPP，包括若干条分支，每条分支按照设定的池化核大小进行最大池化操作；所述多尺度特征增强网络SPP的输入为特征提取网络S_GhostNet的最后一层经过CBL操作后的输出，所述多尺度特征增强网络SPP的输出为各条分支的特征图在通道维度的拼接；所述多尺度特征增强网络SPP采用1
×
1、5
×
5、9
×
9、13
×
13的最大池化的方式，实现在保留前层输入特征图特征的同时获得更多局部特征增强感受视野。
[0013]进一步地，所述CBL操作包括Conv卷积、Bn批量归一化和Leaky_relu激活函数；其中，Leaky_relu激活函数表示为：
[0014][0015]其中，x表示上一层的输出。
[0016]进一步地，所述改进特征融合网络DSC_PANet，包括依次连接的a组合模块、b组合模块、c组合模块和d组合模块，每个组合模块包括堆叠模块和卷积层，其中，卷积层为深度可分离卷积。
[0017]进一步地，所述解耦合检测网络，包括三个解耦合检测头，每个解耦合检测头由一个1
×
1卷积层和两个并行分支组成，其中每个分支都有两个3
×
3卷积层；第一个解耦合检测头的输入为改进特征融合网络DSC_PANet中b组合模块的输出，第二个解耦合检测头的输入为改进特征融合网络DSC_PANet中c组合模块的输出，第三个解耦合检测头的输入为改进特征融合网络DSC_PANet中d组合模块的输出。
[0018]进一步地，所述基于深度学习与边缘计算融合架构的视频流目标检测网络Edge
‑
YoloV4的训练方法，包括：训练阶段：实时采集边缘监控场景视频流并构建基于VOC数据集的混合交通流图像数据集，并划分为训练集和测试集；使用训练集集对所述基于深度学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流目标检测方法，其特征在于，包括：实时采集应用场景下道路交通的视频流图像信息；将采集的视频流图像信息输入构建的基于深度学习与边缘计算融合架构的视频流目标检测网络Edge
‑
YoloV4，输出视频流目标检测结果。2.根据权利要求1所述的视频流目标检测方法，其特征在于，所述基于深度学习与边缘计算融合架构的视频流目标检测网络Edge
‑
YoloV4，包括依次连接的特征提取网络S_GhostNet、多尺度特征增强网络SPP、改进特征融合网络DSC_PANet和解耦合检测网络；所述特征提取网络S_GhostNet，用于对交通流图像信息进行初步特征提取，并将处理结果输出至多尺度特征增强网络SPP；所述多尺度特征增强网络SPP，用于进行多尺度特征增强，并将处理结果输出至改进特征融合网络DSC_PANet；所述改进特征融合网络DSC_PANet，用于加强特征提取，并将处理结果输出至解耦合检测头；所述解耦合检测网络，用于进行目标检测，并输出视频流目标检测结果。3.根据权利要求2所述的视频流目标检测方法，其特征在于，所述特征提取网络S_GhostNet，包括一个卷积层和若干个依次连接的组合模块S_GBN；所述组合模块S_GBNs包括若干单步S_GBN和若干两步S_GBN；其中，所述单步S_GBN通过一个Ghost模块进行卷积操作，扩展特征的样本量，生成原始特征与新特征的样本集合；然后，采用SimAM对样本集合中各通道特征的关键区域进行特征提取；最后，由另一个Ghost模块对样本集合进行降维处理，输出和原始特征同维度的特征集；所述两步S_GBN在网络结构中堆叠了两个嵌入式深度可分离卷积层DW，用于减少特征集变化和多尺度参数的影响。4.根据权利要求3所述的视频流目标检测方法，其特征在于，所述组合模块S_GBN中融合了SimAM注意力机制，SimAM注意力机制使用能量函数为不同的空间位置分配权重；能量函数将特征图的每个像素视为一个神经元，神经元的能量函数表示为：其中，t为目标神经元，为t目标神经元的能量函数，和分别为该通道中除了t外所有神经元的均值和方差，其中x
i
为同一通道上的其他神经元，H和W分别为输入特征图的高和宽，M＝H
×
W代表每个通道输入矩阵的维度，参考CIFAR数据集的实验设置λ＝1e
‑
4。5.根据权利要求2所述的视频流目标检测方法，其特征在于，所述多尺度特征增强网络SPP，包括若干条分支，每条分支按照设定的池化核大小进行最大池化操作；所述多尺度特征增强网络SPP的输入为特征提取网络S_GhostNet的最后一层经过CBL操作后的输出，所述多尺度特征增强网络SPP的输出为各条分支的特征图在通道维度的拼接；所述多尺度特征增强网络SPP采用1
×
1、5
×
5、9
×
9、13
×
13的最大池化的方式，实现在保留前层输入特征图特征的同时获得更多局部特征增强感受视野。6.根据权利要求5所述的视频流目标检测方法，其特征在于，所述CBL操作包括Conv卷积、Bn批量归...

【专利技术属性】
技术研发人员：丁飞，顾潮，都秉甲，金钰森，吕严，童恩，张登银，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：