基于目标检测的交通违规识别方法及系统技术方案

本发明专利技术公开了基于目标检测的交通违规识别方法及系统，属于图像处理技术领域，本发明专利技术要解决的技术问题为如何减少交通违章过程中的数据传输和处理时间，提高交通违章识别的效率，同时减少资源浪费，采用的技术方案为：该方法是交通信号灯的各个方向分别部署边缘轻量化设备，边缘轻量化设备包括小型摄像头及嵌入式设备，小型摄像头用于采集道路上的实时图像，并将图像传输到嵌入式设备；嵌入式设备用于对图像进行实时分析处理，并根据分析处理结果判断是否有车辆和行人有交通违规行为，若发现存在交通违规行为，则通知到上级管理单位对交通违规行为进行处理。交通违规行为进行处理。交通违规行为进行处理。

【技术实现步骤摘要】
基于目标检测的交通违规识别方法及系统


[0001]本专利技术涉及图像处理
，具体地说是一种基于目标检测的交通违规识别方法及系统。

技术介绍

[0002]造成交通事故的基本因素有人、车、路、环境与管理，其中人是主要因素。行人的不当行为和司机的不规范驾驶行为是造成交通事故的主要原因。行人的不当行为如在横穿马路时没有使用斑马线、在马路上玩耍或闲逛、走在道路中央等。司机的不规范驾驶行为如超速行驶、违反交通信号灯、闯红灯、酒驾等。
[0003]随着计算机视觉技术的不断发展，检测行人和司机不规范驾驶行为的方法也在不断更新。传统的检测方法通常需要依赖网络的支持，例如通过云计算平台进行图像处理和分析。然而，这些方法需要大量的数据传输和处理，因此需要更多的计算资源和能源，这不仅会增加成本，还会导致环境和资源浪费。
[0004]故如何减少交通违章过程中的数据传输和处理时间，提高交通违章识别的效率，同时减少资源浪费是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术的技术任务是提供一种基于目标检测的交通违规识别方法及系统，来解决如何减少交通违章过程中的数据传输和处理时间，提高交通违章识别的效率，同时减少资源浪费的问题。
[0006]本专利技术的技术任务是按以下方式实现的，一种基于目标检测的交通违规识别方法，该方法是交通信号灯的各个方向分别部署边缘轻量化设备，边缘轻量化设备包括小型摄像头及嵌入式设备，小型摄像头用于采集道路上的实时图像，并将图像传输到嵌入式设备；嵌入式设备用于对图像进行实时分析处理，并根据分析处理结果判断是否有车辆和行人有交通违规行为，若发现存在交通违规行为，则通知到上级管理单位对交通违规行为进行处理；
[0007]嵌入式设备上部署目标检测模型，目标检测模型是基于MobileNetV3和MobileOne的网络结构和NAS搜索构建的一个具有MobileNetV3和MobileOne的网络结构的搜索空间；同时目标检测模型是通过基于梯度更新的进化算法训练大小网络得到的一个适配多数移动端和边缘端且具有延迟和精度平衡的高效神经网络模型。
[0008]作为优选，目标检测模型的构建及部署具体如下：
[0009]设计搜索空间的参数；
[0010]设计总网络结构：包括9个卷积单元；
[0011]按照基于梯度更新的进化算法训练总网络结构；
[0012]选取结构化剪枝的方法进行卷积层的通道数目缩小，网络缩小的前提是最后的精度上升或者基本不变；
[0013]将训练完成后的总网络结构依次取消SE模块和变化激活函数，根据精度大小依次确定网络结构，并经重参数化后获取最终目标检测模型；
[0014]根据不同的移动设备或边缘设备的要求，用NAS搜索出满足对应移动设备或边缘设备的目标检测模型，并进行目标检测模型的部署。
[0015]作为优选，搜索空间的参数包括总网络结构及总网络结构中的参数；总网络结构采用MobileNetV3中的倒瓶颈结构和MobileOne中的训练时的多分支结构；总网络结构中的参数包括普通卷积层和深度可分离卷积层的通道数目(4的倍数，从16开始)、卷积核大小(3*3,5*5,7*7)、步长(1或2)及激活函数(h
‑
swish或ReLU)。
[0016]作为优选，总网络结构的9个卷积单元具体如下：
[0017]第一个卷积单元为普通卷积层，卷积核的大小为{3,5,7}；
[0018]第二个卷积单元、第三个卷积单元、第四个卷积单元及第五个卷积单元均是由深度可分离卷积块组成的卷积单元；其中，第二个卷积单元、第三个卷积单元、第四个卷积单元及第五个卷积单元均包括n个卷积块，n的最大取值为8；且第一个卷积块的步长均为2，其余卷积块的步长均为1；
[0019]第六个卷积单元、第七个卷积单元、第八个卷积单元及第九个卷积单元均为单个的深度可分离卷积块，且步长均为1。
[0020]更优地，深度可分离卷积块包括四层，具体如下
[0021]第一层：4个1*1逐点卷积加批标准化BN层(batch normalization)和并行的BN层；第一层的扩张系数α是输出通道除以输入通道的商；第一层的激活函数采用h
‑
swish或ReLU；
[0022]第二层：4个深度卷积加BN层、并行的1*1卷积加BN层和并行的BN层；第二层卷积核的大小为{3,5,7}；第二层的激活函数采用h
‑
swish或ReLU6；
[0023]第三层：可选的压缩激励模块SE层(Squeeze
‑
And
‑
Excite block)；
[0024]第四层：4个1*1逐点卷积加BN层和并行的BN层；第四层无激活函数。
[0025]作为优选，训练总网络结构具体如下：
[0026]总网络最大的网络结构为第一层卷积单元输入输出通道数为16，卷积核7*7，步长2；
[0027]第二层卷积单元输入输出通道为32，卷积核7*7，深度n＝8；
[0028]第三层卷积单元输入输出通道数为64，卷积核7*7，深度n＝8；
[0029]第四层卷积单元输入输出通道数为128，卷积核7*7，深度n＝8；
[0030]第五层卷积单元输入通道数为256，卷积核7*7，深度n＝8；其中，第五层的倒数第二个卷积块输出通道为512，倒数第一个卷积块输出通道为1024；
[0031]第六层卷积单元、第七个卷积单元、第八个卷积单元及第九个卷积单元的输入和输出通道分别为1024和512、512和256、256和256及256和256；
[0032]提取后6个卷积块的输出作为目标检测分类和回归训练总网络结构；其中，后6个卷积块包括第五层卷积单元的最后两个卷积块、第六层卷积单元的卷积块、第七层卷积单元的的卷积块、第八层卷积单元的卷积块及第九层卷积单元的卷积块；
[0033]总网络结构训练完成后，开始训练总网络结构中的子网络，通过网络迭代获得最终的总网络结构。
[0034]更优地，训练总网络结构中的子网络具体如下：
[0035]改变卷积核大小(不改变深度和通道数)进化总网络结构中子网络：每次改变一个卷积块中的卷积核大小，改变卷积核大小的同时改变填充(padding)，使得改变卷积核的前后输入和输出的特征图不变；当卷积核由7*7变为5*5，再变为3*3，每次改变后精度提高时，则目标检测模型进化为后者；同时保留最高精度的10个目标检测模型，利用最高精度的10个目标检测模型进行交叉进化使用(交叉进化指的是同时将两个精度高的模型中的模块随机取用)；
[0036]改变卷积单元的深度进化总网络结构中子网络：卷积单元的深度n由8依次下降，最低n为2时，判断总网络结构的精度是否升高：
[0037]若精度升高，则总网络结构进化为新网络；
[0038]若精度降低，则保留该子网络；
[0039]训练总网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的交通违规识别方法，其特征在于，该方法是交通信号灯的各个方向分别部署边缘轻量化设备，边缘轻量化设备包括小型摄像头及嵌入式设备，小型摄像头用于采集道路上的实时图像，并将图像传输到嵌入式设备；嵌入式设备用于对图像进行实时分析处理，并根据分析处理结果判断是否有车辆和行人有交通违规行为，若发现存在交通违规行为，则通知到上级管理单位对交通违规行为进行处理；嵌入式设备上部署目标检测模型，目标检测模型是基于MobileNetV3和MobileOne的网络结构和NAS搜索构建的一个具有MobileNetV3和MobileOne的网络结构的搜索空间；同时目标检测模型是通过基于梯度更新的进化算法训练大小网络得到的一个适配多数移动端和边缘端且具有延迟和精度平衡的神经网络模型。2.根据权利要求1所述的基于目标检测的交通违规识别方法，其特征在于，目标检测模型的构建及部署具体如下：设计搜索空间的参数；设计总网络结构：包括9个卷积单元；按照基于梯度更新的进化算法训练总网络结构；选取结构化剪枝的方法进行卷积层的通道数目缩小，网络缩小的前提是最后的精度上升或者基本不变；将训练完成后的总网络结构依次取消SE模块和变化激活函数，根据精度大小依次确定网络结构，并经重参数化后获取最终目标检测模型；根据不同的移动设备或边缘设备的要求，用NAS搜索出满足对应移动设备或边缘设备的目标检测模型，并进行目标检测模型的部署。3.根据权利要求1所述的基于目标检测的交通违规识别方法，其特征在于，搜索空间的参数包括总网络结构及总网络结构中的参数；总网络结构采用MobileNetV3中的倒瓶颈结构和MobileOne中的训练时的多分支结构；总网络结构中的参数包括普通卷积层和深度可分离卷积层的通道数目、卷积核大小、步长及激活函数。4.根据权利要求1所述的基于目标检测的交通违规识别方法，其特征在于，总网络结构的9个卷积单元具体如下：第一个卷积单元为普通卷积层，卷积核的大小为{3,5,7}；第二个卷积单元、第三个卷积单元、第四个卷积单元及第五个卷积单元均是由深度可分离卷积块组成的卷积单元；其中，第二个卷积单元、第三个卷积单元、第四个卷积单元及第五个卷积单元均包括n个卷积块，n的最大取值为8；且第一个卷积块的步长均为2，其余卷积块的步长均为1；第六个卷积单元、第七个卷积单元、第八个卷积单元及第九个卷积单元均为单个的深度可分离卷积块，且步长均为1。5.根据权利要求4所述的基于目标检测的交通违规识别方法，其特征在于，深度可分离卷积块包括四层，具体如下第一层：4个1*1逐点卷积加批标准化BN层和并行的BN层；第一层的扩张系数α是输出通道除以输入通道的商；第一层的激活函数采用h
‑
swish或ReLU；第二层：4个深度卷积加BN层、并行的1*1卷积加BN层和并行的BN层；第二层卷积核的大小为{3,5,7}；第二层的激活函数采用h
‑
swish或ReLU6；
第三层：可选的压缩激励模块SE层；第四层：4个1*1逐点卷积加BN层和并行的BN层；第四层无激活函数。6.根据权利要求1所述的基于目标检测的交通违规识别方法，其特征在于，训练总网络结构具体如下：总网络最大的网络结构为第一层卷积单元输入输出通道数为16，卷积核7*7，步长2；第二层卷积单元输入输出通道为32，卷积核7*7，深度n＝8；第三层卷积单元输入输出...

【专利技术属性】
技术研发人员：宋晨，李锐，段强，姜凯，胡雷钧，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：