交通障碍物识别方法、装置及电子设备制造方法及图纸

本发明专利技术公开一种交通障碍物识别方法、装置及电子设备。本发明专利技术通过获取视频数据；对视频数据进行解码及跳帧处理，得到目标图像；利用目标检测模型对目标图像进行目标检测，得到检测目标；对检测目标建立跟踪链进行跟踪，将所有跟踪链和检测目标进行IoU级联匹配和IoM匹配，根据检测目标的跟踪链中的状态信息，进行告警逻辑处理。本发明专利技术基于注意力机制改进yolov5目标检测模型在人流量较大时期出现的车辆严重遮挡问题，优化IoU级联匹配跟踪算法，实时跟踪车辆行驶轨迹，出现超过设定告警阈值时，及时上报给告警业务系统，可以对地铁口附近禁停区域内检测机动车和非机动车违规停放，及时通知管理人员处理，提高管理效率。提高管理效率。提高管理效率。

【技术实现步骤摘要】
交通障碍物识别方法、装置及电子设备


[0001]本专利技术涉及图像处理
，尤其涉及一种交通障碍物识别方法、装置及电子设备。

技术介绍

[0002]随着我国人民生活水平的提高，人们拥有车辆的数量越来越多，出行更加便捷，同时带来的交通问题也愈专利技术显，车辆随意停放导致的交通拥堵现象越来越多。近年来，GPU、TPU等处理器的快速发展，也在一定程度上刺激了深度学习技术的进步，基于图像处理的计算机视觉技术在许多领域得到了有效应用。计算机视觉技术中目标检测技术能够针对特定目标进行识别，目标跟踪技术可以对任意目标进行跟踪，精确并快速的定位目标。
[0003][0004]专利CN202210301685.8公开了一种基于深度学习的公路交通事件检测方法，此专利对原始YOLOV5模型检测算法进行改进，加入注意力模块CBAM，使用α
‑
CIoULoss替换原有CIoULoss，使用Soft
‑
NMS替代YOLOv5中原有 的Hard
‑
NMS，提升目标检测精度较差问题。但该专利没有考虑违停车辆较多时严重遮挡问题，此时容易把两辆车识别成一辆车，检测精度较低，严重影响后续任务的处理。
[0005]专利CN202210559915.0公开了一种基于深度学习的机动车违停智能识别方法及系统，此专利直接利用通用性yolov5检测模型和SORT目标跟踪算法来对园区中的机动车进行违停检测判断。在特定任务下yolov5检测模型还存在些许不足，有一定的改进空间。SORT目标跟踪算法利用IoU匹配和匈牙利算法进行目标跟踪，具有较快的跟踪效率，但出现目标遮挡时无法处理ID切换问题。
[0006]专利CN201811425353.0公开了一种共享车辆违规停放时间抓拍方法及系统、存储介质，用于监控共享车辆的违规停放。该专利通过针对每一辆所述共享车辆，确定该共享车辆分别在连续M帧监控图像中的位置，来确定该车辆是否停靠。地铁口场景存在早晚高峰时，人流量较大，非机动车出现严重遮挡，会出现连续N帧无法检测到目标，导致车辆是否停靠判断标准失效。
[0007]专利CN201811563335.9公开了一种基于深度学习的视频车辆违停检测方法，该专利利用YOLO目标检测方法跳帧检测车辆目标位置，为节约计算资源采用IoU跟踪的方式对检测出的车辆目标进行跟踪，IoU跟踪方式具有较快的运算速度，但遇到遮挡问题时，IoU跟踪方式难以匹配上目标。
[0008]由此可见，在上下班高峰人流量较大时期，出现车辆严重遮挡的情况下，现有的交通障碍物识别方法存在检测精度低的问题，此外，现有技术需要将相机采集的图片帧联网发送至云服务器进行计算，对算力服务器的依赖性较高，运营维护成本较高。

技术实现思路

[0009]本专利技术的目的在于提供一种交通障碍物识别方法、装置及电子设备，以解决现有
技术在上下班高峰人流量较大时期，出现车辆严重遮挡的情况下，检出精度低，对算力服务器的依赖性较高的问题。
[0010]第一方面，本专利技术提供一种交通障碍物识别方法，包括：获取视频数据；对所述视频数据进行解码及跳帧处理，得到目标图像；利用目标检测模型对所述目标图像进行目标检测，得到检测目标；其中，所述目标检测模型采用yolov5目标检测模型；在所述目标检测模型的损失函数中添加RepBoxLoss；在所述目标检测模型的neck网络和head网络之间添加SEAM模块；融合所述目标检测模型的FPN的P2层信息；对所述检测目标建立跟踪链进行跟踪，跟踪过程中，将所有跟踪链和检测目标进行IoU级联匹配和IoM匹配，得到检测目标的跟踪链中的状态信息；根据所述检测目标的跟踪链中的状态信息，进行告警逻辑处理。
[0011]进一步地，所述目标检测模型的构建方法包括：获取地铁口场景下机动车和非机动车的视频数据；对所述视频数据进行解帧并筛选含有检测目标的图像样本数据，构建图像样本集；对所述图像样本集进行样本标注，标注图像中所有的非机动车和机动车，得到样本数据集；将所有完成标注的样本数据集样本进行聚类分析，以获取三种不同尺度的预测框的宽高比信息；将标注格式转换成yolov5格式，并且按照10：1的比例划分为训练集和验证集；根据所述训练集和验证集训练得到目标检测模型。
[0012]进一步地，在所述目标检测模型的损失函数中添加RepBoxLoss，包括：假设存在g个检测目标，将P+集合划分成互斥的g个子集：；式中，为正候选框集合，，，，分别为g分目标的候选框；从两个不同子集随机采样，分别得到两个互斥集合的预测框和，，，；按照下式对预测框之间的IoU计算smoothln损失；；式中，为RepBox损失，是一个平滑的（0，1）内连续可微的ln函数，为Identity函数，为极小值。
[0013]进一步地，在所述目标检测模型的neck网络和head网络之间添加SEAM模块，包括：SEAM模块包含带有残差连接的深度可分离卷积，不同深度卷积输出后通过逐点卷积进行组合，通过一个两层的全连接网络来融合每个通道的信息；全连接层学习到的输出logits再经过指数函数处理，将取值范围从[0, 1]扩大到[1, e]。
[0014]进一步地，对所述检测目标建立跟踪链进行跟踪，跟踪过程中，将所有跟踪链和检
测目标进行IoU级联匹配和IoM匹配，得到检测目标的跟踪链中的状态信息，包括：IoU级联匹配优先匹配目标出现较晚的跟踪链，对于没有匹配上的检测目标，生成一个跟踪链，记录当前时间信息，并标记状态为Tentative，并且认为当前检测框为静止目标框；没有匹配上的跟踪链中目标丢失字段time_since_update加1；匹配上的跟踪链更新当前检测目标位置信息，并且清空目标丢失字段time_since_update，如果匹配次数超过3次，将状态信息更新为Confirmed；所有跟踪链中目标丢失字段time_since_update超过预设阈值时，状态信息更新为Deleted，并且删除该跟踪链；对于所有跟踪链中目标丢失字段time_since_update为零的跟踪链，获取跟踪链中匹配的检测框与跟踪链中静止目标框的IoU并进行判断，若连续3次IoU小于0.8，则认为当前跟踪链为运行状态，更新静止开始时间为当前时间，当前检测框为静止目标框；判断跟踪链中匹配的检测框的中心点坐标是否处于设定的告警区域内，若不在，直接更新静止开始时间为当前时间。
[0015]进一步地，IoU级联匹配中，IoU的计算方法包括：统计车辆的检测框和真实框重叠部分的面积；分别计算车辆检测框和真实框的面积；计算车辆检测框和真实框的面积之和再减去重叠部分的面积；将重叠部分的面积除以上个步骤得到的面积。
[0016]进一步地，IoM匹配中，IoM的计算方法包括：统计车辆的检测框和真实框重叠部分的面积；分别计算车辆检测框和真实框的面积；将重叠部分的面积除以车辆检测框和真实框的面积中最小的值。
[0017]进一步地，根据所述检测目标的跟踪链中的状态信息，进行告警逻辑处理，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通障碍物识别方法，其特征在于，包括：获取视频数据；对所述视频数据进行解码及跳帧处理，得到目标图像；利用目标检测模型对所述目标图像进行目标检测，得到检测目标；其中，所述目标检测模型采用yolov5目标检测模型；在所述目标检测模型的损失函数中添加RepBoxLoss；在所述目标检测模型的neck网络和head网络之间添加SEAM模块；融合所述目标检测模型的FPN的P2层信息；对所述检测目标建立跟踪链进行跟踪，跟踪过程中，将所有跟踪链和检测目标进行IoU级联匹配和IoM匹配，得到检测目标的跟踪链中的状态信息；根据所述检测目标的跟踪链中的状态信息，进行告警逻辑处理。2.如权利要求1所述的交通障碍物识别方法，其特征在于，所述目标检测模型的构建方法包括：获取地铁口场景下机动车和非机动车的视频数据；对所述视频数据进行解帧并筛选含有检测目标的图像样本数据，构建图像样本集；对所述图像样本集进行样本标注，标注图像中所有的非机动车和机动车，得到样本数据集；将所有完成标注的样本数据集样本进行聚类分析，以获取三种不同尺度的预测框的宽高比信息；将标注格式转换成yolov5格式，并且按照10：1的比例划分为训练集和验证集；根据所述训练集和验证集训练得到目标检测模型。3.如权利要求2所述的交通障碍物识别方法，其特征在于，在所述目标检测模型的损失函数中添加RepBoxLoss，包括：假设存在g个检测目标，将P+集合划分成互斥的g个子集：；式中，为正候选框集合，，，，分别为g分目标的候选框；从两个不同子集随机采样，分别得到两个互斥集合的预测框和，i,j=1,2,
…
,｜g｜，i≠j;按照下式对预测框之间的IoU计算smoothln损失；；式中，为RepBox损失，是一个平滑的（0，1）内连续可微的ln函数，为Identity函数，为极小值。4.如权利要求1所述的交通障碍物识别方法，其特征在于，在所述目标检测模型的neck网络和head网络之间添加SEAM模块，包括：SEAM模块包含带有残差连接的深度可分离卷积，不同深度卷积输出后通过逐点卷积进行组合，通过一个两层的全连接网络来融合每个通道的信息；全连接层学习到的输出logits再经过指数函数处理，将取值范围从[0, 1]扩大到[1, e]。5.如权利要求1所述的交通障碍物识别方法，其特征在于，对所述检测目标建立跟踪链
进行跟踪，跟踪过程中，将所有跟踪链和检测目标进行IoU级联匹配和IoM匹配，得到检测目标的跟踪链中的状态信息，包括：IoU级联匹配优先匹配目标出现较晚的跟踪链，对于没有匹配上的检测目标，生成一个跟踪链，记录当前时间信息，并标记状态为Tentative，并且认为当前检测框为静止目标框；没有匹配上的跟踪链中目标丢失字段time_since_update加1；匹配上的跟踪链更新当前检测目标...

【专利技术属性】
技术研发人员：徐宇峰，闾凡兵，吴婷，
申请(专利权)人：长沙海信智能系统研究院有限公司，
类型：发明
国别省市：