一种道路环境多目标辨识与追踪的方法及装置制造方法及图纸

本发明专利技术公开了一种道路环境多目标辨识与追踪的方法及装置，包括以下步骤：建立建立多目标辨识追踪模型，包括YOLOv5改进网络与Deep Sort改进网络，将两者相互结合，增加目标分类信息的传递。所述YOLOv5改进网络增加了空间注意力机制和通道注意力机制，在网络中使用了改进后的BiFPN结构，改进的历史非极大值抑制算法和切片辅助推理框架。所述Deep Sort改进网络加入了目标分类信息检验结构，增加了静物保持结构。获取已有道路环境图像，并分割出如路灯、斑马线、行人和车辆等特征图像，作为数据集输入YOLOv5改进网络与Deep Sort改进网络中得到权重文件。当车辆在道路上行驶时，实时通过摄像头获取道路信息，输入进模型后实现道路环境多目标追踪。境多目标追踪。境多目标追踪。

【技术实现步骤摘要】
一种道路环境多目标辨识与追踪的方法及装置


[0001]本专利技术涉及计算机视觉领域，一种道路环境多目标辨识与追踪的方法及装置。

技术介绍

[0002]随着车辆智能化发展，获取分析周围环境信息成为必不可少的环节。车辆通过摄像头可以得到周围道路环境信息，但是只有进一步的分析理解才能进入接下来的决策判断。这需要计算机视觉算法的帮助，完成图像中的目标识别和同时对多目标进行追踪。通过多目标辨识与追踪，可以使本车在道路上行驶时借助人工智能增强对周围环境感知，帮助驾驶员在对潜在危险上提供重要信息。在车辆静止时，由于周围环境变化影响如遮挡或光线变化等，可能原先识别成功的静物如信号灯或斑马线不断处于检测与未检测到之间。

技术实现思路

[0003]专利技术目的：本专利技术针对现有技术存在的错误追踪、容易忽视小目标、目标受遮挡或环境干扰而无法准确持续追踪的缺陷，提供一种道路环境多目标辨识与追踪的方法来解决上述问题。
[0004]一种道路环境多目标辨识与追踪的方法，包括以下步骤：
[0005]建立多目标辨识追踪模型，包括YOLOv5改进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路环境多目标辨识与追踪的方法，其特征在于，包括以下步骤：建立多目标辨识追踪模型，包括YOLOv5改进网络与Deep Sort改进网络；所述的YOLOv5改进网络使用了改进的BiFPN结构，改进的BiFPN结构中嵌入了空间注意力模块和通道注意力模块；所述的Deep Sort改进网络加入了目标分类信息检验结构和静物保持结构；获取已有的道路环境图像进行目标分割与标注，作为数据集输入多目标辨识追踪模型中训练；待处理视频的道路环境图像输入训练好的模型后实现道路环境多目标追踪；将待处理视频的道路环境图像输入YOLOv5改进网络中得到目标特征信息；目标特征信息输入Deep Sort改进网络中，当前图像与经过YOLOv5改进网络处理后的图像进行目标和轨迹的级联匹配、目标分类匹配和IOU匹配得到多目标追踪轨迹。2.根据权利要求1所述的道路环境多目标辨识与追踪的方法，其特征在于，所述的改进的BiFPN结构包括：的BiFPN结构包括：BiFPN结构使用带权特征融合，其中P6对应所述YOLOv5改进网络中的第6层，对应所述YOLOv5改进网络中的第12层，对应所述YOLOv5改进网络中的第19层，ω1为P6传递特征信息至时相应权重，ω2为P7经过上采样传递特征信息至时相应权重，ω
′1为P6跨越传递特征信息至时相应权重，ω
′2为传递特征信息至时相应权重，ω
′3为经过上采样传递特征信息至时相应权重；ε为微小数值，防止分母为零；Conv表示进行卷积操作，Resize表示对图像大小进行不损失图像信息的调整，P7和表示网络的某个节点。3.根据权利要求1或2所述的道路环境多目标辨识与追踪的方法，其特征在于，所述的空间注意力模块和通道注意力模块，具体包括：先进行通道注意力操作，将特征图F分别经过最大池化和平均池化再输入两个卷积中，两者加和后进行sigmoid激活得到特征图M
c1
；随后进行空间注意力操作，对特征图M
c1
用卷积核大小为7
×
7的卷积分别进行平均池化和最大池化，将二者加和后进行卷积处理和sigmoid激活得到M
c2
；最后将M
c2
与特征图F进行特征融合得到特征图M
c3
，完成注意力机制；M
c1
(F)＝σ(ω1×
MLP(AvgPool(F))+ω2×
MLP(MaxPool(F)))M
c2
(F)＝σ(f7×7([AvgPool(F)；(MaxPool(F)]))M
c3
＝σ(ω3×
MLP(M
c2
(M
c1
(F))+ω4×
MLP(F)))其中F为输入的特征图，MFP为卷积网络，f7×7为卷积核大小为7
×
7的卷积处理，σ为sigmoid激活函数，AvgPool为平均池化函数，MaxPool为最大池化函数；ω1、ω1、ω3和ω4分别为权重。4.根据权利要求1或2所述的道路环境多目标辨识与追踪的方法，其特征在于，当前图像与经过YOLOv5改进网络处理后的图像进行目标和轨迹的级联匹配、目标分类匹配和IOU匹配得到多目标追踪轨迹具体包括：使用改进过的历史非极大值抑制算法进行目标框图匹配，具体步骤包括：
先对前一帧目标检测位置和分类信息进行保留，记为boxes3，包含信息为(x,y,w,h,c,conf)，分别为前一帧目标的中心坐标、检测框的宽和高、分类信息以及置信度；本帧进行传统非极大值抑制算法可以得到本帧预测目标信息，记为boxes2，包含信息为(x,y,w,h,c,conf)，在本帧进行非极大值抑制算法时所剔除的预测目标信息记为boxes1，包含信息为(x,y,w,h,c,conf)；若在此帧被剔除的预测框boxes2和与前一帧已识别的预测框boxes3的IoU大于某阈值，进一步使用HIoU进行判断是否需要被保留，如公式所示：其中，ρ2(,)是求欧式距离，b1是本帧使用传统非极大值抑制算法所得到的预测框，b2是本帧使用非极大值抑制算法所剔除的预测框，b0是前一帧保留的预测框中距离b2最近的预测框；当时，代表与前一帧相比，本帧两个同种物体距离变短，相互靠拢，遮挡加剧，可以对b2进行进一步分析，确认是否保留；当...

【专利技术属性】
技术研发人员：刘瑞，李海鹏，余强，赵轩，
申请(专利权)人：长安大学，
类型：发明
国别省市：