一种多阶段候选框细化的实时多目标跟踪方法技术

本发明专利技术属于自动驾驶图像识别领域，具体提供了一种自动驾驶中实时多目标跟踪方法及系统，该方法包括以下步骤：对视频的每一帧图像进行多目标行人检测，利用上一帧的检测框信息更新卡尔曼跟踪器，计算卡尔曼增益

【技术实现步骤摘要】
一种多阶段候选框细化的实时多目标跟踪方法


[0001]本专利技术设计于自动驾驶多目标跟踪
，具体是采用多阶段策略来优化边界框从而实现更精确的道路行人目标的追踪
。

技术介绍

[0002]近几年，自动驾驶技术的研发已成为国际汽车工程领域非常重视的方向
。
自动驾驶是汽车产业与人工智能
、5G
通信
、
高性能计算等一代信息技术在交通出行领域深度融合的体现，其终极目标是解放人类驾驶员，实现完全自动驾驶
。
在实现完全自动驾驶前，迫切需要开发一种具有进化能力的自动驾驶系统，通过算法的自我升级逐渐提高自动驾驶汽车的性能
。
环境感知
、
自主决策和运动控制是智能驾驶三大关键技术
。
早期的环境感知算法对复杂时空交互模型表达能力不足，目标模型建立的难度与过多的计算冗余又降低了系列精度和实时性，深度学习的感知方法能一定程度地解决此类问题，但遮挡
、
模糊
、
形变和背景斑杂等外观挑战，参与者之间复杂的随机交互导致的行为轨迹难以准确预测，仍制约着感知技术的发展
。
多目标跟踪是给定视频序列和每一帧中所要检测跟踪目标位置，输出视频关注目标轨迹和包围框
。
多目标跟踪通常采用先检测后跟踪的多目标跟踪框架主要包括目标检测
、
特征提取
、
目标关联三个部分
。
对于多目标跟踪除了需要保证给定感兴趣目标帧位置之外还需要保持前后帧之间的目标身份信息的对应
。
现有的多目标跟踪方法都是基于同一个摄像头来实现的
。
智能驾驶工况多变，驾驶环境复杂，小目标在图像中占比较小，容易出现边缘特征不明显，目标无法感知预测甚至目标丢失的严重后果
。
由于驾驶视角下不同目标之间明显的尺度差距，在无人驾驶的场景下镜头存在抖动，目标在时空中会存在频繁遮挡和相互交互遮挡的问题，解决驾驶视角下小目标行为预测算法，重点研究行人与时间
、
空间角度的耦合交互行为长时域预测，是无人驾驶领域在无信路口车辆安全性控制的关键
。

技术实现思路

[0003]本专利技术提出了一种多阶段候选框细化的实时多目标跟踪方法
。
[0004]步骤1：使用
YOLOX
算法对感兴趣的目标进行检测与定位
。
通过
YOLOX
算法，我们可以有效地检测图像中的目标，并准确地确定它们的位置和边界框
[0005]步骤2：将每一帧图像检测的目标与上一针跟踪目标通过位置
、
大小
、
特征等相似度信息进行最优匹配
。
这个过程可以帮助我们将目标在连续帧之间进行关联，实现目标的持续跟踪
。
[0006]步骤3：根据检测分数的阈值可以将目标框分为高置信度检测框和低置信度检测框
。
[0007]步骤4：对于高置信度目标直接进行目标的轨迹跟踪
。
[0008]步骤
5K
：低置信度目标往往是由于出现了遮挡的问题或者出现了误判的情况，为此需要对低置信度目标进行候选框细化操作，首先取低置信度目标框2倍大小的搜索区域
作为图片输入，将其输入到
ResNet34
网络进行特征提取，
RPN
网络进行候选框的生成，将生成的新候选框作为输入，进行后续的目标跟踪
。
[0009]步骤6：将由于遮挡导致的低置信度目标的信息加入到相关
ID
的轨迹中去完成同一目标的跟踪
。
[0010]步骤7：对于长时间未被检测到的物体，需要从跟踪的列表中删除
。
[0011]步骤8：将得到的每个
ID
的候选框绘制在图片上并生成视频，从而可视化的显示目标位置和轨迹
。
同时将跟踪结果以出现帧
、ID
号
、
候选框坐标值
、
置信度得分的顺序以文本的形式进行存储
。
附图说明
：
[0012]图1为多阶段候选框细化的实时多目标跟踪方法的主要流程示意图；
具体实施方式
[0013]下面将会结合附图与实例，对本专利技术的具体实施方式进一步详细阐述
。
[0014]本专利技术提供一种多阶段候选框细化的实时多目标跟踪方法其中方法包括以下步骤：
[0015]步骤1：将我们需要训练的视频按照一帧一帧的方式截取成图片，通过这个过程可以将视频转换成图像序列，用于后续的检测与跟踪
。
[0016]步骤2：使用
YOLOX
目标检测算法对我们感兴趣的目标进行检测与定位
。
通过
YOLOX
算法，我们可以有效地检测图像中的目标，并准确地确定它们的位置和边界框
。
[0017]步骤3：将每一帧图像检测的目标与上一针跟踪目标通过位置
、
大小
、
特征等相似度信息进行最优匹配
。
这个过程可以帮助我们将目标在连续帧之间进行关联，实现目标的持续跟踪
。
[0018]步骤4：通过
YOLOX
目标检测算法对目标的检测框进行分类，可以将其分为两个类别：置信度高于
0.5
的称为高置信度目标框，对于低于
0.5
的候选框称为低置信度目标框
。
[0019]步骤5：第一次追踪，对于已处于激活状态的高分检测框根据损失矩阵，用匈牙利算法和初步追踪轨迹与当前帧的高分边界框来进行匹配
。
[0020]步骤6：第二次追踪，低分检测框往往是由于出现了遮挡的问题或者是出现了误判的情况
。
后续将对低分检测框进行二次候选框细化操作
。
首先将低分检测框周围区域进行二倍放大，成为新的图片输入进行搜索
。
[0021]步骤7：将新的图片输入进
ResNet34
骨干网络进行处理，图片经过
33
个卷积层和一个全连接层进行特征提取，得到图片的相关特征图
。
[0022]步骤8：将特征图输入到
RPN
网络中，
RPN
网络通过在特征图上滑动窗口来对每个窗口进行分类和回归，从而可以获取更加精确的候选框位置
。
[0023]步骤9：通过第二次检测与跟踪的方法来处理在第一次追踪中低置信度的目标框问题
。
具体操作为保留低置信度的目标候选框，在后续5帧中继续进行匹配，如果能匹配上则说明之前低置信度目标框的原因是因为进行了遮挡
。
[0024]步骤
10
：对于长时间未被检测到的物体，认为其可能已本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多阶段候选框细化的实时多目标跟踪方法，包括以下步骤：步骤
S1:
通过
YOLOX
算法对感兴趣的目标进行检测与定位
。
同时将检测框根据设定的阈值分为高置信度检测框和低置信度检测框
。
步骤
S2
：对于步骤1中的高分检测框采用卡尔曼跟踪器预测下一帧的目标位置同时利用匈牙利算法进行目标匹配
。
步骤
S3
：针对步骤1中的低分检测框进行一个二次候选框细化的操作
。
首先将低分检测框周围区域的图像进行二倍放大，得到一个新的图像，将这个新图像输入到
ResNet
骨干网络经过处理后得到相关的特征图
。
将特征图输入到
RPN
网络中，
RPN
网络通过在特征图上滑动窗口来对每个窗口进行分类和回归，从而可以获取更加精确的候选框位置
。
步骤
S4
：得到经过细化的...

【专利技术属性】
技术研发人员：赵彬，王清璇，王泽，高永乐，张钧溟，丁振行，刘向进，李何为，罗明月，楚存堡，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：