【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及基于双目相机深度信息的多目标追踪方法、装置及介质。
技术介绍
1、多目标追踪是计算机视觉的方向之一，旨在一个场景中同时追踪多个目标的行为和位置。在跟踪过程中，目标的重叠和遮挡会严重影响跟踪结果。在目标追踪过程中，目标的快速多变的运动以及遮挡、重叠等现象导致目标轨迹复杂难以跟踪。因此，高准确率的多目标跟踪任务具有极大的挑战性。
2、传统的大多多目标追踪算法面临的问题之一就在于解决在拥挤环境下检测算法带来的假阳问题(即误检问题)。许多方案选择直接放弃低置信度检测框。但低置信度检测框也会包含一些隐藏信息，比如证明有目标存在，如果直接放弃会导致误差、漏检以及碎片化的不完整轨迹的产生。为了缓解低置信度检测框中的拥挤遮挡现象，许多跟踪方案都会执行一定程度的目标集分解。例如，fairmot根据外观和位置线索分别处理检测集，可以看作是通过跟踪线索对检测集进行划分。bytetrack根据置信度分数将检测集分为高分检测和低分检测，并利用分数和遮挡之间的相关性来单独处理低分遮挡目标。然而，在密集的人群中，拥塞会导致遮挡，从而导致低分检测置信度低。尽管bytetrack将低分遮挡与场景解耦，但低分目标仍然拥挤。在这种情况下，基于iou的数据关联很容易出现匹配错误，从而限制处理遮挡的跟踪能力。所以如何对目标集进行分解以有效缓解数据关联中的密集遮挡问题成为一个新的研究方向。
技术实现思路
1、本专利技术目的在于提供基于双目相机深度信息的多目标追踪方法、装置及介
2、本专利技术通过下述技术方案实现：
3、第一方面，本专利技术提供了基于双目相机深度信息的多目标追踪方法，该方法包括：
4、基于双目相机捕获待处理视频，并获取待处理视频中每一帧的彩色图像和深度图像；
5、将彩色图像输入至目标检测网络yolox，获取当前帧彩色图像的每个目标的检测信息，检测信息包括目标检测框及目标检测框的检测置信度；
6、根据目标检测框的检测置信度，将目标检测框分为高置信度检测框和低置信度检测框；
7、根据目标检测框，结合深度图像，获取对应目标检测框的区域深度信息；将检测信息和区域深度信息结合为检测目标的完整信息；
8、根据检测目标的完整信息，将前一帧的每个目标的追踪轨迹输入到卡尔曼滤波器进行预测，得到每个目标对应的预测框；
9、将高置信度检测框输入至重识别网络中，提取对应目标的个体外观特征；
10、基于深度iou距离和外观相似度，将高置信度检测框目标和各个目标的追踪轨迹进行匹配关联，得到匹配的高置信度检测框和追踪轨迹、未匹配的追踪轨迹和未匹配的高置信度检测框；其中，外观相似度是通过个体外观特征之间的余弦相似度进行计算，即计算检测框的人体外观特征和所述追踪轨迹对应的平均个体外观特征的余弦相似度；
11、基于深度iou距离，将低置信度检测框目标和还未匹配的追踪轨迹进行匹配关联，得到匹配的低置信度检测框和追踪轨迹、未匹配的追踪轨迹和未匹配的低置信度检测框；
12、将匹配的高置信度检测框、匹配的低置信度检测框分别添加到与其相匹配的追踪轨迹中，将未匹配的高置信度检测框作为新的追踪轨迹，得到多目标的追踪轨迹，即当前视频帧的每个目标个体的追踪轨迹。
13、进一步地，将彩色图像输入至目标检测网络yolox，获取当前帧彩色图像的每个目标的检测信息，检测信息包括目标检测框及目标检测框的检测置信度，包括：
14、将彩色图像输入至目标检测网络yolox，通过目标检测网络yolox检测到图像帧中的各个目标，并以检测框包围，得到每个目标的检测信息；检测信息包括目标检测框及目标检测框的检测置信度；
15、检测信息表示为五维向量(x,y,w,h,score)，其中，(x,y)表示目标检测框的中心坐标，(w,h)表示目标检测框的宽度与高度，score表示目标检测框的检测置信度。
16、进一步地，根据目标检测框的检测置信度，将目标检测框分为高置信度检测框和低置信度检测框，包括：
17、根据每个目标的目标检测框的检测置信度，进行目标检测框的检测置信度与预设阈值的大小比较；
18、将大于预设阈值的目标检测框划分为高置信度检测框，将低于预设阈值的目标检测框划分到低置信度检测框。
19、进一步地，根据目标检测框，结合深度图像，获取对应目标检测框的区域深度信息；将检测信息和区域深度信息结合为检测目标的完整信息，包括：
20、结合深度图像，根据目标检测框的信息(x,y,w,h)来对深度图像进行裁剪，得到对应位置的局部深度图；其中，(x,y)表示目标检测框的中心坐标，(w,h)表示目标检测框的宽度与高度；
21、根据检测目标的局部深度图，计算出该局部深度图的算数平均值d；并将算数平均值d作为该检测目标的区域深度信息；
22、将区域深度信息与目标检测框的信息(x,y,w,h)结合生成检测目标的完整信息，即检测目标的完整信息表示为五维向量(x,y,w,h,d)。
23、进一步地，提取对应目标的个体外观特征中采用指数移动平均算法更新追踪轨迹外观状态，指数移动平均算法的表达式为：
24、
25、式中，表示第k帧处第i个追踪轨迹的平均外观特征向量；表示第k-1帧处第i个追踪轨迹的平均外观特征向量；是当前匹配检测的外观特征向量；α是动量项，α＝0.9。
26、进一步地，基于深度iou距离和外观相似度，将高置信度检测框目标和各个目标的追踪轨迹进行匹配关联，得到匹配的高置信度检测框和追踪轨迹、未匹配的追踪轨迹和未匹配的高置信度检测框，包括：
27、根据高置信度检测框的深度信息将高置信度检测框均分为多个第一检测子集；根据追踪轨迹对应的预测框的深度信息，将追踪轨迹对应的预测框均分为多个第一轨迹子集；
28、在同一深度级别的第一轨迹子集和第一检测子集之间进行关联：在匹配阶段，基于深度iou距离和外观相似度计算，得到第一成本矩阵；根据第一成本矩阵，采用匈牙利算法进行关联匹配，确定该深度中相匹配的高置信度检测框和追踪轨迹、未匹配的追踪轨迹和未匹配的高置信度检测框；
29、未匹配的追踪轨迹和未匹配的高置信度检测框将在每个深度级别的数据关联完成之后参与下一个深度级别的关联过程。
30、进一步地，基于深度iou距离，将低置信度检测框目标和还未匹配的追踪轨迹进行匹配关联，得到匹配的低置信度检测框和追踪轨迹、未匹配的追踪轨迹和未匹配的低置信度检测框，包括：
31、根据低置信度检测框的深度信息将低置信度检测框本文档来自技高网...
【技术保护点】
1.基于双目相机深度信息的多目标追踪方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，将所述彩色图像输入至目标检测网络，获取当前帧彩色图像的每个目标的检测信息，所述检测信息包括目标检测框及目标检测框的检测置信度，包括：
3.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，根据目标检测框，结合深度图像，获取对应目标检测框的区域深度信息；将所述检测信息和区域深度信息结合为检测目标的完整信息，包括：
4.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，提取对应目标的个体外观特征中采用指数移动平均算法更新追踪轨迹外观状态，所述指数移动平均算法的表达式为：
5.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，基于深度IoU距离和外观相似度，将高置信度检测框目标和各个目标的追踪轨迹进行匹配关联，得到匹配的高置信度检测框和追踪轨迹、未匹配的追踪轨迹和未匹配的高置信度检测框，包括：
6.根据权利要求1所述的基于双目相
7.根据权利要求1或5或6所述的基于双目相机深度信息的多目标追踪方法，其特征在于，深度IoU距离Depth—IoU的计算公式为：
8.根据权利要求5所述的基于双目相机深度信息的多目标追踪方法，其特征在于，基于深度IoU距离和外观相似度计算，具体为：
9.基于双目相机深度信息的多目标追踪装置，其特征在于，该装置包括：
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的基于双目相机深度信息的多目标追踪方法。
...【技术特征摘要】
1.基于双目相机深度信息的多目标追踪方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，将所述彩色图像输入至目标检测网络，获取当前帧彩色图像的每个目标的检测信息，所述检测信息包括目标检测框及目标检测框的检测置信度，包括：
3.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，根据目标检测框，结合深度图像，获取对应目标检测框的区域深度信息；将所述检测信息和区域深度信息结合为检测目标的完整信息，包括：
4.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，提取对应目标的个体外观特征中采用指数移动平均算法更新追踪轨迹外观状态，所述指数移动平均算法的表达式为：
5.根据权利要求1所述的基于双目相机深度信息的多目标追踪方法，其特征在于，基于深度iou距离和外观相似度，将高置信度检测框目标和各个目标的追踪轨迹进行匹配关联，得到匹配...
【专利技术属性】
技术研发人员：雒江涛，张纪强，李涛，许国良，梁旭鹏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。