基于YOLOv3多伯努利视频多目标检测跟踪方法技术

本发明专利技术公开了一种基于YOLOv3多伯努利视频多目标检测跟踪方法，属于机器视觉、智能信息处理领域。本发明专利技术在多伯努利滤波框架下引入YOLOv3检测技术，采用抗干扰的卷积特征描述目标，并交互融合检测结果和跟踪结果，实现对数目未知且时变的视频多目标状态进行精确估计；跟踪过程中，将匹配的检测框与目标轨迹及目标模板相结合，实时进行目标新生判断与遮挡目标重识别，同时考虑检测目标和估计目标的身份标记信息，实现对目标身份识别及航迹跟踪，可以有效提高对被遮挡目标的跟踪精度，减少轨迹碎片。实验表明，本发明专利技术具有良好的跟踪效果和鲁棒性，能广泛满足智能视频监控、人机交互、智能交通管制等系统的实际设计需求。

Multiobjective Detection and Tracking Method Based on YOLOv3 Dobernoulli Video

【技术实现步骤摘要】
基于YOLOv3多伯努利视频多目标检测跟踪方法
本专利技术涉及基于YOLOv3多伯努利视频多目标检测跟踪方法，属于机器视觉、智能信息处理领域。
技术介绍
复杂环境下视频多目标跟踪应用领域中，除了存在光照变化、目标形变、目标被遮挡等问题，还存在目标数目未知、新生目标不确定、目标交叉或紧邻运动、目标消失及杂波干扰等复杂情况，一直是多目标跟踪领域中研究的难点和具有挑战性的问题。针对视频多目标跟踪问题，早期主要采用基于数据关联的目标检测跟踪方法，先采用目标检测器对视频序列进行多目标检测，然后借助数据关联等技术完成对视频多目标跟踪。典型的数据关联如：多假设跟踪、联合概率数据关联、图分解、动态规划等，虽然这些方法在视频多目标跟踪中取得了一定的效果，但由于复杂的数据关联运算，一定程度上降低了算法的运算效率，此外，对数目未知且变化的多目标跟踪，存在目标数目及状态估计不准确的问题。近年来，随机有限集(RandomFiniteSet，RFS)理论在对数目未知且变化的多目标跟踪中取得了一定优势，分别对目标状态和观测进行随机集建模，可避免复杂的数据关联运算。自Mahler教授提出概率假设密度(Probabilityhypothesisdensity,PHD)和多伯努利(MeMBer)滤波器之后，随机有限集理论在目标跟踪领域得到了广泛地应用。概括来说，基于随机有限集理论的多目标跟踪算法主要包含两大类：基于概率假设密度(PHD)/势概率假设密度(CPHD)的多目标跟踪算法和基于多伯努利(MeMBer)/势均衡多伯努利(CBMeMBer)的多目标跟踪算法。典型的闭合解有：粒子滤波PHD/CPHD、高斯混合PHD/CPHD、粒子滤波CBMeMBer和高斯混合CBMeMBer等。尤其是粒子多伯努利滤波(ParticleFilterMultipleBernoulli，PFMB)技术，借助多目标贝叶斯估计理论递推近似多目标状态集的后验概率密度，可提高对数目变化多目标的跟踪精度。但PFMB方法难以检测新生目标，且当多目标之间出现相互遮挡和干扰时，跟踪精度下降，甚至出现目标被漏估计的问题。
技术实现思路
为了解决目前存在的现有目标跟踪方法无法检测新生目标以及当多目标之间出现相互遮挡和干扰时，跟踪精度下降，甚至出现目标被漏估计的问题，本专利技术提供了一种基于YOLOv3多伯努利视频多目标检测跟踪方法，所述方法检测跟踪过程中，采用YOLOv3技术检测视频的第k和k+1帧视频序列；记k时刻检测框个数为n，检测框状态集为k+1时刻检测框个数为m，其检测框状态集为其中，表示第i个检测框状态向量，参数分别表示k时刻第i个检测框左上角的横坐标、纵坐标，以及检测框的宽、高和标签；对于视频的初始帧，k＝0，将已匹配的检测框作为初始的新生目标加入目标模板集和目标轨迹集中；对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息实现新生目标判定、丢失目标重识别和存活目标优化跟踪；其中，存活目标优化跟踪是在多伯努利滤波框架下，利用当前帧置信度大于给定置信度阈值Tb的检测框信息，优化对应目标的跟踪过程。可选的，所述对于视频的初始帧，k＝0，将已匹配的检测框作为新生目标加入目标模板集和目标轨迹集中，包括：采用抗干扰的卷积特征表示第k帧和第k+1帧的检测框，分别记为和表示第k帧中第i个检测框的卷积特征向量；计算检测框卷积特征对应的量测似然矩阵Λ，即：其中，表示第k帧中第i个检测框与第k+1帧中第j个检测框的量测似然；从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标加入目标模板集和目标轨迹集中。可选的，由于视频各帧中目标连续变化，假定同一个目标在相邻两帧不会出现特别大的位移变化，因此，在量测似然匹配的基础上，加入目标框的交并比IOU作为限制：若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配；从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl，同时交并比IOU大于交并比阈值TI的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标，并分配标签并加入目标轨迹集中，其中，为目标状态向量，各个分量分别表示第i个目标框左上角横坐标、纵坐标以及目标框的宽、高和标签，Mk为k时刻目标个数，给已匹配的检测框对添加与初始的新生目标对应的目标标签，即同时建立新生目标模板。可选的，所述对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息来实现新生目标判定、丢失目标重识别和存活目标优化跟踪，包括：对相邻的检测框进行匹配，确定新生目标与重识别目标的判定条件，再根据相邻帧的检测框、目标模板和存在目标轨迹来判定目标是否为新生目标、重识别目标或存在目标。可选的，所述对相邻的检测框进行匹配，包括：计算第k和k+1帧视频序列中检测框之间的量测似然矩阵Λ，从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框，若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配，假设第k帧中的第i个检测框与第k+1帧中的第j个检测框匹配，则为第k+1帧中匹配目标的标签赋值，即：表示第k帧中第i个检测框的标签，若为空，则表示该检测框包含的目标在第k-1帧中未被检测到，此时，将该检测框与存在目标轨迹集中的目标进行匹配；若与第n个目标匹配，则利用该目标标签对检测框标签进行赋值可判定该目标在第k-1帧中被检测器漏检；当存在目标轨迹集中没有与检测框匹配的目标，将检测框与目标模板进行匹配，判断是否为重新识别目标，如匹配上，则为重识别目标，否则为新生目标。若当前检测框在下一帧图像中不存在与之匹配的检测框，且目标模板与存在目标轨迹集中也不存在与之匹配的目标，则可判定该检测框为误检。可选的，所述确定新生目标与重识别目标的判定条件包括：假设条件：(a)目标在第k-1帧没有被检测到，在第k和k+1帧被检测到；(b)检测到的目标不在目标跟踪轨迹集中；(c)检测到的目标也不在目标模板中；若检测框目标满足条件(a)和(b)，且不满足条件(c)，则该目标为重识别目标；若当前检测框目标同时满足(a)(b)(c)，则判定该目标为新生目标。可选的，若判断该目标为重识别目标，则将其重新加入到存在目标轨迹集中，继续跟踪；若判断该目标为新生目标，则分配标签建立新生目标状态集其中为新生目标状态向量，各个分量分别表示第j个目标框左上角横坐标、纵坐标，宽，高和目标标签，MΓ表示新生目标个数，n表示目标模板的个数，给已匹配的检测框对添加与新生目标对应相同的目标标签，同时建立新生目标模板，并根据新生参数初始化新生目标的采样粒子。可选的，假设目标运动模型为随机游走模型，若当YOLOv3检测器检测到该目标，且其检测框置信度大于阈值Tb，则：否则：其中，为第k帧中标签为li目标状态向量，为第k+1帧中标签为li目标的检测框，e(k)表示零均值高斯白噪声，η为目标状态与对应检测框信息之间的学习率。可选的，在k-1时刻，采用多伯努利参数集表示多目标的后验概率密度，其中，Mk-1为k-1时刻存在目标的数目，表示在k-1时刻目标i的存在概率，表示k-1时刻目标i的概率分布，由一组加权粒子表示：其中，表示k-1时刻目标i本文档来自技高网...

【技术保护点】
1.一种多目标检测跟踪方法，其特征在于，所述方法检测跟踪过程中，采用YOLOv3技术检测视频的第k和k+1帧视频序列；记k时刻检测框个数为n，检测框状态集为

【技术特征摘要】
1.一种多目标检测跟踪方法，其特征在于，所述方法检测跟踪过程中，采用YOLOv3技术检测视频的第k和k+1帧视频序列；记k时刻检测框个数为n，检测框状态集为k+1时刻检测框个数为m，其检测框状态集为其中，表示第i个检测框状态向量，参数分别表示k时刻第i个检测框左上角的横坐标、纵坐标，以及检测框的宽、高和标签；对于视频的初始帧，k＝0，将已匹配的检测框作为初始的新生目标加入目标模板集和目标轨迹集中；对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息实现新生目标判定、丢失目标重识别和存活目标优化跟踪；其中，存活目标优化跟踪是在多伯努利滤波框架下，利用当前帧置信度大于给定置信度阈值Tb的检测框信息，优化对应目标的跟踪过程。2.根据权利要求1所述的方法，其特征在于，所述对于视频的初始帧，k＝0，将已匹配的检测框作为新生目标加入目标模板集和目标轨迹集中，包括：采用抗干扰的卷积特征表示第k帧和第k+1帧的检测框，分别记为和表示第k帧中第i个检测框的卷积特征向量；计算检测框卷积特征对应的量测似然矩阵Λ，即：其中，表示第k帧中第i个检测框与第k+1帧中第j个检测框的量测似然；从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标加入目标模板集和目标轨迹集中。3.根据权利要求2所述的方法，其特征在于，由于视频各帧中目标连续变化，假定同一个目标在相邻两帧不会出现特别大的位移变化，因此，在量测似然匹配的基础上，加入目标框的交并比IOU作为限制：若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配；从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl，同时交并比IOU大于交并比阈值TI的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标，并分配标签并加入目标轨迹集中，其中，为目标状态向量，各个分量分别表示第i个目标框左上角横坐标、纵坐标以及目标框的宽、高和标签，Mk为k时刻目标个数，给已匹配的检测框对添加与初始的新生目标对应的目标标签，即同时建立新生目标模板。4.根据权利要求3所述的方法，其特征在于，所述对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息来实现新生目标判定、丢失目标重识别和存活目标优化跟踪，包括：对相邻的检测框进行匹配，确定新生目标与重识别目标的判定条件，再根据相邻帧的检测框、目标模板和存在目标轨迹来判定目标是否为新生目标、重识别目标或存在目标。5.根据权利要求4所述的方法，其特征在于，所述对相邻的检测框进行匹配，包括：计算第k和k+1帧视频序列中检测框之间的量测似然矩阵Λ，从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框，若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配，假设第k帧中的第i个检测框与第k+1帧中的第j个检测框匹配，则为第k+1帧中匹配目标的标签赋值，即：表示第k帧中第i个检测框的标签，若为空，则表示该检测框包含的目标在第k-1帧中未被检测到，此时，将该检测框与存在目标轨迹集中的目标进行匹配；若与第n个目标匹配，则利用该目标标签对检测框标签进行赋值可判定该目标在第k-1帧中被检测器漏检；当存在目标轨迹集中没有与检测框匹配的目标，将检测框与目标...

【专利技术属性】
技术研发人员：杨金龙，程小雪，彭力，汤玉，刘建军，葛洪伟，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32