多目标跟踪装置和方法制造方法及图纸

本申请提供了一种多目标跟踪装置和方法。所述多目标跟踪装置包括：跟踪模块，配置为接收视频帧数据以及获取指示要跟踪的多个目标的指示数据，并且根据所述多个目标的指示数据跟踪所述视频帧数据的每一帧中的多个目标以便生成跟踪结果；检测模块，配置为接收所述视频帧数据，并且检测所述视频帧数据的每一帧中的所述多个目标以便生成检测结果；学习模块，配置接收所述视频帧数据，并且根据所述跟踪模块的跟踪结果更新所述检测模块，以及根据所述检测模块的检测结果更新所述跟踪模块；以及整合模块，配置为接收所述跟踪模块的跟踪结果和所述检测模块的检测结果，以生成指示被跟踪的多个目标的指示数据。

【技术实现步骤摘要】
多目标跟踪装置和方法
本申请涉及多目标跟踪装置和方法。
技术介绍
TLD(Tracking-Learning-Detection)是一种新的单目标长时间(longtermtracking)跟踪算法。TLD与传统跟踪方法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题，且跟踪效果更加稳定、鲁棒、可靠。但原始的TLD是个单目标跟踪方法，在多目标跟踪应用场景下不适用。为此，期望提供一种多目标跟踪装置和方法，其能够对多个目标进行跟踪。
技术实现思路
根据本申请的实施例，提供了一种多目标跟踪装置，包括：跟踪模块，配置为接收视频帧数据以及获取指示要跟踪的多个目标的指示数据，并且根据所述多个目标的指示数据跟踪所述视频帧数据的每一帧中的多个目标以便生成跟踪结果；检测模块，配置为接收所述视频帧数据，并且检测所述视频帧数据的每一帧中的所述多个目标以便生成检测结果；学习模块，配置接收所述视频帧数据，并且根据所述跟踪模块的跟踪结果更新所述检测模块，以及根据所述检测模块的检测结果更新所述跟踪模块；以及整合模块，配置为接收所述跟踪模块的跟踪结果和所述检测模块的检测结果，以生成指示被跟踪的多个目标的指示数据。可选地，所述跟踪模块包括多目标跟踪管理器，配置为：根据预定操作执行跟踪目标的添加；执行多个跟踪目标的更新；以及管理多个跟踪目标的跟踪目标框的第一队列和多个跟踪目标的目标区域特征点的第二队列的双向映射关系。可选地，所述多目标跟踪管理器进一步配置为：利用光流法对目标区域特征点的第二队列中的所有特征点进行跟踪以便生成跟踪结果；根据跟踪结果以及特征点到跟踪目标框的逆向映射关系，确定多个跟踪目标的每个的跟踪目标框在跟踪中是否成功；如果成功，则重新计算跟踪目标框并更新特征点，否则将该跟踪目标的跟踪目标框和对应的特征点分别从第一队列和第二队列中删除。可选地，所述学习模块包括：样本队列生成器，配置为生成正样本队列和负样本队列，其中，所述正样本队列包括所述视频帧数据的每一帧中所述跟踪模块跟踪到的每个跟踪目标的跟踪目标框或所述检测模块检测到的每个跟踪目标的检测目标框，负样本队列为存储的公共负样本，所述负样本为正样本附近预定范围内不与正样本相交的区域，其中，对于多个跟踪目标中的每个，正样本队列包括该跟踪目标的跟踪目标框和检测目标框，负样本队列包括公共负样本和属于其它跟踪目标的正样本队列的正样本；以及分类器，配置为分别对每个跟踪目标的正样本队列和负样本队列进行相似性比较；根据设定阈值，获取正样本队列和负样本队列中的个数和归属并执行归一化处理；以及计算属于每个跟踪目标的正样本和负样本的概率。可选地，所述检测模块进一步配置为：针对所述视频帧数据的每一帧，滑动检测框以检测负样本；确定检测到负样本的区域为后续不检测区域；以及对于剩余区域，进行正样本检测以确定跟踪目标。根据本申请的另一实施例，提供了一种多目标跟踪方法，包括：通过跟踪模块接收视频帧数据以及获取指示要跟踪的多个目标的指示数据，并且根据所述多个目标的指示数据跟踪所述视频帧数据的每一帧中的多个目标以便生成跟踪结果；通过检测模块接收所述视频帧数据，并且检测所述视频帧数据的每一帧中的所述多个目标以便生成检测结果；通过学习模块接收所述视频帧数据，并且根据所述跟踪模块的跟踪结果更新所述检测模块，以及根据所述检测模块的检测结果更新所述跟踪模块；以及通过整合模块接收所述跟踪模块的跟踪结果和所述检测模块的检测结果，以生成指示被跟踪的多个目标的指示数据。可选地，所述跟踪模块包括多目标跟踪管理器，配置为：根据预定操作执行跟踪目标的添加；根据预定操作执行多个跟踪目标的更新；以及管理多个跟踪目标的跟踪目标框的第一队列和多个跟踪目标的目标区域特征点的第二队列的双向映射关系。可选地，所述多目标跟踪管理器进一步配置为：利用光流法对目标区域特征点的第二队列中的所有特征点进行跟踪以便生成跟踪结果；根据跟踪结果以及特征点到跟踪目标框的逆向映射关系，确定多个跟踪目标的每个的跟踪目标框在跟踪中是否成功；如果成功，则重新计算跟踪目标框并更新特征点，否则将该跟踪目标的跟踪目标框和对应的特征点分别从第一队列和第二队列中删除。可选地，所述学习模块包括：样本队列生成器，配置为生成正样本队列和负样本队列，其中，所述正样本队列包括所述视频帧数据的每一帧中所述跟踪模块跟踪到的每个跟踪目标的跟踪目标框或所述检测模块检测到的每个跟踪目标的检测目标框，负样本队列为存储的公共负样本，所述负样本为正样本附近预定范围内不与正样本相交的区域，其中，对于多个跟踪目标中的每个，正样本队列包括该跟踪目标的跟踪目标框和检测目标框，负样本队列包括公共负样本和属于其它跟踪目标的正样本队列的正样本；以及分类器，配置为分别对每个跟踪目标的正样本队列和负样本队列进行相似性比较；根据设定阈值，获取正样本队列和负样本队列中的个数和归属并执行归一化处理；以及计算属于每个跟踪目标的正样本和负样本的概率。可选地，所述检测模块进一步配置为：针对所述视频帧数据的每一帧，滑动检测框以检测负样本；确定检测到负样本的区域为后续不检测区域；以及对于剩余区域，进行正样本检测以确定跟踪目标。因此，利用根据本申请实施例的多目标跟踪装置和方法，能够对多个目标进行跟踪。附图说明图1是图示现有技术的TLD算法的框图；图2是图示根据本申请实施例的多目标跟踪装置的功能配置框图；图3是图示跟踪目标框队列和特征点队列的映射关系的示意图；图4是图示正样本队列和负样本队列的示意图；以及图5是图示根据本申请实施例的多目标跟踪方法的流程图。具体实施方式在描述根据本申请实施例的多目标跟踪装置和多目标跟踪方法之前，首先简单介绍TLD算法。如本领域技术人员熟知的，TLD算法是一种长期的、在线学习的、最少先验信息的单目标跟踪方法。TLD算法主要由三个部分组成：跟踪器、检测器和学习器。跟踪器部分由一个短周期自适应跟踪器构成，在帧间运动有限、目标可见的情况下，用来预测目标在连续帧间的运动。检测器部分为一个高效的级联分类器，创建使用了简单有效图像特征，可以对目标进行实时的检测，同时在必要的情况下纠正跟踪器。学习器评估跟踪器和检测器的性能，通过生成有效的训练样本完成检测器的更新，消除检测器误差。TLD算法的框架结构如图1所示。在跟踪目标的起始帧，通过给出目标的位置和大小，完成对TLD算法的初始化。在随后的跟踪过程中，对每一帧图像用跟踪器和检测器共同并行地进行处理。具体地，跟踪器101根据前一帧中目标的位置信息来估计当前帧中目标所在的位置，检测器103对当前帧窗口全局扫描，检测出一个或者多个可能的目标位置，检测结果和跟踪结果输入到综合器104。综合器104给出当前帧是否存在目标、目标位置以及到当前帧的跟踪轨迹是否有效等信息。这些综合处理的结果、联合检测结果和跟踪结果一起输入到学习器102，学习器完成对跟踪器和检测器的更新。然而，现有的TLD算法的一个缺点是只能跟踪单目标。为此，本申请针对现有的TLD算法进行了改进，通过分别改进现有TLD算法的跟踪器、检测器、学习器，实现了多目标跟踪。下面，将参考附图详细描述根据本申请第一实施例的多目标跟踪装置。如图2所示，根据本申请第一实施例的多目标本文档来自技高网...

【技术保护点】
一种多目标跟踪装置，包括：跟踪模块，配置为接收视频帧数据以及获取指示要跟踪的多个目标的指示数据，并且根据所述多个目标的指示数据跟踪所述视频帧数据的每一帧中的多个目标以便生成跟踪结果；检测模块，配置为接收所述视频帧数据，并且检测所述视频帧数据的每一帧中的所述多个目标以便生成检测结果；学习模块，配置接收所述视频帧数据，并且根据所述跟踪模块的跟踪结果更新所述检测模块，以及根据所述检测模块的检测结果更新所述跟踪模块；以及整合模块，配置为接收所述跟踪模块的跟踪结果和所述检测模块的检测结果，以生成指示被跟踪的多个目标的指示数据。

【技术特征摘要】
1.一种多目标跟踪装置，包括：跟踪模块，配置为接收视频帧数据以及获取指示要跟踪的多个目标的指示数据，并且根据所述多个目标的指示数据跟踪所述视频帧数据的每一帧中的多个目标以便生成跟踪结果；检测模块，配置为接收所述视频帧数据，并且检测所述视频帧数据的每一帧中的所述多个目标以便生成检测结果；学习模块，配置接收所述视频帧数据，并且根据所述跟踪模块的跟踪结果更新所述检测模块，以及根据所述检测模块的检测结果更新所述跟踪模块；以及整合模块，配置为接收所述跟踪模块的跟踪结果和所述检测模块的检测结果，以生成指示被跟踪的多个目标的指示数据。2.如权利要求1所述的装置，其中，所述跟踪模块包括多目标跟踪管理器，配置为：根据预定操作执行跟踪目标的添加；执行多个跟踪目标的更新；以及管理多个跟踪目标的跟踪目标框的第一队列和多个跟踪目标的目标区域特征点的第二队列的双向映射关系。3.如权利要求2所述的装置，其中，所述多目标跟踪管理器进一步配置为：利用光流法对目标区域特征点的第二队列中的所有特征点进行跟踪以便生成跟踪结果；根据跟踪结果以及特征点到跟踪目标框的逆向映射关系，确定多个跟踪目标的每个的跟踪目标框在跟踪中是否成功；如果成功，则重新计算跟踪目标框并更新特征点，否则将该跟踪目标的跟踪目标框和对应的特征点分别从第一队列和第二队列中删除。4.如权利要求3所述的装置，其中，所述学习模块包括：样本队列生成器，配置为生成正样本队列和负样本队列，其中，所述正样本队列包括所述视频帧数据的每一帧中所述跟踪模块跟踪到的每个跟踪目标的跟踪目标框或所述检测模块检测到的每个跟踪目标的检测目标框，负样本队列为存储的公共负样本，所述负样本为正样本附近预定范围内不与正样本相交的区域，其中，对于多个跟踪目标中的每个，正样本队列包括该跟踪目标的跟踪目标框和检测目标框，负样本队列包括公共负样本和属于其它跟踪目标的正样本队列的正样本；以及分类器，配置为分别对每个跟踪目标的正样本队列和负样本队列进行相似性比较；根据设定阈值，获取正样本队列和负样本队列中的个数和归属并执行归一化处理；以及计算属于每个跟踪目标的正样本和负样本的概率。5.如权利要求4所述的装置，其中，所述检测模块进一步配置为：针对所述视频帧数据的每一帧，滑动检测框以检测负样本；确定检测到负样本的区域为后续不检测区域；以及对于剩余区域，进行正样本检测以确定跟踪目标。...

【专利技术属性】
技术研发人员：邹李兵，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11