当前位置: 首页 > 专利查询>中山大学专利>正文

一种多目标跟踪方法、装置、设备和存储介质制造方法及图纸

技术编号:30555089 阅读:37 留言:0更新日期:2021-10-30 13:36
本申请公开了一种多目标跟踪方法、装置、设备和存储介质,方法包括:对第一帧图片中的目标进行检测,得到若干第一目标;在第二帧图片中,对各所述第一目标进行跟踪,得到各所述第一目标对应的第一跟踪结果;对第二帧图片中的目标进行检测,得到目标检测结果;根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标;根据所述第一目标和所述第二目标之间的第一欧式距离,确定所述第二帧图片对应的目标跟踪结果。解决了现有基于神经网络的多目标跟踪方法,在小型化、低功耗的嵌入式平台难以实时运行的技术问题。耗的嵌入式平台难以实时运行的技术问题。耗的嵌入式平台难以实时运行的技术问题。

【技术实现步骤摘要】
一种多目标跟踪方法、装置、设备和存储介质


[0001]本申请涉及目标跟踪
,尤其涉及一种多目标跟踪方法、装置、设备和存储介质。

技术介绍

[0002]随着计算机技术的发展,目标跟踪在智能监控、制导导航、无人机应用、智能交互等领域有着广阔的应用前景。目标跟踪从目标数量上可以分为单目标跟踪和多目标跟踪。多目标跟踪需要对多个目标进行定位,记录每个目标的轨迹,并给目标分配各自的标识。与单目标跟踪相比,多目标跟踪不仅需要解决遮挡、形变、光照变化等共性问题,还需要考虑目标之间的关联问题。
[0003]基于神经网络的多目标跟踪方法,预先需要大量的样本数据进行训练学习,然而在一些领域里面难以获取大量标注好的样本数据。除此之外,由于神经网络算法的复杂性,现有的神经网络需要结合高性能的计算平台辅助运行。在无人机、制导导航等工作场景下,受到能耗以及载重的限制,所搭载硬件的算力是有限的,以小型化、低功耗的嵌入式CPU平台为主流。在小型化、低功耗的嵌入式平台上,神经网络难以达到实时运行。
[0004]因此,提供一种能在嵌入式平台上实时运行的多目标跟踪方法是本领域亟待解决的技术问题。

技术实现思路

[0005]本申请提供了一种多目标跟踪方法、装置、设备和存储介质,能在嵌入式平台上实时运行的多目标跟踪方法,解决了现有基于神经网络的多目标跟踪方法,在小型化、低功耗的嵌入式平台难以实时运行的技术问题。
[0006]有鉴于此,本申请第一方面提供了一种多目标跟踪方法,包括:
[0007]对第一帧图片中的目标进行检测,得到若干第一目标;
[0008]在第二帧图片中,对各所述第一目标进行跟踪,得到各所述第一目标对应的第一跟踪结果;
[0009]对第二帧图片中的目标进行检测,得到目标检测结果;
[0010]根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标;
[0011]根据所述第一目标和所述第二目标之间的第一欧式距离,确定所述第二帧图片对应的目标跟踪结果。
[0012]可选地,在第二帧图片中,对各所述第一目标进行跟踪,得到各所述第一目标对应的第一跟踪结果,具体包括:
[0013]在所述第一帧图片中,对各所述第一目标进行特征点采样,得到各所述第一目标对应的第一特征点;
[0014]由所述第一帧图片到所述第二帧图片的跟踪顺序,计算各所述第一特征点在所述
第二帧图片中对应的第二特征点;
[0015]由所述第二帧图片到所述第一帧图片的跟踪顺序,计算各所述第二特征点在所述第一帧图片中对应的第三特征点;
[0016]根据所述第一特征点和对应的所述第三特征点之间的第二欧式距离,得到各所述第一目标对应的第一跟踪结果。
[0017]可选地,对第二帧图片中的目标进行检测,得到目标检测结果,具体包括:
[0018]基于滑动窗口,获取所述第二帧图片对应的若干图像片;
[0019]通过方差分类器,基于各所述图像片的方差,对各所述图像片进行是否含有目标的检测,得到第一目标检测结果;
[0020]通过随机蕨分类器,基于各所述图像片的采样特征点,对各所述图像片进行是否含有目标的检测,得到第二目标检测结果;
[0021]通过最近邻分类器,基于各所述图像片和模板图像的相似度计算结果,对各所述图像片进行是否含有目标的检测,得到第三目标检测结果。
[0022]可选地,根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标,具体包括:
[0023]对各所述图像片对应的所述第一目标检测结果、所述第二目标检测结果和所述第三目标检测结果进行聚类,得到各所述图像片对应的目标聚类结果;
[0024]当所述第一跟踪结果为跟踪成功时,计算该第一跟踪结果和所述目标聚类结果之间的重叠度,并在当所述重叠度大于预设重叠度阈值时,判定该第一跟踪结果和所述目标聚类结果对应的目标为同一目标,并将该目标作为所述第二目标;
[0025]当所述第一跟踪结果为跟踪失败时,将所述目标聚类结果作为对应图像片中的目标作为所述第二目标。
[0026]可选地,根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标,具体包括:
[0027]对各所述图像片对应的所述第一目标检测结果、所述第二目标检测结果和所述第三目标检测结果进行聚类,得到各所述图像片对应的目标聚类结果;
[0028]当所述第一跟踪结果为跟踪成功时,计算该第一跟踪结果和所述目标聚类结果之间的重叠度,并在当所述重叠度大于预设重叠度阈值时,判定该第一跟踪结果和所述目标聚类结果对应的目标为同一目标,并将该目标作为所述第二目标;
[0029]当所述第一跟踪结果为跟踪失败时,将所述目标聚类结果作为对应图像片中的目标作为所述第二目标。
[0030]本申请第二方面提供了一种多目标跟踪装置,包括:
[0031]第一检测单元,用于对第一帧图片中的目标进行检测,得到若干第一目标;
[0032]跟踪单元,用于在第二帧图片中,对各所述第一目标进行跟踪,得到各所述第一目标对应的第一跟踪结果;
[0033]第二检测单元,用于对第二帧图片中的目标进行检测,得到目标检测结果;
[0034]第一确定单元,用于根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标;
[0035]第二确定单元,用于根据所述第一目标和所述第二目标之间的第一欧式距离,确
定所述第二帧图片对应的目标跟踪结果。
[0036]可选地,所述跟踪单元具体包括:
[0037]采样子单元,用于在所述第一帧图片中,对各所述第一目标进行特征点采样,得到各所述第一目标对应的第一特征点;
[0038]第一计算子单元,用于由所述第一帧图片到所述第二帧图片的跟踪顺序,计算各所述第一特征点在所述第二帧图片中对应的第二特征点;
[0039]第二计算子单元,用于由所述第二帧图片到所述第一帧图片的跟踪顺序,计算各所述第二特征点在所述第一帧图片中对应的第三特征点;
[0040]确定子单元,用于根据所述第一特征点和对应的所述第三特征点之间的第二欧式距离,得到各所述第一目标对应的第一跟踪结果。
[0041]可选地,所述第二检测单元,具体包括:
[0042]获取子单元,用于基于滑动窗口,获取所述第二帧图片对应的若干图像片;
[0043]第一检测子单元,用于通过方差分类器,基于各所述图像片的方差,对各所述图像片进行是否含有目标的检测,得到第一目标检测结果;
[0044]第二检测子单元,用于通过随机蕨分类器,基于各所述图像片的采样特征点,对各所述图像片进行是否含有目标的检测,得到第二目标检测结果;
[0045]第三检测子单元,用于通过最近邻分类器,基于各所述图像片和模板图像的相似度计算结果,对各所述图像片进行是否含有目标的检测,得到第三目标检测结果。
[004本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪方法,其特征在于,包括:对第一帧图片中的目标进行检测,得到若干第一目标;在第二帧图片中,对各所述第一目标进行跟踪,得到各所述第一目标对应的第一跟踪结果;对第二帧图片中的目标进行检测,得到目标检测结果;根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标;根据所述第一目标和所述第二目标之间的第一欧式距离,确定所述第二帧图片对应的目标跟踪结果。2.根据权利要求1所述的多目标跟踪方法,其特征在于,在第二帧图片中,对各所述第一目标进行跟踪,得到各所述第一目标对应的第一跟踪结果,具体包括:在所述第一帧图片中,对各所述第一目标进行特征点采样,得到各所述第一目标对应的第一特征点;由所述第一帧图片到所述第二帧图片的跟踪顺序,计算各所述第一特征点在所述第二帧图片中对应的第二特征点;由所述第二帧图片到所述第一帧图片的跟踪顺序,计算各所述第二特征点在所述第一帧图片中对应的第三特征点;根据所述第一特征点和对应的所述第三特征点之间的第二欧式距离,得到各所述第一目标对应的第一跟踪结果。3.根据权利要求1所述的多目标跟踪方法,其特征在于,对第二帧图片中的目标进行检测,得到目标检测结果,具体包括:基于滑动窗口,获取所述第二帧图片对应的若干图像片;通过方差分类器,基于各所述图像片的方差,对各所述图像片进行是否含有目标的检测,得到第一目标检测结果;通过随机蕨分类器,基于各所述图像片的采样特征点,对各所述图像片进行是否含有目标的检测,得到第二目标检测结果;通过最近邻分类器,基于各所述图像片和模板图像的相似度计算结果,对各所述图像片进行是否含有目标的检测,得到第三目标检测结果。4.根据权利要求3所述的多目标跟踪方法,其特征在于,根据所述第一跟踪结果和所述目标检测结果,确定所述第二帧图片中的若干第二目标,具体包括:对各所述图像片对应的所述第一目标检测结果、所述第二目标检测结果和所述第三目标检测结果进行聚类,得到各所述图像片对应的目标聚类结果;当所述第一跟踪结果为跟踪成功时,计算该第一跟踪结果和所述目标聚类结果之间的重叠度,并在当所述重叠度大于预设重叠度阈值时,判定该第一跟踪结果和所述目标聚类结果对应的目标为同一目标,并将该目标作为所述第二目标;当所述第一跟踪结果为跟踪失败时,将所述目标聚类结果作为对应图像片中的目标作为所述第二目标。5.根据权利要求1所述的多目标跟踪方法,其特征在于,根据所述第一目标和所述第二目标之间的第一欧式距离,确定所述第二帧图片...

【专利技术属性】
技术研发人员:丘昌镇黄宇荣张志勇陈少龙
申请(专利权)人:中山大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1