一种多目标跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种多目标跟踪方法，在每获取到一帧图像后，分别进行如下处理：利用从图像中确定出的候选目标组成候选目标集合；针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出与其相关联的候选目标，并针对每个候选目标，分别确定出与其相关联的目标轨迹；根据确定出的关联关系，针对每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。本发明专利技术同时公开了一种多目标跟踪装置。应用本发明专利技术所述的方法和装置，能够提高跟踪结果的准确性。

【技术实现步骤摘要】
一种多目标跟踪方法和装置
本专利技术涉及智能视频监控领域，特别涉及一种多目标跟踪方法和装置。
技术介绍
随着时代的发展，智能化需求和应用的提高，人流量统计的现实需求越来越大，目前已经广泛应用在各大商场、展馆、连锁店和景点等出入口。作为人流量统计的关键环节，目标跟踪的作用不言而喻，人流量统计中的目标跟踪通常属于多目标跟踪。当多个目标轨迹存在时，需要分别寻找其各自相匹配的候选目标，如何正确地进行匹配是一个亟待解决的问题。目前，针对多目标跟踪，通常采用关联跟踪方式。但是，由于关联跟踪方式没有关联管理机制，当多个目标轨迹关联一个候选目标，或一个目标轨迹关联多个候选目标时，很容易出现误关联的现象，从而降低跟踪结果的准确性。误关联是指当目标轨迹和候选目标比较多的情况下，一个目标轨迹错误地关联上属于另一个目标轨迹的候选目标。
技术实现思路
有鉴于此，本专利技术提供了一种多目标跟踪方法和装置，能够提高跟踪结果的准确性。为达到上述目的，本专利技术的技术方案是这样实现的：一种多目标跟踪方法，在每获取到一帧图像后，分别进行如下处理：A、利用从所述图像中确定出的候选目标组成候选目标集合；B、针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹；C、根据步骤B中确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。一种多目标跟踪装置，包括：获取模块，用于在每获取到一帧图像后，利用从所述图像中确定出的候选目标组成候选目标集合；关联模块，用于针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹；匹配模块，用于根据确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。可见，采用本专利技术所述方案，分别确定与每个目标轨迹相关联的候选目标以及与每个候选目标相关联的目标轨迹，并综合考虑上述两种关联关系，进行目标轨迹与候选目标之间的匹配，从而降低了误关联现象的出现概率，进而提高了跟踪结果的准确性。附图说明图1为本专利技术多目标跟踪方法实施例的流程图。图2为原则1)～3)的实现过程示意图。图3为原则4)的实现过程示意图。具体实施方式针对现有技术中存在的问题，本专利技术中提出一种改进后的多目标跟踪方案，即最近邻关联跟踪方案：计算目标轨迹和候选目标之间的重叠面积，重叠面积越大表示越近邻，通过最大重叠面积来确定两者之间的最近邻关联，通过关联进行目标跟踪。为了使本专利技术的技术方案更加清楚、明白，以下参照附图并举实施例，对本专利技术所述方案作进一步地详细说明。图1为本专利技术多目标跟踪方法实施例的流程图。在每获取到一帧图像后，分别按照图1所示流程进行处理。如图1所示，包括以下步骤：步骤11：利用从图像中确定出的候选目标组成候选目标集合。在实际应用中，在每获取到一帧图像后，可首先进行如下处理：确定图像中是否存在新增目标轨迹，如果是，则将新增目标轨迹加入到目标轨迹集合中。目标轨迹集合由一个个在不同时刻加入的目标轨迹组成，新增目标轨迹即指之前在目标轨迹集合中不存在的目标轨迹。在将新增目标轨迹加入到目标轨迹集合中之后，还需要对新增目标轨迹进行初始化，初始化对象包括新增目标轨迹的基本信息以及轨迹关联和管理的基本参数等。具体来说，初始化的内容包括：获取新增目标轨迹的轨迹点数目和每个轨迹点的位置信息，其中位置信息经归一化处理，每个轨迹点的位置信息可包括该轨迹点的大小和中心位置等；按现有预定方式计算新增目标轨迹的平均速度；将新增目标轨迹的速度倍数设置为1；利用最小误差直线拟合法来确定新增目标轨迹的整体方向；为新增目标轨迹设置一个唯一标识(序号)等。目标轨迹由一系列的轨迹点组成，每个轨迹点即可理解为一个按照本专利技术所述方式匹配成功的候选目标。之后，可利用从图像中确定出的候选目标组成候选目标集合，并可为每个候选目标设置一个唯一的标识，如何确定出图像中的候选目标为现有技术。另外，还可根据从图像中确定出的候选目标的大小和数目确定出重叠面积阈值，重叠面积阈值包括大面积阈值和基本阈值。其中，若候选目标偏大，即面积偏大，且数量较少，则重叠面积阈值可设置得较为宽松，使得关联相对容易；若候选目标偏小，且数量较多，则重叠面积阈值可设置得较为严格，使得关联相对困难，尽量减少发生误关联的可能性。大面积阈值和基本阈值的具体取值均可根据实际需要而定。步骤12：针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出候选目标集合中与其相关联的候选目标，并针对候选目标集合中的每个候选目标，分别确定出目标轨迹集合中与其相关联的目标轨迹。本步骤中，可针对目标轨迹集合中的每个目标轨迹x(为便于表述，用目标轨迹x来代表目标轨迹集合中的任一目标轨迹)，分别按照步骤a)～b)进行处理。a)将目标轨迹x最新一次匹配成功时相匹配的候选目标作为历史目标框，并基于历史目标框确定出目标轨迹x在图像中的预测目标框。目标轨迹x最新一次匹配成功时相匹配的候选目标即指目标轨迹x的最新一个轨迹点；可将目标轨迹x的平均速度和速度倍数相乘，将计算结果作为预测位置偏移，并在目标轨迹x的历史目标框的基础上累加预测位置偏移，得到目标轨迹x的预测目标框。b)针对候选目标集合中的每个候选目标y(为便于表述，用候选目标y来代表候选目标集合中的任一候选目标)，分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果，并确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹x与候选目标y相关联。在分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果之后，如果两个计算结果中的较大值符合以下条件之一，则可确定目标轨迹x与候选目标y相关联：条件一：两个计算结果中的较大值大于步骤11中确定出的大面积阈值；条件二：两个计算结果中的较大值大于步骤11中确定出的基本阈值，且候选目标y连接目标轨迹x时不影响目标轨迹x的整体方向一致性。如何确定候选目标y连接目标轨迹x时是否影响目标轨迹x的整体方向一致性为现有技术。目标轨迹x的整体方向在目标轨迹x加入到目标轨迹集合中进行初始化时确定。经过上述步骤a)～b)的处理后，即可得到与目标轨迹集合中的每个目标轨迹相关联的候选目标，以及与候选目标集合中的每个候选目标相关联的目标轨迹，并分别进行记录。具体来说，可针对目标轨迹集合中的每个目标轨迹，分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积(两个计算结果中的较大值)，针对候选目标集合中的每个候选目标，分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积(两个计算结果中的较大值)。其中，针对每个目标轨迹，可最多只记录N个与其相关联的候选目标的唯一标识以及与该目标轨迹之间的重叠面积，N为大于1的正整数。也本文档来自技高网...

【技术保护点】
一种多目标跟踪方法，其特征在于，在每获取到一帧图像后，分别进行如下处理：A、利用从所述图像中确定出的候选目标组成候选目标集合；B、针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹；C、根据步骤B中确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，在每获取到一帧图像后，分别进行如下处理：A、利用从所述图像中确定出的候选目标组成候选目标集合；B、针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹；C、根据步骤B中确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。2.根据权利要求1所述的方法，其特征在于，所述步骤A之前，进一步包括：确定所述图像中是否存在新增目标轨迹，如果是，则将所述新增目标轨迹加入到所述目标轨迹集合中。3.根据权利要求2所述的方法，其特征在于，所述步骤B包括：B1、针对所述目标轨迹集合中的每个目标轨迹x，分别进行以下处理：将目标轨迹x最新一次匹配成功时相匹配的候选目标作为历史目标框，并基于历史目标框确定出目标轨迹x在所述图像中的预测目标框；针对所述候选目标集合中的每个候选目标y，分别计算目标轨迹x的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果，并确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹x与候选目标y相关联；B2、分别记录与所述目标轨迹集合中的每个目标轨迹相关联的候选目标，以及与所述候选目标集合中的每个候选目标相关联的目标轨迹。4.根据权利要求3所述的方法，其特征在于，所述将所述新增目标轨迹加入到所述目标轨迹集合中之后，进一步包括：对所述新增目标轨迹进行初始化；所述初始化包括：按预定方式计算所述新增目标轨迹的平均速度，并将所述新增目标轨迹的速度倍数设置为1；所述步骤B1中基于历史目标框确定出目标轨迹x在所述图像中的预测目标框包括：将目标轨迹x的平均速度和速度倍数相乘，将计算结果作为预测位置偏移；在目标轨迹x的历史目标框的基础上累加所述预测位置偏移，得到目标轨迹x的预测目标框。5.根据权利要求4所述的方法，其特征在于，所述初始化进一步包括：确定所述新增目标轨迹的整体方向；所述步骤B之前，进一步包括：根据从所述图像中确定出的候选目标的大小和数目确定重叠面积阈值，所述重叠面积阈值包括大面积阈值和基本阈值；所述步骤B1中确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹x与候选目标y相关联包括：如果两个计算结果中的较大值大于所述大面积阈值，则确定目标轨迹x与候选目标y相关联；或者，如果两个计算结果中的较大值大于所述基本阈值，且候选目标y连接目标轨迹x时不影响目标轨迹x的整体方向一致性，则确定目标轨迹x与候选目标y相关联。6.根据权利要求5所述的方法，其特征在于，所述步骤B2包括：针对所述目标轨迹集合中的每个目标轨迹，分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积；针对所述候选目标集合中的每个候选目标，分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积；所述步骤C包括：针对所述候选目标集合中的每个候选目标z，如果确定与其相关联的目标轨迹数等于1，且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1，则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹；如果确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数等于1，则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹；如果确定与候选目标z相关联的目标轨迹数等于0，则确定候选目标z未匹配成功。7.根据权利要求6所述的方法，其特征在于，所述步骤C中进一步包括：如果确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数大于1，则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序；确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标；如果是，则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标；依次类推；如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功，则确定所选出的目标轨迹未匹配成功。8.根据权利要求4所述的方法，其特征在于，该方法进一步包括：对于匹配成功的目标轨迹，将其速度倍数还原为1，并更新其轨迹点和重新计算其平均速度；对于未匹配成功的目标轨迹，将其速度倍数加1，并确定加1后的值是否超过预定上限，如果是，则将速度倍数设置为所...

【专利技术属性】
技术研发人员：陈锡，呼志刚，任烨，蔡巍伟，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33