基于数据关联的视频多目标跟踪方法及系统技术方案

本发明专利技术提供了一种基于数据关联的视频多目标跟踪方法及系统，该方法包括以下步骤：将视频采集的图像进行处理得到该帧图像中的所有目标；计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性；分别以当前帧图像中的每个目标和上一帧图像中的每个目标为行或列建立代价矩阵，代价矩阵中每个元素初始值均设置为0；设定相似性阈值，根据代价矩阵中每个元素对应的相似性值基于预定规则对代价矩阵中的每个元素进行赋值；根据赋值后的代价矩阵中每行或每列中各元素的值判断两帧图像中各目标的情况，因此，本发明专利技术能够根据实际简单、有效的判断出目标的出现、消失、融合和分离。

Video multi-target tracking method and system based on Data Association

The invention provides a video multi-target tracking method and system based on data association, which includes the following steps: processing the video captured image to obtain all the targets in the frame image; calculating the similarity between each target in the current frame image and each target in the previous frame image; and Each target in the previous frame image and each target in the previous frame image is row or column to establish a cost matrix, and the initial value of each element in the cost matrix is set to 0. Similarity threshold is set to assign the root of each element in the cost matrix based on the predefined rules according to the corresponding similarity value of each element in the cost matrix. According to the value of each element in each row or column of the assigned cost matrix, the situation of each object in two frames can be judged. Therefore, the invention can simply and effectively judge the appearance, disappearance, fusion and separation of the object according to the actual situation.

【技术实现步骤摘要】
基于数据关联的视频多目标跟踪方法及系统
本专利技术属于视频多目标追踪
，具体涉及一种基于数据关联的视频多目标跟踪方法及系统。
技术介绍
多目标跟踪，即MultipleObjectTracking(MOT),也称为MultipleTargetTracking(MTT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应(Identity),然后给出不同物体的运动轨迹。这些物体可以是任意的，如行人、车辆、运动员、各种动物等等。多目标跟踪问题比较复杂，除了单目标跟踪会遇到的问题外，还需要目标间的关联匹配。现有方法大都比较复杂，无法简单、有效地根据实际判断目标出现、消失、融合或分离。
技术实现思路
本专利技术是为了解决上述问题而进行的，目的在于提供一种能够根据实际简单、有效的判断出目标的出现、消失、融合和分离的基于数据关联的视频多目标跟踪方法及系统。本专利技术提供了一种基于数据关联的视频多目标跟踪方法，其特征在于，包括以下步骤：步骤1，将视频采集的图像进行处理得到该帧图像中的所有目标；步骤2，计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性；步骤3，分别以当前帧图像中的每个目标和上一帧图像中的每个目标为行或列建立代价矩阵，代价矩阵中每个元素初始值均设置为0；步骤4，设定相似性阈值，根据代价矩阵中每个元素对应的相似性值基于预定规则对所述代价矩阵中的每个元素进行赋值；步骤5，根据赋值后的代价矩阵中每行或每列中各元素的值判断两帧图像中各目标的情况。进一步，在本专利技术提供的基于数据关联的视频多目标跟踪方法中，还可以具有这样的特征：其中，计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性后，建立相似性矩阵，所述相似性矩阵与所述代价矩阵相对应。进一步，在本专利技术提供的基于数据关联的视频多目标跟踪方法中，还可以具有这样的特征：其中，步骤4中对所述代价矩阵中的每个元素进行赋值的方法包括以下步骤：步骤4-1，提取所述代价矩阵中每行中各元素对应的相似性值最大的元素，该行中其它元素的值均保持不变；步骤4-2，判断步骤4-1提取的元素对应的相似性值是否大于设定的相似性阈值，若大于，则该元素的值加1，若否，则该元素的值加0；步骤4-3，提取所述代价矩阵中每列中各元素对应的相似性值最大的元素，该列中其它元素的值均保持不变；步骤4-4，判断步骤4-3提取的元素对应的相似性值是否大于设定的相似性阈值，若大于，则该元素的值加1，若否，则该元素的值加0。进一步，在本专利技术提供的基于数据关联的视频多目标跟踪方法中，还可以具有这样的特征：其中，步骤5中判断的两帧图像中各目标的情况包括：上一帧图像中的一个目标对应当前帧图像中的某个目标、是否出现上一帧图像的目标在当前帧图像中目标消失、当前帧图像中是否出现新的目标、是否出现上一帧图像中的多个目标在当前帧图像中融合、是否出现上一帧中的一个目标在当前帧图像中分离的情况。进一步，在本专利技术提供的基于数据关联的视频多目标跟踪方法中，还可以具有这样的特征：其中，步骤5中具体判断方法为：若赋值后的代价矩阵中一行或一列的所有元素均为0，则判断为上一帧图像中该行或列所对应的目标在当前帧图像中目标消失、或该行或列所对应的目标为当前帧图像中出现的新目标；若赋值后的代价矩阵中一列或一行中所有元素中既包含1也包含2，则判断为上一帧图像中1和2分别对应的多个目标在当前帧图像中融合为该行或列对应的目标、或者上一帧中的该行或列对应的目标在当前帧图像中分离为1和2分别对应的目标。本专利技术还提供了一种基于数据关联的视频多目标跟踪系统，其特征在于，包括：目标获取模块，用于将视频采集的图像进行处理得到该帧图像中的所有目标；相似性计算模块，用于计算当前帧图像中的每个目标与上一帧图像中的每个目标的相似性；代价矩阵生成模块，用于根据当前帧图像中的每个目标和上一帧图像中的每个目标生成一个元素初始值均为0的代价矩阵；设定模块，用于设定两两目标之间相似性的阈值；赋值模块，用于根据所述相似性计算模块计算的两帧图像中两两目标之间的相似性和所述设定模块设定的相似性的阈值基于预定规则得到代价矩阵中每个元素的值并赋值给所述代价矩阵；以及判断模块，根据赋值后的所述代价矩阵中每行和每列中元素的值对两帧图像中的目标进行判断。进一步，在本专利技术提供的基于数据关联的视频多目标跟踪系统中还可以具有这样的特征：多目标视频监控系统还包括相似性矩阵生成模块，用于根据当前帧图像中的每个目标、上一帧图像中的每个目标和相似性计算模块计算得到的两帧图像中两两目标之间的相似性生成一个相似性矩阵。本专利技术的优点如下：根据本专利技术所涉及的基于数据关联的视频多目标跟踪方法，因为将视频采集的图像处理得到该帧图像中的所有目标后，计算上一帧图像的所有目标和当前帧图像的所有目标之间两两目标的相似性，分别以两帧图像的目标为行或列建立代价矩阵，代价矩阵中每个元素初始值均设置为0，根据两帧图像中两两目标之间的相似性和相似性的阈值基于预定规则得到代价矩阵中每个元素的值并赋值给代价矩阵，根据赋值后的代价矩阵中每行和每列中元素的值判断出上一帧图像中的一个目标对应当前帧图像中的某个目标、是否出现上一帧图像的目标在当前帧图像中目标消失、当前帧图像中是否出现新的目标、是否出现上一帧图像中的多个目标在当前帧图像中融合、是否出现上一帧中的一个目标在当前帧图像中分离，因此，本专利技术的基于数据关联的视频多目标跟踪方法能够根据实际简单、有效的判断出目标的出现、消失、融合和分离。本专利技术所涉及的基于数据关联的视频多目标跟踪系统能够根据实际简单、有效的判断出目标的出现、消失、融合和分离。附图说明图1是本专利技术中基于数据关联的视频多目标跟踪方法的流程图；图2是本专利技术中对代价矩阵中的每个元素进行赋值的方法的流程图；图3是本专利技术中基于数据关联的视频多目标跟踪系统的结构示意图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本专利技术基于数据关联的视频多目标跟踪方法及系统作具体阐述。如图1所示，基于数据关联的视频多目标跟踪方法包含以下步骤：步骤S1，将视频采集的图像进行处理得到该帧图像中的所有目标。对视频采集的图像处理的方法为现有技术中的任何方法，在此不做阐述。步骤S2，计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性。可以采用现有技术中图像相似度计算方法，例如，通过颜色直方图来计算两目标之间的相似性，分别计算两个目标的颜色直方图作为特征，然后计算两个直方图的归一化相关系数(巴氏距离、直方图相交距离)等等，得到两个目标的相似度。本专利技术计算两个目标之间相似性的方法并不限于上述列举方法，可以采用现有技术中任何方法实现。在本实施例中，在计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性后，建立相似性矩阵。相似性矩阵的行数和列数是由两帧图像的目标数量决定，一帧图像的目标数量决定行数，另一帧图像的目标数量决定列数，两帧图像每个目标对应一行或一列。相似性矩阵中的每个元素代表该元素所处的行对应的目标和所处的列对应的目标之间的相似性。例如：上一帧图像中得到目标A、B、C、D四个目标，当前帧图像中得到目标甲、乙、丙三个目标，则建立的相似性矩阵为4本文档来自技高网...

【技术保护点】
1.一种基于数据关联的视频多目标跟踪方法，其特征在于，包括以下步骤：步骤1，将视频采集的图像进行处理得到该帧图像中的所有目标；步骤2，计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性；步骤3，分别以当前帧图像中的每个目标和上一帧图像中的每个目标为行或列建立代价矩阵，代价矩阵中每个元素初始值均设置为0；步骤4，设定相似性阈值，根据代价矩阵中每个元素对应的相似性值基于预定规则对所述代价矩阵中的每个元素进行赋值；步骤5，根据赋值后的代价矩阵中每行或每列中各元素的值判断两帧图像中各目标的情况。

【技术特征摘要】
1.一种基于数据关联的视频多目标跟踪方法，其特征在于，包括以下步骤：步骤1，将视频采集的图像进行处理得到该帧图像中的所有目标；步骤2，计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性；步骤3，分别以当前帧图像中的每个目标和上一帧图像中的每个目标为行或列建立代价矩阵，代价矩阵中每个元素初始值均设置为0；步骤4，设定相似性阈值，根据代价矩阵中每个元素对应的相似性值基于预定规则对所述代价矩阵中的每个元素进行赋值；步骤5，根据赋值后的代价矩阵中每行或每列中各元素的值判断两帧图像中各目标的情况。2.根据权利要求1所述的基于数据关联的视频多目标跟踪方法，其特征在于：步骤2中，计算当前帧图像中的每个目标与上一帧图像中的每个目标之间的相似性后，建立相似性矩阵，所述相似性矩阵与所述代价矩阵相对应。3.根据权利要求1所述的基于数据关联的视频多目标跟踪方法，其特征在于：步骤4中对所述代价矩阵中的每个元素进行赋值的方法包括以下步骤：步骤4-1，提取所述代价矩阵中每行中各元素对应的相似性值最大的元素，该行中其它元素的值均保持不变；步骤4-2，判断步骤4-1提取的元素对应的相似性值是否大于设定的相似性阈值，若大于，则该元素的值加1，若否，则该元素的值加0；步骤4-3，提取所述代价矩阵中每列中各元素对应的相似性值最大的元素，该列中其它元素的值均保持不变；步骤4-4，判断步骤4-3提取的元素对应的相似性值是否大于设定的相似性阈值，若大于，则该元素的值加1，若否，则该元素的值加0。4.根据权利要求1所述的基于数据关联的视频多目标跟踪方法，其特征在于：步骤5中判断的两帧图像中各目标的情况包括：上一帧图像中的一个目标对应当前帧图像中的某个目标、是否出现上一帧图像的目标...

【专利技术属性】
技术研发人员：韩勇，李启达，
申请(专利权)人：哈工大机器人昆山有限公司，
类型：发明
国别省市：江苏,32