一种基于高阶图跨时域关联的多目标跟踪方法技术

本发明专利技术公开了一种基于高阶图跨时域关联的多目标跟踪方法，首先根据多目标检测方法得到视频中各帧的检测结果；然后由这些检测响应和构建高阶边的限制函数F(v

A multiple target tracking method based on high order cross temporal correlation

The invention discloses a method for multi target tracking based on high order cross temporal correlation, according to the detection of multi target detection results of each frame in the video; then the response from these tests and construction of higher order restriction function F (V

【技术实现步骤摘要】
一种基于高阶图跨时域关联的多目标跟踪方法
本专利技术属于智能视频监控领域，特别涉及一种基于高阶图跨时域关联的多目标跟踪方法。
技术介绍
近年来，多目标跟踪算法越来越受到计算机视觉领域内学者的重视，多目标跟踪算法主要目的是同时定位并标记多个移动目标的位置，按照时域顺序连接各个标记位，进而获得多个目标的运动长轨迹。换句话说，目标跟踪技术实际上是利用输入的视频序列获得检测信息，并对其进行一定的关联处理，获得目标的跟踪轨迹。目前主流的多目标视频跟踪技术可以概括为两个部分:目标检测与目标跟踪。其中，目标检测部分的主要任务是从视频图像中检测出感兴趣的目标。可视化监视和监测系统通常采用静态摄像头，从所谓静止的背景中分离出运动物体，实现目标的检测。这种系统通常采用构建背景模型方式，利用阈值计算，检测出前景目标。目标跟踪部分主要任务是将检测获得的目标进行关联处理。基于轨迹关联的多目标跟踪算法是国内外学者研究的热点算法。轨迹关联算法的主要原理是将目标检测后获得的多个短小的跟踪片段进行多个层次的关联，最终获得目标的连续、平滑的跟踪轨迹。
技术实现思路
本专利技术的目的在于提出一种基于高阶图跨时域关联的多目标跟踪方法，首先根据当前主流的多目标检测方法得到视频中各帧的检测结果，然后由这些检测响应和构建高阶边的限制函数F(vi,vj)来构建一个跨时域的普通高阶图；之后为了快速提取普通高阶图中包含高阶子图，使用RANSAC-style的优化方法将普通高阶图先转化成随机一致性高阶图，再进一步转化成普通的二阶图，最后对普通二阶图进行子图搜索，再将最终得到的各个子图中的多个轨迹段按照时域的先后顺序连接起来，形成目标长轨迹，该方法使对杂场景中的多目标跟踪具有很好的鲁棒性，已有效地解决邻近目标表观相似时出现身份交换或者局部关联错误造成的跟踪失败等问题。为了实现上述目的，本专利技术的技术方案是运用了一种基于高阶图跨时域关联的多目标跟踪方法，包括如下步骤：步骤A、将长视频序列划分成N等份，在每个等分时间段中根据多目标的离线检测结果分别进行普通高阶图H的构建；步骤B、通过逐步采样和建立多个候选连接样本来完成随机一致性高阶图到普通高阶图H的近似；步骤C、为提高高阶子图搜素的效率进行随机一致性高阶图到普通二阶图H的转换；步骤D、选择合适的权值测度函数来对普通二阶图中的子图进行搜索；步骤E、根据贪婪算法解决以上搜索到的子图不符合物理限制的情况，再根据局部轨迹段出现的时序顺序进行连接，从而得到目标长轨迹。进一步地，所述步骤A中具体包含步骤如下：由于对一个长视频序列串行进行处理会非常耗时，不满足实时性的要求，故采用分层次并行处理的方法，即将此长视频序列分成N等份，每等份包含Ln帧，若最后一组时间段不足Ln帧，则并入前一组中。然后对每一组时间段分别根据高阶边的限制函数F(vi,vj)∈{0,1}构建自己的跨时域高阶图H＝(V,E,α)，其中V代表高阶图中的顶点(跟踪轨迹段)，E代表高阶图中的高阶边，α代表属于顶点同一条高阶边的概率。进一步地，所述步骤B中具体包含步骤如下：步骤B-1，为了后面快速提取高阶图中的所有包含目标轨迹段的高阶子图，需要先将普通高阶图进行近似处理，即将普通高阶图转化为随机一致性高阶图。首先通过逐步采样的方法获得多个候选连接样本来建立随机一致性高阶图RCH＝{S1,...,Si,...}，其中Si为第i个连接样本，每个连接样本包含L个顶点，这个L个顶点是从包含Vi的同一条高阶边中随机选取的，且满足限制函数F(vi,vj)＝1,j＝1,...,L-1。步骤B-2，由于B-1中是随机选取的满足限制函数的顶点，故存在不可靠的连接样本。为了排除上述存在的坏连接样本，可以通过两种置信函数Ca(s)和Cm(s)结合考虑来获得可靠的连接样本，进而建立包含原高阶图H中所有重要高阶子图的RCH，其中Ca(s)用来度量目标的表象相似性，Cm(s)用来度量目标的运动相似性。进一步地，所述步骤C中具体包含步骤如下：利用步骤B-2中得到的可靠随机一致性高阶图完成向普通二阶图H'＝(V',E',W')的转换，其中W'为二阶图中两个顶点同属于一条边的概率。为了确定二阶图中两个顶点之间的概率W'，需要建立一个点集近邻图Ω＝(ν,ε)，在点集近邻图中，当且仅当限制函数F(vi,vj)＝1时，两边之间存在一条边。然后使用Clique图搜索算法完成RCH到普通二阶图H'的转换。进一步地，所述步骤D中具体包含步骤如下：首先将步骤C得到的普通二阶图H'中的每个顶点vp作为起始点，需要搜索个顶点，并且根据定义的权值测度函数Γ(vpUN(vp))，使得这些点组成的点集能够获得最大的权值测度函数值，这样所搜索到的子图具有个顶点。为了避免子图中顶点数目出现退化问题，需要对搜索的子图设置一个最小尺度且另外，令yi＝1为子图顶点集合U的指示变量，当yi＝1时，表示顶点vi属于这个搜索的子图；当yi＝0则不属于该子图。进一步地，所述步骤E中具体包含步骤如下：由于步骤D中搜索的不同子图之间可能存在不符合物理限制的情况，比如同一个顶点(跟踪轨迹段)不可能同时属于两个或多个不同的目标，这违反了物理事实。为了消除这种冲突情况，可采用贪婪算法进行处理，先将得到的子图按照置信概率大小进行排序，得到排序后的子图序列T。再令为后处理的子图集合，根据贪婪算法把冲突的顶点vi加入有重叠部分的子图中，即viUT'→T'。最后把后处理子图按照时序顺序将各个顶点连接起来得到目标长轨迹。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得以下有益效果：1、本专利技术采用了步骤A和B，将一个耗时长且容量大的视频序列分割成N等份，用并行的方式来代替串行进行处理，大大地提高了视频的处理速度，达到了实时性的要求；对其中的每个时间片段都各自构建一个高阶图，由于高阶图的边是由大于2个的顶点构成，所以可将时间片段中的多个轨迹段进行跨时域关联，充分利用轨迹段之间的高阶关系作为关联条件，这样可大大减小局部关联出现错误的概率，对邻近表观相似的目标有很好的鲁棒性；2、本专利技术采用了步骤C、步骤D和步骤E，为了快速提取步骤B得到的随机一致性高阶图中包含的所有关联高阶子图，将高阶图进一步转化为普通二阶图，并采用Clique图搜索算法和权值测度函数进行处理，这样可使子图搜索效率提升百倍以上，最后由贪婪算法处理得到的高阶子图集合可有效地去除不符合物理限制的情况，保证轨迹的唯一性和延续性。附图说明图1为本专利技术的基于高阶图跨时域关联的多目标跟踪方法流程图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术的实施示意图如图1所示，以下为一个具体的实施例，其具体步骤依次为：步骤A、将长视频序列划分成N等份，在每个等分时间段中根据多目标的离线检测结果分别进行普通高阶图H的构建；由于对一个长视频序列串行进行处理会非常耗时，不满足实时性的要求，故采用分层次并行处理的方法，即将此长视频序列分成N等份，每等份包含Ln帧，若最后一组时间段不足Ln帧，则并入前一组中。然后对每一组时间段分别根据高阶边的限制函数F(vi,vj)∈{0,1}构建自己的跨时域高阶图H＝(V,E,α)，其中V代表高阶图中的顶点，E代本文档来自技高网...

【技术保护点】
一种基于高阶图跨时域关联的多目标跟踪方法，其特征在于，包括步骤如下：步骤A，将长视频序列划分成N等份，在每个等分时间段中根据多目标的离线检测结果分别进行普通高阶图H的构建；步骤B，通过逐步采样和建立多个候选连接样本来完成随机一致性高阶图到普通高阶图H的近似；步骤C，为提升高阶子图搜素的效率进行随机一致性高阶图到普通二阶图H的转换；步骤D，选择合适的权值测度函数来对普通二阶图中的子图进行搜索；步骤E，根据贪婪算法解决以上搜索到的子图不符合物理限制的情况，再根据局部轨迹段出现的时序顺序进行连接，从而得到目标长轨迹。

【技术特征摘要】
1.一种基于高阶图跨时域关联的多目标跟踪方法，其特征在于，包括步骤如下：步骤A，将长视频序列划分成N等份，在每个等分时间段中根据多目标的离线检测结果分别进行普通高阶图H的构建；步骤B，通过逐步采样和建立多个候选连接样本来完成随机一致性高阶图到普通高阶图H的近似；步骤C，为提升高阶子图搜素的效率进行随机一致性高阶图到普通二阶图H的转换；步骤D，选择合适的权值测度函数来对普通二阶图中的子图进行搜索；步骤E，根据贪婪算法解决以上搜索到的子图不符合物理限制的情况，再根据局部轨迹段出现的时序顺序进行连接，从而得到目标长轨迹。2.根据权利要求1所述的一种基于高阶图跨时域关联的多目标跟踪方法，其特征在于，所述步骤A中包括如下步骤：由于对一个长视频序列串行进行处理会非常耗时，不满足实时性的要求，故采用分层次并行处理的方法，即将此长视频序列分成N等份，每等份包含Ln帧，若最后一组时间段不足Ln帧，则并入前一组中，然后对每一组时间段分别根据构成高阶图边的限制函数F(vi,vj)∈{0,1}构建跨时域高阶图H＝(V,E,α)，其中V代表高阶图中的顶点，E代表高阶图中的高阶边，α代表属于顶点同一条高阶边的概率。3.根据权利要求1所述的一种基于高阶图跨时域关联的多目标跟踪方法，其特征在于，所述步骤B中包括如下步骤：步骤B-1，为了在步骤C快速提取高阶图中的所有包含目标轨迹段的高阶子图，需要先将普通高阶图进行近似处理，即将普通高阶图转化为随机一致性高阶图，首先通过逐步采样的方法获得多个候选连接样本来建立随机一致性高阶图RCH＝{S1,...,Si,...}，其中Si为第i个连接样本，每个连接样本包含L个顶点，这个L个顶点是从包含Vi的同一条高阶图边中随机选取的，且满足限制函数F(vi,vj)＝1,j＝1,...,L-1；步骤B-2，由于B-1中是随机选取的满足限制函数的顶点，故存在不可靠的连接样本，为了排除上述存在的坏连接样本，可以通过两种置信函数Ca...

【专利技术属性】
技术研发人员：韩光，余小意，李晓飞，段朦，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32