一种基于多模型融合和数据关联的多目标跟踪方法技术

本发明专利技术公开一种基于多模型融合和数据关联的多目标跟踪方法，其首先利用帧间差分法检测出运动目标轮廓和质心坐标；接着融合金字塔光流法和卡尔曼滤波预测下一时刻运动目标的质心坐标；然后将质心坐标预测值和下一时刻质心坐标检测值之间的欧式距离构成效益矩阵，利用匈牙利算法进行数据关联得到最优匹配；最后去除跟踪器中不满足要求的部分，同时为未指派的检测建立跟踪单元，从而实现多目标跟踪；本发明专利技术方法受光线变化和背景噪声干扰较小，解决了目标遮挡或目标间相互干扰导致的跟踪失效，提供多目标跟踪的准确率，具有较好的实时性和鲁棒性。

A multi target tracking method based on multi model fusion and data association

The invention discloses a multi-objective model based on data fusion and correlation tracking method, the first frame difference method is used to detect the moving object contour and centroid coordinates; then the fusion centroid coordinates of Pyramid optical flow method and Calman filter to predict next time moving target; then the centroid coordinates of Euclidean distance between the prediction value and the next moment centroid coordinate detection value of the benefit matrix, data association to get the optimal matching with the Hungarian algorithm; finally the part does not meet the requirements of the removal of the tracker, while establishing tracking detection unit is not assigned, so as to realize the target tracking; the method of the invention is affected by changes in light and less background noise, solve the occlusion the target or the mutual interference between lead to tracking failure, provide the accuracy of multiple target tracking, has better real-time and Shandong Rod property.

【技术实现步骤摘要】
一种基于多模型融合和数据关联的多目标跟踪方法
本专利技术属于图像处理、视频检测和人工智能交叉技术应用领域，尤其涉及一种基于多模型融合和数据关联的多目标跟踪方法。
技术介绍
多目标跟踪是当前计算机视觉领域的研究热点和难点，在智能交通控制，智能视频监控等领域有着重要的应用价值。由于现实环境具有复杂性，背景噪声，目标遮挡等问题亟待解决。当前跟踪算法中主要使用的有：基于模型的跟踪、基于目标轮廓的跟踪、基于区域的跟踪和基于特征的跟踪。(1)基于模型的目标跟踪：首先要获取跟踪目标的先验信息来对目标的结构与运动状态进行建模，虽然能够实现较好的效果，但如果不能够获取目标足够的信息，则会导致跟踪效果恶化，同时不能够满足实时性的要求。(2)基于目标轮廓的目标跟踪：因为轮廓信息的鲁棒不变性，使用物体的轮廓来表示运动目标，并不断进行更新，具有较强的抗光照变换特性，但在背景相对复杂的情况下会出现跟踪失效的状况。(3)基于区域跟踪的方法：建立目标模板，根据目标跟踪目标，在运动目标被遮挡的情况下将无法继续准确跟踪，目标重新出现也无法自动复原，造成跟踪算法失效。(4)基于特征的目标跟踪：提取目标颜色、质心位置等特征本文档来自技高网...

【技术保护点】
一种基于多模型融合和数据关联的多目标跟踪方法，其特征在于，具体包括如下步骤：步骤1，用户输入视频镜头S，定义S＝{f1,f2,...,fn}，fn为第n个镜头帧，fn用大小为r*l的二维矩阵表示，其中，n为正整数，r为矩阵行数，l为矩阵列数；步骤2，对视频镜头S进行预处理获得运动目标轮廓和质心坐标；具体步骤如下：步骤2.1，对视频镜头S中的fk‑1，fk进行灰度化处理得到灰度差值图像

【技术特征摘要】
1.一种基于多模型融合和数据关联的多目标跟踪方法，其特征在于，具体包括如下步骤：步骤1，用户输入视频镜头S，定义S＝{f1,f2,...,fn}，fn为第n个镜头帧，fn用大小为r*l的二维矩阵表示，其中，n为正整数，r为矩阵行数，l为矩阵列数；步骤2，对视频镜头S进行预处理获得运动目标轮廓和质心坐标；具体步骤如下：步骤2.1，对视频镜头S中的fk-1，fk进行灰度化处理得到灰度差值图像对中的每个像素点j进行如下计算：Dk(j)＝f′k(j)-f′k-1(j)若Dk(j)＞T,则Dk(j)取值1，则判定j为前景点，若Dk(j)≤T,则Dk(j)取值0，则判定j为背景点；则Dk(j)取值1的构成目标轮廓Dk；步骤2.2；将步骤2.1得到的运动目标轮廓Dk的中心点坐标作为运动目标的质心坐标(xk,yk)；其中，2≤k≤n，xk,yk分别代表质心的横坐标和纵坐标，为第k-1个镜头帧第j个像素点的色彩值，为第k个镜头帧f′k第j个像素点的色彩值，Dk(j)为运动目标轮廓第j个像素点的色彩值，T为大津法得到的最优阈值；步骤3，对步骤,2,得到的运动目标轮廓Dk用金字塔光流法进行角点跟踪，预测出运动目标在下一帧的质心坐标(xlk,ylk)；其中，xlk,ylk分别代表质心的横坐标和纵坐标；步骤4，初始化卡尔曼滤波器参数，利用卡尔曼滤波器进行多目标跟踪，预测出运动目标轮廓Dk在下一帧的质心坐标(xkal,ykal)，xkal,ykal分别代表质心的横坐标和纵坐标；步骤5，利用匈牙利算法对步骤4预测的质心坐标(xkal,ykal)进行数据关联，计算最优匹配后，完成对卡尔曼滤波器参数进行修正；进而获取运动目标在各时刻的质心坐标，通过依次连接运动目标在各时刻的质心坐标获取物体的跟踪轨迹。2.根据权利要求1所述的一种基于多模型融合和数据关联的多目标跟踪方法，其特征在于，所述步骤5具体包含如下步骤：步骤5.1，利用匈牙利算法对步骤4预测的质心坐标(xkal,ykal)进行数据关联，计算最优匹配，具体步骤如下：对步骤2获取的运动目标质心坐标的检测值和步骤4获取的质心坐标预测值进行指派：设k时刻运动目标的质心检测集合是Hk＝{h1,h2,...,hn}，利用卡尔曼滤波器对Hk中的每个运动目标的质心hi进行预测得到下一时刻质心坐标的预测值pi，即得到质心坐标预测集合Pk＝{p1,p2,...,pn}，k+1时刻运动目标的质心检测集合是Hk+1＝{h1,h2,...,hm}，则将质心坐标的预测值Pk和下一时刻质心坐标的检测值Hk+1之间看做一个指派问题，将质心预测坐标和下一时刻检测坐标的欧式距离作为效益矩阵，利用匈牙利算法求得最佳...

【专利技术属性】
技术研发人员：季露，陈志，岳文静，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32