多源目标的空间直方图表示与跟踪方法技术

本发明专利技术公开一种多源目标的空间直方图表示与跟踪方法，其以二阶空间直方图为目标表示模型，对多个视频源目标进行表示，并将它们的相似度进行加权融合来构建目标函数；然后，依据核跟踪推理机制导出多源目标的联动位移公式；最后，使用均值漂移程序实现多源目标的自动快速搜索。本发明专利技术适应于任意多个视频源的跟踪，并具有快速而统一的特点。

Spatial histogram representation and tracking method for multi-source targets

The invention discloses a method of spatial histogram for multi object representation and tracking, the two order spatial histogram for object representation model of multiple video source target, and their similarity to construct the objective function of weighted fusion; then, based on the linkage displacement formula of kernel tracking multiple targets derived inference mechanism; finally fast, automatic search using the mean shift procedure of multi-source target. The invention is adapted to the tracking of any multiple video sources, and has the characteristics of fast and unified.

【技术实现步骤摘要】
多源目标的空间直方图表示与跟踪方法
本专利技术涉及计算机视觉跟踪
，具体涉及一种多源目标的空间直方图表示与跟踪方法。
技术介绍
目标跟踪是完成视觉监控、人机交互、车辆导航等诸多视频场景分析和理解任务的前提和基础。目前，实现目标跟踪的途径主要有两种：单源跟踪和多源跟踪。所谓单源跟踪是指对来源于一个视频源的目标对象进行跟踪，其主流方法有核密度估计、模式分类、稀疏表示和子空间分析等。多源跟踪是指对来源于两个或两个以上视频源中的同一目标对象进行跟踪。由于多源跟踪是通过多种图像传感器对同一运动目标进行不同方位和不同特性的描述和记录，并对它们的数据进行联合来完成跟踪的，因而其时空覆盖范围要比单源跟踪方法更广、生存能力能要更强、可信度要更高。论文“Fusiontrackingincolorandinfraredimagesusingjointsparserepresentation(使用联合稀疏表示融合跟踪可见光与红外目标)”(发表于《ScienceChina:InformationScience(中国科学：信息科学)》)提出采用联合稀疏特征表示的方法对红外和可见光目标进行特征级融合跟踪。论文“Anewtrackingapproachforvisibleandinfraredsequencesbasedontracking-before-fusion(一种新的基于先跟踪后融合策略的可见光与红外目标跟踪方法)”(发表于《InternationalJournalofDynamics&Control(国际动力与控制学学报)》)提出了先单独采用粒子滤波跟踪可见光目标，模板匹配法跟踪红外目标，然后将两者的跟踪结果进行联合决策的先跟踪后融合策略。论文“Acompressivetrackingbasedontime-spaceKalmanfusionmode(基于时空卡尔曼融合模型的压缩跟踪方法)”(发表于《ScienceChina:InformationScience(中国科学：信息科学)》)提出了基于卡尔曼滤波和压缩感知的红外与可见光目标时空融合跟踪算法。不难看出，当前的多源跟踪方法大多是在粒子滤波框架下实现的，其时间复杂度普遍较高，且都只限于跟踪红外与可见光的两种视频源。论文“Thermo-visualfeaturefusionforobjecttrackingusingmultiplespatiogram(针对基于空间直方图的目标跟踪中的红外-可见光特征融合)”(发表于《MachineVisionandApplications(机器视觉与应用)》)虽然提出了基于多个空间直方图连乘的决策级融合跟踪方法，但其连乘方式会出现因为其中任何一个跟踪器失效而使全局失效的问题。因此，有必要专利技术一种能跟踪多个视频源的快速而统一的方法。
技术实现思路
本专利技术所要解决的是现有多源跟踪方法存在时间久和易于失效的问题，提供一种多源目标的空间直方图表示与跟踪方法。为解决上述问题，本专利技术是通过以下技术方案实现的：多源目标的空间直方图表示与跟踪方法，包括步骤如下：步骤1、读入N个视频源，通过手工在第一个视频源的第1帧中框选出候选目标，并得到该候选目标的初始中心位置z0；初始化权重系数其中0＜αk＜1；步骤2、计算每个视频源的参考空间直方图步骤3、读入下一帧，并计算每个视频源基于初始中心位置z0的候选空间直方图步骤4、计算每个视频源的候选空间直方图和参考空间直方图之间的相似度步骤5、将所有视频源的相似度与对应的权重系数进行加权融合，得到所有视频源基于初始中心位置z0的联合相似度ρ(z0)；步骤6、将联合相似度ρ(z0)作为目标函数，并对目标函数进行泰勒展开，得到其线性逼近式，并求该线性逼近式的导数，令导数等于零，从而推导出联合位移迭代公式，并根据该联合位移迭代公式得到候选目标新的中心位置z1；其中，为位置加权系数，为位置偏移向量，z0为初始中心位置，为第i个像素的二维坐标向量，g(●)＝-f′(·)，f(●)为核函数，k∈{1,2,…,N}，N为视频源个数，i∈{1,2,…,n}，n为像素点个数，u∈{1,2,…,m}，m为特征区个数；步骤7、计算所有视频源基于新的中心位置z1的联合相似度ρ(z1)；步骤8、将基于新的中心位置z1的联合相似度ρ(z1)与基于初始中心位置z0的联合相似度ρ(z0)进行比较；若ρ(z1)<ρ(z0)，则将新的中心位置z1更新为(z0+z1)/2，并返回步骤7，直到ρ(z1)≥ρ(z0)；否则，转至步骤9；步骤9、判断||z1-z0||<ε或到达最大迭代次数；若是，停止迭代，完成多源目标跟踪；否则，将初始中心位置z0更新为新的中心位置z1，并计算所有视频源基于初始中心位置z0的联合相似度ρ(z0)后，返回步骤6；其中ε是事先给定的误差阈值；步骤10、将初始中心位置z0更新为新的中心位置z1，并返回步骤3。进一步地，步骤1中，初始化权值α1＝α2＝…＝αN＝1/N。进一步地，在步骤9之后且步骤10之前，还进一步包括根据权重系数更新公式对每个视频源的权重系数进行更新的步骤，其中权重系数更新公式为：其中，ρk(z1)为第k个视频源的相似度。进一步地，步骤6中，位置加权系数和位置偏移向量分别为：其中，和分别为候选空间直方图的第u个特征区像素点的概率密度函数以及这些像素点空间分布的均值和协方差矩阵，和分别为参考空间直方图第u个特征区像素点的概率密度函数以及这些像素点空间分布的均值和协方差矩阵，αk为权重系数，为第i个像素的二维坐标向量，δ(●)为是德塔函数，为将特征映射直方图区间的函数，k∈{1,2,…,N}，N为视频源个数，i∈{1,2,…,n}，n为像素点个数，u∈{1,2,…,m}，m为特征区个数。与现有技术相比，本专利技术提出一种基于多个二阶空间直方图联合表示的多源视频目标多核融合跟踪方法，其以二阶空间直方图为目标表示模型，对多个视频源目标进行表示，并将它们的相似度进行加权融合来构建目标函数；然后，依据核跟踪推理机制导出多源目标的联动位移公式；最后，使用均值漂移程序实现多源目标的自动快速搜索。本专利技术适应于任意多个视频源的跟踪，并具有快速而统一的特点。具体实施方式二阶矩空间直方图(简称：二阶直方图)是附加了像素点空间分布均值和方差信息的直方图，因此能较好地保持目标的空间结构信息。记为第k个视频源中z点处候选目标的二阶直方图。和分别为第u个特征区像素点的概率密度函数以及这些像素点空间分布的均值和协方差矩阵，它们的计算公式为：其中，n是目标图像的像素点个数，是第个像素的二维坐标向量。δiu是德塔函数，如果第i个像素落在第u个区间，则δiu＝1，否则为零。m为特征区个数，h代表目标图像的大小，C为归一化常数。核函数f(x)的计算公式为：设目标模板的二阶直方图为其相应的计算方法同公式(1)到(3)，则目标图像与目标模板之间的相似度为：式(5)中，可理解为计算第k视频源的目标图像与其目标模板在特征空间中的相似度，而则用于计算两者在空间分布上的相似度，其计算公式为其中，对多源目标跟踪来说，判断一个给定的目标候选状态是否应该被接受，应由所有视频源的相似度来共同决定。因此，通过将所有视频源的相似度相加本文档来自技高网...

【技术保护点】
多源目标的空间直方图表示与跟踪方法，其特征是，包括步骤如下：步骤1、读入N个视频源，通过手工在第一个视频源的第1帧中框选出候选目标，并得到该候选目标的初始中心位置z0；初始化权重系数

【技术特征摘要】
1.多源目标的空间直方图表示与跟踪方法，其特征是，包括步骤如下：步骤1、读入N个视频源，通过手工在第一个视频源的第1帧中框选出候选目标，并得到该候选目标的初始中心位置z0；初始化权重系数其中0＜αk＜1；步骤2、计算每个视频源的参考空间直方图步骤3、读入下一帧，并计算每个视频源基于初始中心位置z0的候选空间直方图步骤4、计算每个视频源的候选空间直方图和参考空间直方图之间的相似度步骤5、将所有视频源的相似度与对应的权重系数进行加权融合，得到所有视频源基于初始中心位置z0的联合相似度ρ(z0)；步骤6、将联合相似度ρ(z0)作为目标函数，并对目标函数进行泰勒展开，得到其线性逼近式，并求该线性逼近式的导数，令导数等于零，从而推导出联合位移迭代公式，并根据该联合位移迭代公式得到候选目标新的中心位置z1；其中，为位置加权系数，为位置偏移向量，z0为初始中心位置，为第i个像素的二维坐标向量，g(·)＝-f′(·)，f(·)为核函数，k∈{1,2,…,N}，N为视频源个数，i∈{1,2,…,n}，n为像素点个数，u∈{1,2,…,m}，m为特征区个数；步骤7、计算所有视频源基于新的中心位置z1的联合相似度ρ(z1)；步骤8、将基于新的中心位置z1的联合相似度ρ(z1)与基于初始中心位置z0的联合相似度ρ(z0)进行比较；若ρ(z1)<ρ(z0)，则将新的中心位置z1更新为(z0+z1)/2，并返回步骤7，直到ρ(z1)≥ρ(z0)；否则，转至步骤9；步骤9、判断||z1-z0||&...

【专利技术属性】
技术研发人员：张灿龙，李志欣，韩婷，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：广西,45