一种多视觉传感器协同目标跟踪方法技术

本发明专利技术公开了一种多视觉传感器协同目标跟踪方法，具体包括如下步骤：在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；对经初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；计算M个相机中的第v个相机与其它M‑1个相机偏离度；分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；根据所得偏离度和所得相似度对每个相机中的目标进行协同跟踪。解决了现有技术中存在的未充分利用相机间及图像采集数据集内的各个图像之间的关联联系使得目标长时跟踪效率低的问题。

【技术实现步骤摘要】
一种多视觉传感器协同目标跟踪方法
本专利技术属于机器视觉
，涉及一种多视觉传感器协同目标跟踪方法。
技术介绍
目标跟踪是机器视觉领域的经典问题之一。多视觉传感跟踪可利用观测信息的互补性有效避免单一视角严重遮挡造成的目标丢失，提高目标跟踪鲁棒性，另一方面，多视觉传感协同跟踪也是解决大范围、复杂空间目标持续、准确跟踪的有效手段，对于跟踪技术的实际应用具有重要意义。综上所述，目前多视觉跟踪相关研究仍存在以下问题：基于单应性空间约束的协同跟踪局限性较大，其只能在地平面目标“脚点”建立空间对应关系，而在复杂多场景下“脚点”位置很难获取，从而大大制约了多视觉跟踪应用范围；分布式协同跟踪机制依然是以单一视觉传感跟踪为基础的，没有充分利用多个视觉传感的信息融合提高跟踪的鲁棒性。
技术实现思路
本专利技术的目的是提供一种多视觉传感器协同目标跟踪方法，解决了现有技术中存在的未充分利用相机间及图像采集数据集内的各个图像之间的关联联系使得目标长时跟踪效率低的问题。本专利技术所采用的技术方案是，一种多视觉传感器协同目标跟踪方法，具体包括如下步骤：步骤1，在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；步骤2，对经步骤1初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；步骤3，设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；步骤4，计算M个相机中的第v个相机与其它M-1个相机偏离度；步骤5，分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；步骤6，根据步骤4所得偏离度和步骤5所得相似度对每个相机中的目标进行协同跟踪。本专利技术的特点还在于，步骤2的具体过程如下：步骤2.1，设每个相机中的粒子状态集合为每个粒子的状态为X(i)，通过如下公式(1)计算每个粒子的颜色直方图特征：其中，目标区域中心的颜色分布为x，目标区域半径为h，目标区域内的第i个像素处的颜色分布为xi，n为目标区域内像素的总和，δ(·)为Delta函数；b(xi)是位于xi处的像素在直方图上颜色等级索引的映像；u为直方图中颜色等级索引；k(·)为Epanechnikov核函数，k(·)的定义如下公式(2)所示：步骤2.2，采用Bhattacharyya距离来衡量两个目标颜色分布的近似程度，假设两个目标颜色分布分别为和则颜色观测的似然函数定义如下公式(3)所示：步骤2.3，设每个相机中上一时刻第i个粒子的权值为则t时刻每个相机中的粒子权值如下公式(4)所示：步骤3的具体过程如下：步骤3.1，推导粒子空间权值计算公式，具体为：设一个相机的粒子状态集合为观测值为Zk，则k时刻的后验概率密度函数近似为其中，i＝1,2,...,N.p(·)为概率密度函数，q(·)为重要性密度函数，N为粒子个数；根据序贯重要性采样方法，遵循如下两个假设条件：(a)视觉传感之间的观测具有独立性；(b)不同时间的观测值相互独立，观测值只与当前状态相关；假设视觉目标的状态为x0:t，两个独立观测的视觉传感观测值分别为和则两个视觉传感后验概率p(XT|ZT)可表示为其递推求解推导如下：根据重要性采样定理,粒子权值λ(i)正比依据公式(14)推得如下公式(15)：取重要性采样函数为则其中，公式(16)中，和分别代表在当前两个视觉传感观测下的粒子状态，和的乘积项决定了更新粒子的权值大小，根据公式(16)，设有M个视觉传感，其观测粒子权值由下式决定：其中，表示第i个粒子t时刻的状态，表示t时刻第M个相机的观测值；步骤3.2，对M个相机的空间粒子权值进行估计；具体为：假设两个相机，分别记作A和B，设在相机A成像平面中的粒子Pa为空间粒子PA在相机A中的映射，空间粒子PA在相机A中的观测条件概率记作根据对极几何原理，粒子Pa在相机B的成像平面中必对应一条对极极线记作l，记相机B对于空间粒子PA的观测条件概率为由公式(17)推得如下公式(18)：根据对极几何关系，相机A中的粒子点在相机B中对应一条对极线，以对极线为中心拓展的宽度ΔW的带宽范围，将该带宽范围内的当前粒子权值的累加均值作为的近似值，通过如下公式(19)其中，Npix表示落在对极带内的粒子个数；由公式(19)推得空间粒子PA在相机A中的投影粒子Pa权值递推关系为：由公式(20)推得相机B中的粒子权值的近似递推关系为将公式(21)所得结论推广至M个相机的情况，则M个相机的空间粒子权值的近似计算如下：步骤4的具体过程如下：根据相机B的对极线lB和相机B中的粒子位置关系判断相机B相对于相机A的偏离度，相机B中的每个粒子{xB,1,xB,2,…,xB,N}与对极线lB的最短距离可以表示为：dB＝min||xB-lB||(23)其中，xB,N表示相机B中第N个粒子；将位于对极线两侧的粒子相对于对极线的上下位置关系分别赋予正负符号，可以定义相机A在相机B的目标观测偏离度为：ηAB＝|dB++dB-|(24)；M个相机中，其中第v个相机与其它M-1个相机偏离度定义如下：步骤5的具体过程如下：由步骤3.2可知，t时刻每个相机中的粒子的权值为每个相机中的粒子的状态为则每个相机中估计的目标位置为：其中，v＝1,2,3…，M，表示第v个相机中估计的目标的位置信息，设任意一个相机中估计的目标模板的颜色直方图特征为hX，所述步骤1中对应相机中的目标模板的颜色直方图特征则估计的目标模板和对应的目标模板的相似度的计算方法为：步骤6的具体过程如下：设步骤4中的偏离度阈值为T1、步骤5中的相似度阈值为T2；在M个相机中，对于任意一个相机中的目标，若步骤4中所得的偏离度大于T1、步骤5中所得的相似度小于T2，且其他M-1个相机中的目标都不满足偏离度大于T1和相似小于T2的条件，此时开始进行如下跟踪过程：首先通过对极几何分别计算出其他相机中的目标框中心在该相机中的对极线，然后计算出对极线的交点，以该交点为中心，得到与上一帧目标框同大小的目标框，分别计算出该目标框与上一帧目标框模板的相似度及偏离度，如果偏离度大于T1且相似度小于T2，则以该交点作为估计的目标的位置；反之，则以该交点为中心，进行撒粒子，然后进行振荡重采样，然后计算振荡后的每个粒子与遮挡前目标模板的相似度，取相似度最大的粒子作为估计的目标位置；若所有粒子的相似度都小于T2，则以对极线交点作为估计的目标位置，利用估计的目标位置对目标模板的直方图特征进行更新，从而实现多个相机的协同目标跟踪。本专利技术有如下有益效果：(1)空间粒子滤波算法融合了多个相机的目标信息，目标在每个相机中的成像都是一个二维投影，单独使用一个相机的信息势必会造成目标信息的丢死，通过对极几何关系，将目标在每个相机中投影信息进行融合，一定程度弥补了单相机目标描述的不足，提高了短时遮挡目标跟踪的鲁棒性。(2)当目标被长时遮挡时候，本文通过对极几何关系，提出了利用其他没有被遮挡相机中的目标的位置信息共同定位遮挡目标的位置，然后通过判断确定的位置与遮挡前的目标模板的相似度来重拾目标。附图说明图1是本专利技术一种多视觉传感器协同目标跟踪方法中采用的对极几何原理示意图；图2(a)、图2(b)、图2(c)是本专利技术一种多视觉传感器协同目标跟踪方法中用于计算粒子空间权值的状态本文档来自技高网...

【技术保护点】
1.一种多视觉传感器协同目标跟踪方法，其特征在于：具体包括如下步骤：步骤1，在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；步骤2，对经步骤1初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；步骤3，设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；步骤4：计算M个相机中的第v个相机与其它M‑1个相机偏离度；步骤5，分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；步骤6，根据步骤4所得偏离度和步骤5所得相似度对每个相机中的目标进行协同跟踪。

【技术特征摘要】
1.一种多视觉传感器协同目标跟踪方法，其特征在于：具体包括如下步骤：步骤1，在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；步骤2，对经步骤1初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；步骤3，设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；步骤4：计算M个相机中的第v个相机与其它M-1个相机偏离度；步骤5，分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；步骤6，根据步骤4所得偏离度和步骤5所得相似度对每个相机中的目标进行协同跟踪。2.根据权利要求1所述的一种多视觉传感器协同目标跟踪方法，其特征在于：所述步骤2的具体过程如下：步骤2.1，设每个相机中的粒子状态集合为每个粒子的状态为X(i)，通过如下公式(1)计算每个粒子的颜色直方图特征：其中，目标区域中心的颜色分布为x，目标区域半径为h，目标区域内的第i个像素处的颜色分布为xi，n为目标区域内像素的总和，δ(·)为Delta函数；b(xi)是位于xi处的像素在直方图上颜色等级索引的映像；u为直方图中颜色等级索引；k(·)为Epanechnikov核函数，k(·)的定义如下公式(2)所示：步骤2.2，采用Bhattacharyya距离来衡量两个目标颜色分布的近似程度，假设两个目标颜色分布分别为和则颜色观测的似然函数定义如下公式(3)所示：步骤2.3，设每个相机中上一时刻第i个粒子的权值为则t时刻每个相机中的粒子权值如下公式(4)所示：3.根据权利要求2所述的一种多视觉传感器协同目标跟踪方法，其特征在于：所述步骤3的具体过程如下：步骤3.1，推导粒子空间权值计算公式，具体为：设一个相机的粒子状态集合为观测值为Zk，则k时刻的后验概率密度函数近似为其中，i＝1,2,...,N.p(·)为概率密度函数，q(·)为重要性密度函数，N为粒子个数；根据序贯重要性采样方法，遵循如下两个假设条件：(a)视觉传感之间的观测具有独立性；(b)不同时间的观测值相互独立，观测值只与当前状态相关；假设视觉目标的状态为x0:t，两个独立观测的视觉传感观测值分别为和则两个视觉传感后验概率p(XT|ZT)可表示为其递推求解推导如下：根据重要性采样定理,粒子权值λ(i)正比依据公式(14)推得如下公式(15)：取重要性采样函数为则其中，公式(16)中，和分别代表在当前两个视觉传感观测下的粒子状态，和的乘积项决定了更新粒子的权值大小，根据公式(16)，设有M个视觉传感，其观测粒子权值由下式决定：其中，表示第i个粒子t时刻的状态，表示t时刻第M个相机的观测值；步骤3.2，对M个相机的空间粒子权值进行估计；具体为：假设两个相机，分别记作A和B，设在相机A成像平面中的粒子Pa为空间粒子PA在相机A中的映射，空间粒子PA在相机A中的观测条件概率记作根据对极几...

【专利技术属性】
技术研发人员：刘龙，杨乐超，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61