一种基于图像集的目标跟踪算法制造技术

本发明专利技术公开了一种基于图像集的目标跟踪算法，包括初始化阶段，用于建立目标模型的训练阶段，用于根据所建立的目标模型测试出指定目标物体的中心位置的测试阶段，和更新阶段。本发明专利技术采用图像集作为目标跟踪过程中训练样本和测试样本的基本单位，并在核偏最小二乘法的框架下，将目标跟踪问题视为一个多类别的分类问题，从而能够有效缓解跟踪器的“漂移”问题。

【技术实现步骤摘要】
一种基于图像集的目标跟踪算法
本专利技术涉及信息
中的计算机视觉和模式识别领域，特别涉及一种基于图像集的目标跟踪算法。
技术介绍
从公共场所、街头巷尾日益增多的监控摄像头不难看出，视频监控已经成为一种常规的安全监控手段。但传统的视频监控只是历史事件的记录和回放工具，并不能起到很好的预警作用，其“控”的功能形同虚设，且需要人工“监”看。随着视频监控的网络规模急剧扩大，所需监控的终端数量与日俱增，单凭人工监看已经远远满足不了应用需求的快速增长，视频监控迫切需要通过智能化手段来大幅度提高监控效率，降低监控成本。其中目标跟踪算法是智能视频监控技术的核心组成部件，如果我们能够自动地对监控场景中的目标进行长时间持续地跟踪，分析其运动轨迹和规律，就能够极大的提高监控效率，大幅度降低监控成本，将视频监控带入一个全新的智能化时代。尽管经过全世界各国专家和学者多年的不懈研究，目标跟踪算法取得了长足的进步。但总体来说，应用场合中一些不确定的因素，诸如遮挡、剧烈的运动、光照变化、背景变化、视角变化、目标的非刚性形变、姿态变化以及表观的变化等，仍使得目标跟踪算法的大规模应用和达到工业标准，面临重重困难。传统的目标跟踪算法中，往往使用单个图像块来构造目标或者背景的模型，并且从非目标的背景中提取的所有图像块都属于同一个负例类别，而目标跟踪常常被看作是一个在线二值分类(即要么属于目标类要么不属于目标类)问题，通常是利用当前跟踪到的单一目标图像来更新目标模型。这种跟踪算法很难处理对象自身多变和外界的干扰。基于在线二值分类的跟踪方法一般是采取启发式正负例样本(即目标类和非目标类)选取策略，即以目标物体的中心位置为中心并包含目标物体的单个图像块作为正例样本，然后在目标物体周围位置的局部邻域内选取其他图像块作为负例样本。这种启发式的正负例样本选取策略，很难保证在线学习时重新学习到的跟踪器(即所建立的目标模型)的效果。这是因为目标物体的精确位置具有语义上的不确定性，很难使用一个单一的图像块来精确表示目标物体，因而在目标物体中心位置附近的图像块都可以视为正例图像块(包含目标物体的图像区域经过微小偏移，仍包含目标物体，仍然是正例图像块)。另外，在线更新跟踪器时，如果上一时刻的跟踪器给出的目标位置，稍微有一些偏差，这种启发式的正负样本选取策略，极易产生不精确的样本。如果进一步使用这些样本去训练和更新跟踪器，会使得跟踪器逐渐学习到错误的表观模型，最终造成跟踪器的“漂移”问题。为了提高鲁棒性，一部分研究则将在线多实例学习机制，引入到目标跟踪问题中。在多实例学习算法中，正例样本是由多个图像块组成的包，该包中只要有一个图像块被标记为正例类别(即目标类)，则该包就被标记为正例。虽然这种方法在一定程度上解决了训练阶段和更新阶段中正例样本标注的不确定性问题，但是该方法在训练阶段并没有进一步充分利用目标物体来自不同图像帧中的多幅图像所包含的信息，同时在测试阶段，该方法也没有充分利用包含目标物体的多个图像块中包含的信息。
技术实现思路
本专利技术的目的在于克服现有技术之不足，提供一种基于图像集的目标跟踪算法，采用图像集作为目标跟踪过程中训练样本和测试样本的基本单位，并在核偏最小二乘法的框架下，将目标跟踪问题视为一个多类别的分类问题，从而能够有效缓解跟踪器的“漂移”问题。本专利技术解决其技术问题所采用的技术方案为：一种基于图像集的目标跟踪算法，包括初始化阶段，用于建立目标模型的训练阶段，用于根据所建立的目标模型测试出指定目标物体的中心位置的测试阶段，和更新阶段；所述初始化阶段包括：提取一帧图像，人为指定该图像中的目标物体和多个非目标物体，并人为获取一个正例类别图像集和多个负例类别图像集；所述正例类别图像集为从当前一帧图像中提取的多个包含所述人为指定该图像中的目标物体的图像块所构成的集合，其中所有图像块均标记为静态图像块；其中一个负例类别图像集为从当前一帧图像中提取的多个包含其中一个指定的非目标物体的图像块所构成的集合；不同的负例类别图像集中的图像块所包含的非目标物体不同；所提取的所有图像块大小均一致；将所指定的目标物体的中心位置设为当前位置；然后转入训练阶段；所述训练阶段包括：A1、将当前所获取的正例类别图像集构造成一个样本矩阵，并将该样本矩阵的类别标记为目标类；分别将当前所获取的每个负例类别图像集均构造成一个样本矩阵，并将这些样本矩阵的类别依次标记为第1非目标类、第2非目标类、…；当前所获取的正例类别图像集所生成的样本矩阵为该正例类别图像集中所有图像块的d维特征向量的协方差矩阵，其中d属于正整数；当前其中一个负例类别图像集所生成的样本矩阵为该负例类别图像集中所有图像块的d维特征向量的协方差矩阵；A2、建立一个训练集合，该训练集合由当前所获取的所有样本矩阵构成；设定该训练集合中的样本矩阵个数为m个，其中m属于正整数，并将该训练集合中的样本矩阵分别记为C1，C2，…，Cm，其中Ci∈Rd×d(i＝1,2，…m)；将该训练集合中的每个样本矩阵均转换为一个样本列向量，得到m个样本列向量分别为x1，x2，…，xm，分别对应C1，C2，…，Cm；其中，由Ci的矩阵元素从上到下从左到右串起来而生成；然后设定C1和C2的黎曼核函数分别为和得出和之间满足A3、分别将C1，C2，…，Cm的各类别用列向量形式表示，得到m个类别列向量分别为y1，y2，…，ym，分别对应C1，C2，…，Cm，并分别对应x1，x2，…，xm；其中，yi＝[0,0,...,1,...,0]T(i＝1,2，…m)，是除了第k(k＝1,2，…m)个元素为1之外，其余全为0的向量；当k＝1时，其含义表示Ci或xi属于目标类；当1<k≤m时，其含义表示Ci或xi属于第k-1非目标类；然后设定X＝[x1,x2,...,xm]T，并设定Y＝[y1,y2,...,ym]T作为X的类别矩阵；之后根据偏最小二乘回归，将X和Y分解成：其中，T和U都是m×p的矩阵，包含了p个隐藏向量，P为d2×p的矩阵，Q为m×p的矩阵，E和F为残差矩阵；A4、基于非线性迭代的偏最小二乘回归，计算出X和Y之间的回归系数为：B＝XTU(TTXXTU)-1TTY(3)设定一个黎曼核矩阵并设定M＝φφT；将φ代入式(3)中的X，得出φ和Y之间的回归系数为：Bφ＝φTU(TTMU)-1TTY(4)然后基于Bφ建立所述目标模型为：其中是一个需要预测类别的样本列向量，该样本列向量是由一个需要预测类别的样本矩阵的矩阵元素从上到下从左到右串起来而得到，而该样本矩阵是一个需要预测类别的图像集中所有图像块的d维特征向量的协方差矩阵；yt＝[β,γ1,γ2,...,γm-1]T为根据所述目标模型计算得出的ct的类别列向量；其中，β表示ct属于目标类的概率，γi(i＝1,...,m-1)表示ct属于第i非目标类的概率；然后转入测试阶段；所述测试阶段包括：B1、提取下一帧图像，设定该图像上以所述当前位置为中心、以指定半径长度为半径的圆形区域为该图像的搜索区域；转入步骤B2；B2、在当前一帧图像的搜索区域中选取至少一个位置，作为当前一帧图像的测试位置；对于当前一帧图像的每个测试位置，在距离该测试位置小于一个预设值的周围选取多个位置，作为该测试位置的周围位置，分别以该本文档来自技高网...

【技术保护点】
一种基于图像集的目标跟踪算法，其特征在于，包括初始化阶段，用于建立目标模型的训练阶段，用于根据所建立的目标模型测试出指定目标物体的中心位置的测试阶段，和更新阶段；所述初始化阶段包括：提取一帧图像，人为指定该图像中的目标物体和多个非目标物体，并人为获取一个正例类别图像集和多个负例类别图像集；所述正例类别图像集为从当前一帧图像中提取的多个包含所述指定的目标物体的图像块所构成的集合，其中所有图像块均标记为静态图像块；其中一个负例类别图像集为从当前一帧图像中提取的多个包含其中一个指定的非目标物体的图像块所构成的集合；不同的负例类别图像集中的图像块所包含的非目标物体不同；所提取的所有图像块大小均一致；将所指定的目标物体的中心位置设为当前位置；然后转入训练阶段；所述训练阶段包括：A1、将当前所获取的正例类别图像集构造成一个样本矩阵，并将该样本矩阵的类别标记为目标类；分别将当前所获取的每个负例类别图像集均构造成一个样本矩阵，并将这些样本矩阵的类别依次标记为第1非目标类、第2非目标类、...；当前所获取的正例类别图像集所生成的样本矩阵为该正例图像集中所有图像块的d维特征向量的协方差矩阵，其中d属于正整数；当前其中一个负例类别图像集所生成的样本矩阵为该负例类别图像集中所有图像块的d维特征向量的协方差矩阵；A2、建立一个训练集合，该训练集合由当前所获取的所有样本矩阵构成；设定该训练集合中的样本矩阵个数为m个，其中m属于正整数，并将该训练集合中的样本矩阵分别记为C1，C2，...，Cm，其中Ci∈Rd×d(i＝1，2，...m)；将该训练集合中的每个样本矩阵均转换为一个样本列向量，得到m个样本列向量分别为x1，x2，...，xm，分别对应C1，C2，...，Cm；其中，由Ci的矩阵元素从上到下从左到右串起来而生成；然后设定C1和C2的黎曼核函数分别为和得出和之间满足A3、分别将C1，C2，...，Cm的各类别用列向量形式表示，得到m个类别列向量分别为y1，y2，...，ym，分别对应C1，C2，...，Cm，并分别对应x1，x2，...，xm；其中，yi＝[0，0，...，1，...，0]T(i＝1，2，...m)，是除了第k(k＝1，2，...m)个元素为1之外，其余全为0的向量；当k＝1时，其含义表示Ci或xi属于目标类；当1＜k≤m时，其含义表示Ci或xi属于第k‑1非目标类；然后设定X＝[x1，x2，...，xm]T，并设定Y＝[y1，y2，...，ym]T作为X的类别矩阵；之后根据偏最小二乘回归，将X和Y分解成：X=TPT+EY=UQT+F---(2)]]>其中，T和U都是m×p的矩阵，包含了p个隐藏向量，P为d2×p的矩阵，Q为m×p的矩阵，E和F为残差矩阵；A4、基于非线性迭代的偏最小二乘回归，计算出X和Y之间的回归系数为：B＝XTU(TTXXTU)‑1TTY    (3)设定一个黎曼核矩阵并设定K＝φφT；将φ代入式(3)中的X，得出φ和Y之间的回归系数为：Bφ＝φTU(TTKU)‑1TTY    (4)然后基于Bφ建立所述目标模型为：ytT=[φ(ct)]TBφ=KtTU(TTKU)-1TTY---(5)]]>其中是一个需要预测类别的样本列向量，该样本列向量是由一个需要预测类别的样本矩阵的矩阵元素从上到下从左到右串起来而得到，而该样本矩阵是一个需要预测类别的图像集中所有图像块的d维特征向量的协方差矩阵；Kt是K中的一个元素；yt＝[β，γ1，γ2，...，γm‑1]T为根据所述目标模型计算得出的ct的类别列向量；其中，β表示ct属于目标类的概率，γi(i＝1，...，m‑1)表示ct属于第i非目标类的概率；然后转入测试阶段；所述测试阶段包括：B1、提取下一帧图像，设定该图像上以所述当前位置为中心、以指定半径长度为半径的圆形区域为该图像的搜索区域；转入步骤B2；B2、在当前一帧图像的搜索区域中选取至少一个位置，作为当前一帧图像的测试位置；对于当前一帧图像的每个测试位置，在距离该测试位置小于一个预设值的周围选取多个位置，作为该测试位置的周围位置，分别以该测试位置及其周围位置为中心提取图像块，作为该测试位置的测试图像块，并将这些测试图像块构成一个集合，作为该测试位置的测试图像集；所述测试图像集中的所有测试图像块大小均一致，且与所述初始化阶段中正例类别图像集或负例类别图像集内的图像块大小一致；转入步骤B3；B3、分别将当前所获取的每个测试图像集均构造成一个样本矩阵，其中一个测试图像集所生成的样本矩阵为该测试图像集中所有测试图像块的d维特征向量的协方差矩阵；分别将所获取的每个测试图像集的样本矩阵均转换为一个样本列向量，其中一个测试图像集的样本列向量由该测试图像集的样本矩阵的矩阵元素从上到下从左到右串起来而生成；然后分别将这些...

【技术特征摘要】
1.一种基于图像集的目标跟踪算法，其特征在于，包括初始化阶段，用于建立目标模型的训练阶段，用于根据所建立的目标模型测试出指定目标物体的中心位置的测试阶段，和更新阶段；所述初始化阶段包括：提取一帧图像，人为指定该图像中的目标物体和多个非目标物体，并人为获取一个正例类别图像集和多个负例类别图像集；所述正例类别图像集为从当前一帧图像中提取的多个包含所述人为指定该图像中的目标物体的图像块所构成的集合，其中所有图像块均标记为静态图像块；其中一个负例类别图像集为从当前一帧图像中提取的多个包含其中一个指定的非目标物体的图像块所构成的集合；不同的负例类别图像集中的图像块所包含的非目标物体不同；所提取的所有图像块大小均一致；将所指定的目标物体的中心位置设为当前位置；然后转入训练阶段；所述训练阶段包括：A1、将当前所获取的正例类别图像集构造成一个样本矩阵，并将该样本矩阵的类别标记为目标类；分别将当前所获取的每个负例类别图像集均构造成一个样本矩阵，并将这些样本矩阵的类别依次标记为第1非目标类、第2非目标类、…；当前所获取的正例类别图像集所生成的样本矩阵为该正例类别图像集中所有图像块的d维特征向量的协方差矩阵，其中d属于正整数；当前其中一个负例类别图像集所生成的样本矩阵为该负例类别图像集中所有图像块的d维特征向量的协方差矩阵；A2、建立一个训练集合，该训练集合由当前所获取的所有样本矩阵构成；设定该训练集合中的样本矩阵个数为m个，其中m属于正整数，并将该训练集合中的样本矩阵分别记为C1，C2，…，Cm，其中Ci∈Rd×d(i＝1,2，…m)；将该训练集合中的每个样本矩阵均转换为一个样本列向量，得到m个样本列向量分别为x1，x2，…，xm，分别对应C1，C2，…，Cm；其中，由Ci的矩阵元素从上到下从左到右串起来而生成；然后设定C1和C2的黎曼核函数分别为和得出和之间满足A3、分别将C1，C2，…，Cm的各类别用列向量形式表示，得到m个类别列向量分别为y1，y2，…，ym，分别对应C1，C2，…，Cm，并分别对应x1，x2，…，xm；其中，yi＝[0,0,...,1,...,0]T(i＝1,2，…m)，是除了第k(k＝1,2，…m)个元素为1之外，其余全为0的向量；当k＝1时，其含义表示Ci或xi属于目标类；当1<k≤m时，其含义表示Ci或xi属于第k-1非目标类；然后设定X＝[x1,x2,...,xm]T，并设定Y＝[y1,y2,...,ym]T作为X的类别矩阵；之后根据偏最小二乘回归，将X和Y分解成：其中，T和U都是m×p的矩阵，包含了p个隐藏向量，P为d2×p的矩阵，Q为m×p的矩阵，E和F为残差矩阵；A4、基于非线性迭代的偏最小二乘回归，计算出X和Y之间的回归系数为：B＝XTU(TTXXTU)-1TTY(3)设定一个黎曼核矩阵并设定M＝φφT；将φ代入式(3)中的X，得出φ和Y之间的回归系数为：Bφ＝φTU(TTMU)-1TTY(4)然后基于Bφ建立所述目标模型为：其中是一个需要预测类别的样本列向量，该样本列向量是由一个需要预测类别的样本矩阵的矩阵元素从上到下从左到右串起来而得到，而该样本矩阵是一个需要预测类别的图像集中所有图像块的d维特征向量的协方差矩阵；Mt是M中的一个元素；yt＝[β,γ1,γ2,...,γm-1]T为根据所述目标模型计算得出的ct的类别列向量；其中，β表示ct属于目标类的概率，γi(i＝1,...,m-1)表示ct属于第i非目标类的概率；然后转入测试阶段；所述测试阶段包括：B1、提取下一帧图像，设定该图像...

【专利技术属性】
技术研发人员：钟必能，陈雁，王田，谢维波，陈锻生，陈维斌，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建;35