基于多分类器融合的目标跟踪方法和系统技术方案

提供基于多分类器融合的目标跟踪方法和系统，该方法包括：对当前帧，利用已有融合分类器决定当前帧中的目标的位置，已有融合分类器通过利用系数来融合基于先前帧训练的单独分类器得到；基于目标的位置，找到目标，并获得包括目标的训练样本；基于训练样本，训练当前单独分类器；融合已有的融合分类器和当前单独分类器，得到最终的融合分类器；至少基于最终的融合分类器针对所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪到优化的步骤。选择分数至少与最终的融合分类器分别针对先前帧以及当前帧中的训练样本所测试得到的各个分类结果与预定分类结果的比较相关。

【技术实现步骤摘要】

本公开涉及机器学习和目标跟踪领域，更具体地，涉及一种基于多分类器融合的目标跟踪方法和系统。
技术介绍
长期的目标跟踪是一个很有挑战的工作，其应用范围很广，包括视频监控、机器人、增强现实以及人机交互等等。构造能自适应地处理由不同光照、姿态变换、遮挡等原因造成的目标外观变化的一个目标跟踪模型是比较困难的。所以需要一种能实时适应跟踪过程中的目标外观的变化的在线学习跟踪的技术。Han的2005年11月29日公告的题为“Fast Fourier Transform Correlation Tracking Algorithm with Background Correction”的专利文件号US 6970577 B2中公开了一种基于快速傅里叶变换的目标跟踪方法，包括：为快速傅里叶变换相关性跟踪器识别出一个背景修正项；以及基于背景修正项的模型更正目标。该方案首先对模板图像进行快速傅里叶变换，然后做一个共轭转置，然后再计算测试样本的快速傅里叶变换，相乘得出响应图。具体地，该方案首先求解图像的像素值的平方图，然后计算快速傅里叶变换。Avidan的2009年4月28日公告的题为“Tracking objects in videos with adaptive classifiers”的美国专利号US 7526101 B2中公开了一种跟踪目标的方法包括：用一个强分类器生成一幅像素投票后的响应图；利用mean-shift作用于响应图求出最大响应，最大响应位置对应目标的位置；利用多分辨率下的目标更新强分类器。该方案使用一系列的弱分类器并逐帧更新，这些弱分类器最后构成一个强分类器用来把目标从背景中分离出来。但是，仍然需要一种能实时适应跟踪过程中的目标外观的变化的在线学习跟踪的技术。
技术实现思路
分类器是机器学习领域中的概念，即，将输入的数据(例如图像)通过分类器得到响应结果(即，分类结果)，来表示该输入的数据属于哪一类(例如，图像识别)，其通常用训练的样本(例如多个图像)来训练得到。而分类器的分类准确性可以取决于训练的样本的多少以及分类器的自己的算法。一个好的分类器算法可以准确地进行机器识别、长期的目标跟踪等。根据本公开的一个方面，提供一种一种基于多分类器融合的目标跟踪方法，包括：跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。根据本公开的另一方面，提供一种一种基于多分类器融合的目标跟踪系统，包括：跟踪装置，被配置为进行跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得装置，被配置为进行样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练装置，被配置为进行训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合装置，被配置为进行融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个
单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化装置，被配置为进行优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较相关。本专利技术涉及一种基于多分类器融合的目标跟踪算法，该算法基于求解线性回归问题，提出了一种在频域快速的训练方法，并且融合多个分类器的加权和得到最终的分类器且优化各个分类器的加权系数来得到优化的分类器。本专利技术可以适合跟踪事先未知的目标，即无需事先知道要跟着的目标是什么，只需在目标的初始帧标记出要跟着的目标即可。此外，对于针对特定类型的目标跟踪，本专利技术可以在线训练每个目标的分类器和优化最终分类器，辅助离线分类器的分类性能。附图说明图1示出了应用本专利技术的各个实施例的示例硬件框图。图2示出了根据本专利技术的一个实施例的基于多分类器融合的目标跟踪方法的示例流程图。图3A和3B分别示意性地示出了对于初始帧和后续帧的获得包括要跟踪目标的图像块的样本的不同之处。图4-图5示意性地示出了在训练时如何获得包括要跟踪目标的多个图像块的训练样本。图6示意性地示出了预定分类结果(或称为标签)的示例分布图。图7示意性地示出了预定分类结果(或称为标签)的物理含义。图8-图9示意性地示出了在测试时如何获得包括要跟踪目标的多个图像块的测试样本。图10示意性地示出了在测试时为了决定在当前帧中的要跟踪目标的位置而利用已有的融合分类器得到的示例的响应图像。图11示意性地示出了融合分类器的系数更新的示例优化过程。图12示意性地示出了包括删除多余单独分类器的融合分类器的系数更
新的迭代的示例优化过程。图13示出了根据本专利技术的另一实施例的基于多分类器融合的目标跟踪系统的示例框图。具体实施方式现在将详细参照本专利技术的具体实施例，在附图中例示了本专利技术的例子。尽管将结合具体实施例描述本专利技术，但将理解，不是想要将本专利技术限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本专利技术的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1示出了应用本专利技术的各个实施例的示例硬件框图。应用本专利技术的各个实施例的示例硬件配置可以包含4个主要的硬件部分：用于拍摄得到图像的相机101、用于存储必要的数据的存储器102、用于进行数据处理的数字信号处理器103、以及用于实现其他功能的与应用相关的其他模块104。其中根据本专利技术的各个实施例的基于多分类器融合的目标跟踪的方法可以在数字信号处理器103上运行。相机101作为输入设备可本文档来自技高网...

【技术保护点】
一种基于多分类器融合的目标跟踪方法，包括：跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。

【技术特征摘要】
1.一种基于多分类器融合的目标跟踪方法，包括：跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。2.根据权利要求1所述的方法，其中，所述选择分数与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果、以及当前帧的帧号与先前的一个或多个帧的帧号的差值的函数相关。3.根据权利要求2所述的方法，其中，所述选择分数Si用以下公式来表示：Si＝E(wfinal,zi)*L(Δti)，其中，E(wfinal,zi)＝∑(f(zi)-Rreg)，L(Δti)＝G(Δti)～N(0,σ2)其中，wfinal表示最终的融合分类器，E(wfinal,zi)表示最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本zi所计算的各个分类结果f(zi)与预定分类结果Rreg的比较结果，Δti表示当前帧的帧
\t号与先前的一个或多个帧的帧号的差值，L(Δti)表示当前帧的帧号与先前的一个或多个帧的帧号的差值的函数，G(Δti)是一个高斯分布函数，其中，最大的预定数量个选择分数Si所针对的帧所对应的预定数量个单独分类器被选择为要增加系数，而最小的预定数量个选择分数Si所针对的帧所对应的预定数量个单独分类器被选择为要减小系数。4.根据权利要求1所述的方法，还包括：删除步骤，当所述最终的融合分类器所融合的单独分类器的个数超过预定个数时，基于删除机制来删除单独分类器，其中，所述删除机制包括：如果删除该单独分类器、则最终的融合分类器的变化最小。5.根据权利要求4所述的方法，其中，所述最终的融合分类器的变化Δw用以下公式表示：Δw＝-βrwr+βrwmax r = arg min r | ...

【专利技术属性】
技术研发人员：杨田雨，师忠超，鲁耀杰，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP