一种基于在线样本挖掘的自适应实时跟踪方法技术

本发明专利技术公开了一种基于在线样本挖掘的自适应实时跟踪方法，利用提取的样本与滤波器卷积得到的最大响应值来判断样本的可用性，减少错误样本的干扰，利用高斯混合模型将样本进行分类来提高样本集的多样性，得到一个高质量、多样性的训练样本集，来避免模型的漂移。不同于大部分基于相关滤波器的跟踪方法采用的每帧都更新的策略，本发明专利技术提出一种自适应的模型更新策略，以目标的尺度，位移变化作为模型更新的判断准则，该策略能够保持模型的稳定性防止过拟合。

An Adaptive Real-time Tracking Method Based on Online Sample Mining

The invention discloses an adaptive real-time tracking method based on on on-line sample mining. The maximum response value obtained by convolution of extracted samples and filters is used to judge the availability of samples, reduce the interference of error samples, classify samples by using Gauss mixture model to improve the diversity of sample sets, and obtain a high-quality and diverse training sample set to avoid modules. Type drift. Unlike the strategy of updating every frame adopted by most tracking methods based on correlation filters, the present invention proposes an adaptive model updating strategy, which takes the target scale and displacement change as the judgment criterion of model updating. The strategy can maintain the stability of the model and prevent over-fitting.

【技术实现步骤摘要】
一种基于在线样本挖掘的自适应实时跟踪方法
本专利技术属于计算机视觉领域，具体涉及一种基于在线样本挖掘的自适应跟踪系统。
技术介绍
运动目标跟踪是计算机视觉研究中的热门之一，在公共安全、军事等领域有着广泛的应用。目标跟踪的主要任务是在连续的视频序列中，已知目标在第一帧图像中的位置，能够准确计算出后续图像中目标的位置。在运动过程中，目标会存在形状的变化、尺度的变化、背景遮挡或光线亮度的变化等。因此，目标跟踪算法的研究主要围绕着解决这些变化和具体的应用展开。基于深度学习和基于滤波器是目前跟踪算法研究的主流方向。基于深度学习和基于滤波器是目前跟踪算法研究的主流方向。基于深度学习的跟踪方法在跟踪的鲁棒性方面表现优异，这源于深度卷积神经网络强大的表征学习能力和特征泛化能力，但是跟踪性能很大程度上依赖于训练数据的数量和质量，且庞大的计算量很难满足跟踪的实时性。基于相关滤波器的跟踪方法利用传统特征和快速的在线样本学习，计算效率高，但在快速运动，快速形变，背景干扰，遮挡情况下跟踪效果不佳。例如在背景干扰、遮挡情况下由于背景污染了正样本使得滤波器容易学习到错误样本，一旦学习过多的错误样本就会造成模型漂移。除此之外，大部分基于相关滤波器的跟踪方法采取的是保留新样本舍弃旧样本的策略，这使得样本集不具有全面性，使得滤波器分辨能力较差。不管基于深度学习的方法还是基于相关滤波器的方法都依赖于对训练样本的训练和学习，所以优质的在线样本对于跟踪模型来说尤为重要。随着目标的运动和场景的变化，尤其对于长时间的目标跟踪来说，恰当的模型更新策略是必要的。由此发现在线训练样本的挖掘和合理的模型更新策略对跟踪器来说尤为重要。因此，针对上述问题提出一种新的基于在线样本挖掘的自适应实时跟踪方法。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种基于在线样本挖掘的自适应实时跟踪方法。本专利技术通过以下技术方案来实现上述目的：一种基于在线样本挖掘的自适应实时跟踪方法，包括以下步骤：一、输入目标初始位置P0和初始尺度S0,设置窗口和调节尺度因子；二、根据第f-1帧的目标位置Pf-1提取待处理图片If；三、计算待处理图片If的HOG特征xf，将xf乘以窗口并进行快速傅里叶变化得到待检测样本四、将待检测样本与滤波器进行卷积，获得估算的目标位置Pf、尺度Sf以及最大检测分数score；五、根据估算的目标位置Pf提取新的样本，利用最大检测分数score判断该样本是否为有用样本，当判断样本为可用样本后，采用在线更新算法更新高斯混合模型，得到在线训练样本集六、采用自适应的模型更新策略，更新滤波器更进一步的,步骤五中高斯混合模型根据样本特征进行高斯混合建模得到：式中，M表示组件的个数，πl是组件l的权重，μl∈(0～1)表示平均值，I表示协方差矩阵。更进一步的,步骤五中采用在线更新算法更新高斯混合模型包括替换和合并。根据样本特征使用高斯混合模型将样本集分成不同的组件,每一个组件对应一组比较相似的样本，而不同的组件之间有较大的差异。在更新高斯混合模型时采用替换或者合并的策略，替换就是将权值小于阈值的组件替换成新的组件，合并则是将两个相似组件的权值相加，均值加权求和。其中，替换的阈值可通过试验方式确定，而且不同的情况阈值也不同。更进一步的,采用替换方式更新高斯混合模型即将权值小于阈值的组件替换成新的组件。更进一步的,采用合并方式更新高斯混合模型采用下式实现：πm＝πa+πb式中，πa和πb分别是组件a和b的权重，πm为更新后组件的权重，μa和μb分别是组件a和b的平均值，μm为更新后组件的均值。更进一步的,步骤六中自适应的模型更新策略包括以下步骤：1)、通过前后两帧目标的尺度变化值以及在序列图像中位置变化来判断目标是否发生变化，其中，前后两帧目标位置变化通过下式表示：Δx＝||pos.x-oldpos.x||Δy＝||pos.y-oldpos.y||式中，Δx和Δy分别表示前后两帧目标位置在x方向和y方向的变化值，(pos.x，pos.y)表示后一帧目标的位置，(oldpos.x，oldpos.y)表示前一帧目标的位置；前后两帧目标的大小变化通过下式表示：式中，Δs表示前后两帧目标的尺度变化值，Sf表示后一帧目标的尺度，Sf-1表示前一帧目标的尺度；2)、当目标发生变化时，则对模型进行更新。每帧都对模型进行更新的策略会使得模型过度合适当前帧，反而降低整体的性能。只有当目标发生足够的变化时才应该更新模型。采用以目标的大小和位移变化作为模型更新的判断准则可保持模型的稳定性，防止模型过拟合，提高计算效率。更进一步的,步骤一中窗口为初始区域的5倍，调节尺度因子在150×150像素～200×200像素之间。更进一步的,步骤一中窗口为余弦窗口。有益效果：本专利技术的基于在线样本挖掘的自适应实时跟踪方法利用提取的样本与滤波器卷积得到的最大响应值来判断样本的可用性，减少错误样本的干扰，利用高斯混合模型将样本进行分类来提高样本集的多样性，得到一个高质量、多样性的训练样本集，来避免模型的漂移。不同于大部分基于相关滤波器的跟踪方法采用的每帧都更新的策略，本专利技术提出一种自适应的模型更新策略，以目标的尺度，位移变化作为模型更新的判断准则，该策略能够保持模型的稳定性防止过拟合。附图说明图1样本空间形成流程图；图2背景干扰下检测分数的变化曲线图；图3跟踪流程图；图4OMS(本专利技术提出的方法)、BACF、SRDCF算法在目标缓慢形变、移动下的跟踪结果；图5低分辨率半遮挡小目标在OMS(本专利技术提出的方法)、BACF、SRDCF算法下跟踪结果；图6背景干扰情况下OSM(本专利技术方法)与其他先进的跟踪器在OTB100数据集上的跟踪成功率；图7为光照变化情况下OSM(本专利技术方法)与其他先进的跟踪器在OTB100数据集上的跟踪成功率；图8跟踪器在VOT2016上准确性-鲁棒性等级图；图9相机移动情况下跟踪器在VOT2016数据集上重叠率。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1本专利技术的具体实现步骤如下：步骤1，输入目标初始位置P0和尺度S0,设置窗口大小为初始区域的5倍，调节尺度因子确保大小在150×150像素～200×200像素之间。其中，窗口优选为余弦窗口。步骤2，根据第f-1帧的目标位置Pf-1提取待处理图片If。步骤3，计算输入图像If的HOG特征xf，将xf乘以余弦窗口，并进行快速傅里叶变化得到待检测样本步骤4，将待检测样本与滤波器进行卷积，获得估算的目标位置Pf、尺度Sf以及最大检测分数score。最大检测分数score即最大响应值。步骤5，根据预测位置提取新的样本，采用本专利提出的一种基于高斯混合模型的在线样本训练的方法，利用检测分数判断该样本是否为有用样本，若为可用样本，更新高斯混合模型(GMM)和训练样本集利用在线样本与滤波器卷积得到的最大的响应值来判断样本的可用性，减少错误样本的干扰。在跟踪过程中，当滤波器准确地估算出目标的位置时，此时的最大检测分数是比本文档来自技高网...

【技术保护点】
1.一种基于在线样本挖掘的自适应实时跟踪方法，其特征在于，包括以下步骤：一、输入目标初始位置P0和初始尺度S0,设置窗口和调节尺度因子；二、根据第f‑1帧的目标位置Pf‑1提取待处理图片If；三、计算待处理图片If的HOG特征xf，将xf乘以窗口并进行快速傅里叶变化得到待检测样本

【技术特征摘要】
1.一种基于在线样本挖掘的自适应实时跟踪方法，其特征在于，包括以下步骤：一、输入目标初始位置P0和初始尺度S0,设置窗口和调节尺度因子；二、根据第f-1帧的目标位置Pf-1提取待处理图片If；三、计算待处理图片If的HOG特征xf，将xf乘以窗口并进行快速傅里叶变化得到待检测样本四、将待检测样本与滤波器进行卷积，获得估算的目标位置Pf、尺度Sf以及最大检测分数score；五、根据估算的目标位置Pf提取新的样本，利用最大检测分数score判断该样本是否为有用样本，当判断样本为可用样本后，采用在线更新算法更新高斯混合模型，得到在线训练样本集六、采用自适应的模型更新策略，更新滤波器2.根据权利要求1所述的基于在线样本挖掘的自适应实时跟踪方法，其特征在于：步骤五中高斯混合模型根据样本特征进行高斯混合建模得到：式中，M表示组件的个数，πl是组件l的权重，μl∈(0～1)表示平均值，I表示协方差矩阵。3.根据权利要求1所述的基于在线样本挖掘的自适应实时跟踪方法，其特征在于：步骤五中采用在线更新算法更新高斯混合模型包括替换和合并。4.根据权利要求3所述的基于在线样本挖掘的自适应实时跟踪方法，其特征在于：采用替换方式更新高斯混合模型即将权值小于阈值的组件替换成新的组件。5.根据权利要求3所述的基于在线样本挖掘的自适应实时跟踪方...

【专利技术属性】
技术研发人员：韩静，柏连发，张毅，褚秀秀，陈霄宇，黄永豪，秦一童，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32