一种基于自适应深度特征滤波器的多场景下目标跟踪方法技术

一种基于自适应深度特征滤波器的多场景下目标跟踪方法，将原始图像的目标区域从RGB空间转换到颜色命名空间当中，减小颜色变化的干扰，然后计算目标区域的前景概率图，根据前景概率图使用前景区域提取到的特征进行训练，以缓解边界效应，有效抑制背景中的噪声，使得本发明专利技术能够自适应地提取目标特征。本发明专利技术使用多层深度特征分别在相应的相关滤波器中进行训练，并且自适应地根据跟踪效果、滤波器稳定性、历史响应等信息更新相应深度特征滤波器的权重，在不同场景中引导跟踪模型自适应地选择有用的深度特征，能够在多种复杂场景中鲁棒地跟踪目标。相比于现有技术，本发明专利技术具有鲁棒性高的优点，能够在多种复杂场景中准确地进行目标跟踪。

A Target Tracking Method in Multi-Scene Based on Adaptive Depth Feature Filter

【技术实现步骤摘要】
一种基于自适应深度特征滤波器的多场景下目标跟踪方法
本专利技术属于计算机视觉
，涉及多媒体技术中的视频目标跟踪，为一种基于自适应深度特征滤波器的多场景下目标跟踪方法，通过使用深度特征相关滤波器，自适应地在多种复杂场景中鲁棒地跟踪目标。
技术介绍
视频目标跟踪任务是使用第一帧中已经标记的目标区域信息，自动化地预测后续帧中的目标区域信息，这些信息包括了目标区域的位置和大小。视频目标跟踪是广大科研人员重点关注的领域之一，并且已经在现实生活中取得了诸如眼球追踪、自动驾驶、智能监控等许多实际的应用。总的来说，根据目标跟踪模型的不同，目标跟踪算法大体上可以分为基于生成式模型的跟踪和基于判别式模型的跟踪。一般而言，典型的基于生成式模型的目标跟踪方法首先进行初始化以确定目标区域的状态，然后对当前帧的目标区域进行建模作为当前区域的特征表述，最后在下一帧中使用滑动窗口搜索候选目标，选择与上帧中目标区域模型最相似的窗口作为新的目标区域，mean-shift和粒子滤波便属于这种跟踪模型。与生成式模型不同，判别式模型区分了前景和背景信息，通过训练分类器分离背景和前景目标，跟踪结果更为鲁棒，也成为广泛使用的跟踪方法。诸如KCF、C-COT便属于这种跟踪模型。但是，现有的目标跟踪方法存在许多缺陷。第一，现有跟踪方法大多在训练时使用循环矩阵来获取正负样例，这样会引入边界信息从而造成很强的边界效应。汉明窗能在一定程度上解决这个问题，但是会屏蔽掉背景中的关联信息，并且当前景物体不分布在中心时会造成模型漂移。第二，传统的滤波模型直接使用颜色直方图、HOG等手工设计特征进行训练，这些低层次的信息在光照突变、非刚性形变等复杂条件下表现并不好。深度特征能够从更加抽象的层次对目标进行表示，但目前大多数方法仅使用单层神经网络进行特征提取，其他使用多层深度特征的方法也不能很好的与滤波模型融合。第三，目前的使用多层深度特征滤波器的跟踪方法通常对不同层的深度特征滤波器分配固定的权重。由于低层深度特征能够表示物体轮廓、边缘等低维信息，高层深度特征表示语义信息，因此在面对非刚性形变、遮挡等不同场景时，不同层深度特征的重要性也不同，固定的权重无法发挥深度特征强大的表示能力。第四，目前的跟踪方法通常设置固定的模型学习率来进行模型更新，在目标发生快速变化时会由于模型更新不及时而产生漂移，在发生漂移时又会由于更新过慢而加速错误在模型中的传播。
技术实现思路
本专利技术要解决的问题是：现有的视频目标跟踪技术存在的边界效应，不能很好地融合深度特征，深度特征滤波器权重固定，模型学习率固定，不能适应多种复杂场景的缺点。本专利技术的技术方案为：一种基于自适应深度特征滤波器的多场景下目标跟踪方法，在视频目标跟踪过程中对视频帧进行处理，实现目标跟踪，包括以下步骤：1)生成训练样例：第一帧的训练样例为手工标注的跟踪目标区域，后续帧的训练样例是预测出的目标区域，在训练样例上使用循环矩阵生成正样例和负样例，用于训练深度特征滤波器；2)自适应地提取前景目标：先将原始视频帧图像的RGB颜色空间转换到颜色命名空间当中，然后在颜色命名空间当中计算颜色命名分布直方图，每个像素的前景概率使用颜色命名分布直方图近似计算，由贝叶斯准则推导出来，通过对先验概率进行近似化表示，通过对每个像素计算前景概率生成前景概率图，确定前景目标区域；3)深度特征滤波器的训练和目标区域的位置计算：使用VGGNet-19的第3、4、5层卷积层分别对训练样例进行特征提取，仅选取前景目标区域提取到的深度特征训练对应的相关滤波器，每一层的深度特征分别有一个对应的相关滤波器，针对各层深度特征，分别使用训练好的滤波器在当前处理的视频帧中计算响应图，各个响应图加权融合后生成最终响应图，最终响应图中响应最大的位置为目标区域的预测位置；4)自适应地更新深度特征滤波器权重：根据深度特征滤波器产生的响应计算对应的损失函数，用一段时间周期内各个滤波器损失的均值和标准差建立高斯分布，以此来估计这段时间周期内各个滤波器的稳定性，并使用滤波器的稳定性因子来构建遗失函数，通过最小化遗失函数来自适应地确定新的滤波器权重；5)自适应地更新学习模型；分别计算前景概率模型和深度特征滤波器模型的置信度，根据置信度的高低自适应地调整相应模型的学习速率；6)对目标区域进行尺度估计：由于目标区域的大小会发生改变，单独使用一维尺度相关滤波器来估计目标区域的尺度，在预测的目标区域处采用不同的尺度变换，将采集到的不同尺度块送入尺度滤波器，使用响应最大的尺度作为目标区域的预测尺度，预测位置和预测尺度作为目标区域的预测结果。进一步的，步骤2)中前景概率图的计算方式具体为：2.1)将原始图像x0位置处的RGB颜色空间映射到颜色命名空间中，所述映射为：其中，i表示各个语义颜色通道，x表示像素在原始图像中的位置，G为高斯函数，σ为其标准差，Ωc(x0)表示以x0为中心半径为c的一片区域，Φi(x)表示位置x处的像素属于第i个颜色通道的概率；2.2)在转换到颜色命名空间的图像L中计算某片区域Ω的直方图，计算方式为：其中，Ω表示图像L中的某片区域，F和B分别表示图像L的前景区域和背景区域，δ为狄拉克函数，binx表示统计区间，L(x)表示颜色命名图像L中位置x处的像素值。2.3)分别对前景区域F和背景区域B计算颜色命名直方图，由贝叶斯准则可以计算出x处为前景区域的概率为：对先验概率进行近似化表示，后验概率可以通过统计直方图进行计算，因此前景和背景的先验概率近似表示为：其中F和B表示前景区域和背景区域的基数面积，则区域属于前景区域的概率为：通过在目标区域中各个像素计算前景概率，即可生成前景概率图。作为优选方式，步骤3)中，仅使用前景概率图中前景概率较高的区域提取到的特征训练深度特征滤波器，每一层的深度特征分别有一个对应的相关滤波器。使用前景概率图中前景区域提取的特征比直接使用整个区域的特征更加鲁棒，缓解了边界效应。每层深度特征分别对应一个相关滤波器，相比于融合多层深度特征之后使用单个相关滤波器，更能发挥深度特征强大的表达能力。进一步的，步骤4)中，滤波器权重更新的具体方式为：4.1)假定第t帧画面在处产生的响应值为为产生的响应矩阵，第k个滤波器预测结果的损失函数为：4.2)在△t的时间周期内，第k个滤波器的损失可以通过平均值为标准差为的高斯函数进行建模：4.3)在△t的时间周期内，通过历史损失的均值和标准差来衡量该滤波器的稳定性，该滤波器的稳定性因子计算为：通过稳定性因子来构建该滤波器的遗失函数为：其中，γ为尺度因子，g为当前遗失函数在时域中的最大半径。通过将上式最小化，该级深度特征滤波器的新权重计算为：其中，ct为尺度因子。进一步的，步骤5)中前景概率模型置信度的计算采用相邻两帧的平均像素差：其中，为第t帧原始图像(m,n)处的像素值，MN为原始图像的基数面积。进一步的，步骤5)中深度特征滤波器模型置信度的计算采用相关滤波峰旁比：其中，max(ft)为第t帧响应图的最大响应值，μt和δt分别为响应值的均值和方差。进一步的，步骤5)中根据相邻两帧平均像素差的取值来调整前景概率模型的学习速率，预先定义阈值和将前景概率模型的状态分隔为：稳定状态、相对稳定状态、不稳定状态，根据每个不同的状态本文档来自技高网...

【技术保护点】
1.一种基于自适应深度特征滤波器的多场景下目标跟踪方法，其特征是在视频目标跟踪过程中对视频帧进行处理，实现目标跟踪，包括以下步骤：1)生成训练样例：第一帧的训练样例为手工标注的跟踪目标区域，后续帧的训练样例是预测出的目标区域，在训练样例上使用循环矩阵生成正样例和负样例，用于训练深度特征滤波器；2)自适应地提取前景目标：先将原始视频帧图像的RGB颜色空间转换到颜色命名空间当中，然后在颜色命名空间当中计算颜色命名分布直方图，每个像素的前景概率使用颜色命名分布直方图近似计算，由贝叶斯准则推导出来，通过对先验概率进行近似化表示，通过对每个像素计算前景概率生成前景概率图，确定前景目标区域；3)深度特征滤波器的训练和目标区域的位置计算：使用VGGNet‑19的第3、4、5层卷积层分别对训练样例进行特征提取，仅选取前景目标区域提取到的深度特征训练对应的相关滤波器，每一层的深度特征分别有一个对应的相关滤波器，针对各层深度特征，分别使用训练好的滤波器在当前处理的视频帧中计算响应图，各个响应图加权融合后生成最终响应图，最终响应图中响应最大的位置为目标区域的预测位置；4)自适应地更新深度特征滤波器权重：根据深度特征滤波器产生的响应计算对应的损失函数，用一段时间周期内各个滤波器损失的均值和标准差建立高斯分布，以此来估计这段时间周期内各个滤波器的稳定性，并使用滤波器的稳定性因子来构建遗失函数，通过最小化遗失函数来自适应地确定新的滤波器权重；5)自适应地更新学习模型；分别计算前景概率模型和深度特征滤波器模型的置信度，根据置信度的高低自适应地调整相应模型的学习速率；6)对目标区域进行尺度估计：由于目标区域的大小会发生改变，单独使用一维尺度相关滤波器来估计目标区域的尺度，在预测的目标区域处采用不同的尺度变换，将采集到的不同尺度块送入尺度滤波器，使用响应最大的尺度作为目标区域的预测尺度，预测位置和预测尺度作为目标区域的预测结果。...

【技术特征摘要】
1.一种基于自适应深度特征滤波器的多场景下目标跟踪方法，其特征是在视频目标跟踪过程中对视频帧进行处理，实现目标跟踪，包括以下步骤：1)生成训练样例：第一帧的训练样例为手工标注的跟踪目标区域，后续帧的训练样例是预测出的目标区域，在训练样例上使用循环矩阵生成正样例和负样例，用于训练深度特征滤波器；2)自适应地提取前景目标：先将原始视频帧图像的RGB颜色空间转换到颜色命名空间当中，然后在颜色命名空间当中计算颜色命名分布直方图，每个像素的前景概率使用颜色命名分布直方图近似计算，由贝叶斯准则推导出来，通过对先验概率进行近似化表示，通过对每个像素计算前景概率生成前景概率图，确定前景目标区域；3)深度特征滤波器的训练和目标区域的位置计算：使用VGGNet-19的第3、4、5层卷积层分别对训练样例进行特征提取，仅选取前景目标区域提取到的深度特征训练对应的相关滤波器，每一层的深度特征分别有一个对应的相关滤波器，针对各层深度特征，分别使用训练好的滤波器在当前处理的视频帧中计算响应图，各个响应图加权融合后生成最终响应图，最终响应图中响应最大的位置为目标区域的预测位置；4)自适应地更新深度特征滤波器权重：根据深度特征滤波器产生的响应计算对应的损失函数，用一段时间周期内各个滤波器损失的均值和标准差建立高斯分布，以此来估计这段时间周期内各个滤波器的稳定性，并使用滤波器的稳定性因子来构建遗失函数，通过最小化遗失函数来自适应地确定新的滤波器权重；5)自适应地更新学习模型；分别计算前景概率模型和深度特征滤波器模型的置信度，根据置信度的高低自适应地调整相应模型的学习速率；6)对目标区域进行尺度估计：由于目标区域的大小会发生改变，单独使用一维尺度相关滤波器来估计目标区域的尺度，在预测的目标区域处采用不同的尺度变换，将采集到的不同尺度块送入尺度滤波器，使用响应最大的尺度作为目标区域的预测尺度，预测位置和预测尺度作为目标区域的预测结果。2.根据权利要求1所述的一种基于自适应深度特征滤波器的多场景下目标跟踪方法，其特征是步骤2)中前景概率图的计算方式具体为：2.1)将原始图像x0位置处的RGB颜色空间映射到颜色命名空间中，所述映射为：其中，i表示各个语义颜色通道，x表示像素在原始图像中的位置，G为高斯函数，σ为其标准差，Ωc(x0)表示以x0为中心半径为c的一片区域，Φi(x)表示位置x处的像素属于第i个颜色通道的概率；2.2)在转换到颜色命名空间的图像L中计算某片区域Ω的直方图，计算方式为：其中，Ω表示图像L中的某片区域，F和B分别表示图像L的前景区域和背景区域，δ为狄拉克函数，binx表示统计区间，L(x)表示颜色命名图像L中位置x处的像素值；2.3)分别对前景区域F和背景区域B计算颜色命名直方图，由贝叶斯准则计算出x...

【专利技术属性】
技术研发人员：武港山，徐鹏飞，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32