一种基于卷积神经网络的自适应特征选择目标跟踪方法技术

一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，包括以下步骤：1)多层CNN特征提取；2)训练相关滤波器；3)特征选择；4)目标跟踪过程如下：利用conv3‑2，conv3‑4，conv3‑8，conv3‑12，conv3‑16五层的卷积特征作为目标特征观测，经过特征选择之后分别训练五个相关滤波器wk，k∈[1，5]，然后通过加权投票最终决定目标位置(x*,y*)，权重参数wk根据学习率ρ在线更新。本发明专利技术显著降低特征维度，并在不损失特征判别能力的情况下降低运算量。

An adaptive feature selection target tracking method based on convolution neural network

An adaptive feature selection video target tracking method for convolution neural networks, including the following steps: 1) multi-layer CNN feature extraction; 2) training correlation filter; 3) feature selection; 4) target tracking process as follows: using the convolution features of conv3 2, conv3 4, conv3 8, conv3 12 and conv3 16 five layers as targets After feature selection, five correlation filters wk, K [1, 5] are trained respectively after the feature selection. Then the target location (x*, y*) is finally determined by weighted voting, and the weight parameter wk is updated online according to the learning rate rho. The invention significantly reduces the feature dimension and reduces the amount of computation without losing the ability of distinguishing features.

【技术实现步骤摘要】
一种基于卷积神经网络的自适应特征选择目标跟踪方法
本专利技术属于视频目标跟踪
，尤其是一种自适应特征选择目标跟踪方法。
技术介绍
目标跟踪是对图像序列中的兴趣目标进行特征提取，表观建模、运动分析和目标关联的过程，被广泛应用于智能交通，视觉伺服、人机交互等领域。近年来目标跟踪领域虽然取得了巨大进展，但是仍然面临很大挑战，例如目标遮挡、光照变化、姿态变化、背景复杂、低分辨率和目标快速运动等都会导致目标漂移甚至跟踪失败。随着卷积神经网络在目标检测和对象识别方面取得的巨大成功，越来越多的研究者开始着眼于将卷积神经网络特征应用于目标跟踪领域，当前基于卷积神经网络的视觉跟踪方法主要利用卷积特征作为目标观测，并以此训练分类器进行跟踪。相比于传统的手动特征提取方法，卷积网络特征具有提取简单、特征丰富、通用性强等优点，但是由于卷积特征的维度是普通特征维度的几十乃至上百倍，一方面会降低分类器在线训练和更新速度，不利于算法的实时性，另外卷积神经网络不同层和同层的不同特征图对跟踪目标的前景和背景有不同的响应，并且特征之间存在大量的冗余信息和噪声。
技术实现思路
针对现有卷积神经网络特征带来的特征维度灾难、特征冗余性、鲁棒性不高等问题，本专利技术提出一种基于卷积神经网络特征图之间距离的自适应聚类中心的特征选取方法；此方法同时融入了多个相关滤波器加权确定目标位置的方法；利用信息传播策略自适应选取特征。从而显著降低特征维度，并在不损失特征判别能力的情况下降低运算量。本专利技术解决其技术问题所采用的技术方案是：一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，所述方法包括以下步骤：1)多层CNN特征提取，过程如下：在给定(t)时刻视频帧和(t-1)时刻的目标位置pt-1首先确定目标搜索区域R(pt-1)，其尺度为M*N，然后根据VGG-Net的需要用图像插值方法将搜索区域的图像尺度进行调整，网路不同层的输出作为提取到的多层卷积特征，将提取到的特征图乘余弦窗以消除由于图像的边缘效应而导致的特征图不连续的现象；2)训练相关滤波器，过程如下：将VGG-Net五个池化层的输出作为目标的多通道卷积神经网络特征X∈RM×N×D，其中M，N，D分别表示特征图的宽度、高度和通道数，Xm,n，(m,n)∈{0,1,......,M-1}×{0,1,......,N-1}表示特征X的循环变换，在训练过程的特征的每一次变换对应的标签Y定义为以(M/2,N/2)为中心的零均值2D高斯分布：由于相关滤波器训练过程是在频域内进行的因此我们对样本X和标签Y分别做快速离散傅里叶变换FFT，式中代表快速傅里叶变换，和分别代表傅里叶变换后的目标特征和标签的频域表示，相关滤波器是通过求解式(2)得到式中λ≥0是规则化参数，相关滤波器能够通过稠密采样的方式求解权重参数因为信号处理理论可以利用矩阵的循环结构将时域内的卷积转化为每个样本在频域内的乘积运算，式(2)的优化问题存在闭环解结构，在特征的d∈[1,2,3,......,D]通道求解的模型参数有如下结构；在跟踪过程中根据前一帧目标位置pt-1我们选定被跟踪目标的搜索区域R(pt-1)，将其通过VGG-Net前向传播的结果表示为Zd：Zd＝VGG*R(pt-1),(d∈[1,2,3,......,D])⑸式中*表示图像经过VGG-Net的前向传播运算符，该特征对相关滤波器的响应表示为：其中是卷积特征Zd在频域内的表示，符号表示逆傅里叶变换，被跟踪目标位置由S最大响应位置决定：3)特征选择，过程如下：首先计算卷积特征的平均特征式中N代表来自VGG-Net不同层特征图数量，然后将卷积特征图减平均特征后再做高斯平滑处理得到Fi'，如式(9)：特征图之间的负欧式距离作为卷积神经网络特征图之间的相似度矩阵S(i,k)如式(10)：该相似度矩阵S(i,k),(i∈{1,N},k∈{1,N}且i≠k)描述的是特征图Fk作为Fi聚类中心的合适程度，所有特征图之间的相似度全部取为负值，即相似度越大表示两个特征图之间距离越近，两者更可能隶属于同一类；当i＝k时，P(i)＝S(i,i)表示特征图作为聚类中心的参考度，由于在每个特征图作为聚类中心的概率相等，所以在参考度P(i)均取为等值的；在聚类过程中特征图之间传递两种信息：响应度和可利用度，响应度r(i,k)描述特征图k适合作为特征图i的合适程度，该信息由点i传递到点k，迭代过程中更新策略如下式(12)：可利用度a(i,k)描述特征图i选择特征图k作为聚类中心的合适程度，由k传递到i，第一次迭代时响应度r(i,k)用相似度S(i,k)减去特征图i与其他所有特征图之间最大的相似度值，可利用度a(i,k)＝0，在此过程中适合做聚类中心的点其响应值r(i,k)为正，反之则为负；如式(10)所示当i＝k时，特征图的自响应值r(k,k)为特征值得参考度P(i)减与特征图i有最大相似度的值,若其值为负则表明该点不适合作为聚类中心，在后续的迭代过程中特征图之间的可利用度a(i,k)会根据公式(13)更新：候选聚类中心特征图的可利用度反映的是特征图k作为聚类中心累计可靠程度，不适合作为中心的特征图的可利用度会迅速降到0以下，由于迭代过程，即式(14)和(15)中容易出现信息震荡而导致算法不收敛现象，以此在每次迭代前都要对r(i,k)和a(i,k)加一个阻尼系数λ∈[0.5,1)：rnew(i,k)＝λ·rold(i,k)+(1-λ)·r(i,k)⒁anew(i,k)＝λ·aold(i,k)+(1-λ)·a(i,k)⒂4)目标跟踪过程如下：利用conv3-2，conv3-4，conv3-8，conv3-12，conv3-16五层的卷积特征作为目标特征观测，经过特征选择之后分别训练五个相关滤波器然后通过加权投票最终决定目标位置(x*,y*)，如式(16)：每个相关滤波器的权重wk由在当前帧目标位置决定过程中的贡献率Ck决定，如式(17)和(18)：权重参数wk根据学习率ρ在线更新：wk＝(1-ρ)wk+ρwk-1⒆。本专利技术的有益效果主要表现在：提出一种基于卷积神经网络特征图之间距离的自适应聚类中心的特征选取方法，在保证特征表达能力的同时，有效滤除了特征噪声，提高了特征的鲁棒性；利用不同层卷积特征的表达特异性训练多个相关滤波器，使来自不同卷积层的特征信息互补，然后通过在线更新滤波器权重的方式加权决定目标位置；利用信息传播策略自适应选取特征，显著降低特征维度，在不损失特征判别能力的情况下降低运算量。附图说明图1是跟踪流程。图2是不同卷积层特征可视化示意图。图3是特征余弦窗处理示意图。具体实施方式下面结合附图对本专利技术作进一步描述。参照图1～图3，一种面向卷积神经网络的自适应特征选择视频跟踪方法，包括以下步骤：1)多层CNN特征提取，过程如下：在给定(t)时刻视频帧和(t-1)时刻的目标位置pt-1首先确定目标搜索区域R(pt-1)，其尺度为M*N，一般定义为目标尺度的2倍左右，然后根据VGG-Net的需要用图像插值方法将搜索区域的图像尺度调整为224*224，网路不同层的输出作为提取到的多层卷积特征，将提取到的特征图乘余弦窗(cosine)以消除由于图像的边缘效应而导致的特征图不连续的现象；2)训练相关滤波器本文档来自技高网...

【技术保护点】
1.一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，其特征在于：所述方法包括以下步骤：1)多层CNN特征提取，过程如下：在给定(t)时刻视频帧和(t‑1)时刻的目标位置pt‑1首先确定目标搜索区域R(pt‑1)，其尺度为M*N，然后根据VGG‑Net的需要用图像插值方法将搜索区域的图像尺度进行调整，网路不同层的输出作为提取到的多层卷积特征，将提取到的特征图乘余弦窗以消除由于图像的边缘效应而导致的特征图不连续的现象；2)训练相关滤波器，过程如下：将VGG‑Net五个池化层的输出作为目标的多通道卷积神经网络特征X∈RM×N×D，其中M，N，D分别表示特征图的宽度、高度和通道数，Xm,n，(m,n)∈{0,1,......,M‑1}×{0,1,......,N‑1}表示特征X的循环变换，在训练过程的特征的每一次变换对应的标签Y定义为以(M/2,N/2)为中心的零均值2D高斯分布：

【技术特征摘要】
1.一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，其特征在于：所述方法包括以下步骤：1)多层CNN特征提取，过程如下：在给定(t)时刻视频帧和(t-1)时刻的目标位置pt-1首先确定目标搜索区域R(pt-1)，其尺度为M*N，然后根据VGG-Net的需要用图像插值方法将搜索区域的图像尺度进行调整，网路不同层的输出作为提取到的多层卷积特征，将提取到的特征图乘余弦窗以消除由于图像的边缘效应而导致的特征图不连续的现象；2)训练相关滤波器，过程如下：将VGG-Net五个池化层的输出作为目标的多通道卷积神经网络特征X∈RM×N×D，其中M，N，D分别表示特征图的宽度、高度和通道数，Xm,n，(m,n)∈{0,1,......,M-1}×{0,1,......,N-1}表示特征X的循环变换，在训练过程的特征的每一次变换对应的标签Y定义为以(M/2,N/2)为中心的零均值2D高斯分布：由于相关滤波器训练过程是在频域内进行的因此我们对样本X和标签Y分别做快速离散傅里叶变换FFT，式中代表快速傅里叶变换，x和y分别代表傅里叶变换后的目标特征和标签的频域表示，相关滤波器是通过求解式(2)得到式中λ≥0是规则化参数，相关滤波器能够通过稠密采样的方式求解权重参数因为信号处理理论可以利用矩阵的循环结构将时域内的卷积转化为每个样本在频域内的乘积运算，式(2)的优化问题存在闭环解结构，在特征的d∈[1,2,3,......,D]通道求解的模型参数有如下结构；在跟踪过程中根据前一帧目标位置pt-1我们选定被跟踪目标的搜索区域R(pt-1)，将其通过VGG-Net前向传播的结果表示为Zd：Zd＝VGG*R(pt-1),(d∈[1,2,3,......,D])(5)式中*表示图像经过VGG-Net的前向传播运算符，该特征对相关滤波器的响应表示为：其中是卷积特征Zd在频域内的表示，符号表示逆傅里叶变换，被跟踪目标位置由S最大响应位置决定：3)特征选择，过程如下：首先计算卷积特征的平均特征式中N代表来自VGG-Net不同层特征图数量，然后将卷积特征图减平均特征后再做高斯平滑处理得到F′i，如式(9)：特征图之间的负欧式距离作为卷积神经网络特征图之间的相似度矩阵S(i,k)...

【专利技术属性】
技术研发人员：周小龙，李军伟，陈胜勇，邵展鹏，产思贤，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33