基于多特征融合与自适应学习率更新的抗遮挡跟踪方法技术

本发明专利技术公开了一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，先将跟踪目标进行分块，然后对各子块区域提取FHOG特征和LAB色彩空间颜色特征并形成融合特征；在不同尺度下将各子块目标提取到的融合特征输入训练好的分类器，得到各子块的响应峰值与最大响应位置；然后根据其最大响应值进行加权平均得到最终的目标跟踪位置；最后采用基于遮挡检测的自适应学习率更新的更新策略，对分类器权重系数和目标融合特征模型进行更新，实现抗遮挡跟踪。

【技术实现步骤摘要】
基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
本专利技术属于计算机视觉
，更为具体地讲，涉及一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法。
技术介绍
目标跟踪算法通常可以分为判别式方法和生成式方法。生成式方法的主要思想是在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等。判别式方法的主要思想是通过分类器将搜索区域内的不同子区进行置信度打分，通过对响应强度层的分析来判别目标的位置。随着机器学习算法的成熟，判别式方法在目标跟踪领域越来越普遍。相关滤波类跟踪算法作为一类典型的判别式跟踪方法，针对此方面的研究目前已经取得了不错的成就，典型代表为KCF跟踪方法。但KCF跟踪方法在实际应用时仍然有一些缺陷致使其无法适应复杂环境，完成对目标的持续跟踪。比如只采用单一特征(如HOG特征等)，由于单一特征所提取的外观模型往往不具有很好的区分性，当目标发生较大形变或出现遮挡时不能很好地表征目标外观模型，容易导致跟踪漂移；无论跟踪结果是否准确，都会对检测器进行更新，从而出现在目标发生遮挡或跟踪发生漂移时，检测器被错误信息干扰，导致跟踪失败；同一运动目标在不同(方位、距离等)视角下，其尺度也有很大差异，不能满足自适应尺度变化的要求。因此，需要对针对上述问题进行相应处理，才能应用于复杂环境中从而达到较好的跟踪效果。相关的专利如申请号CN201710216523.3的专利技术专利公开了一种基于FHOG和颜色特征的目标跟踪方法及GPU加速，通过提取FHOG、color-naming基础颜色和色彩饱和度三者的组合特征，提高了目标跟踪准确率。但是该方法仍然存在一些不足，如所采用组合特征中的颜色特征在光照变化的环境下表现一般、应对跟踪目标局部形变时效果不佳、每帧都采用固定学习率进行模型更新容易因为遮挡导致跟踪漂移等问题。目前针对KCF更新策略的改进大多采用的自适应学习率方法是通过减小学习率，虽然能保证特征模型不被污染，但同时会使分类器不适应经过遮挡后目标的特征变化，导致跟踪效果变差。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，通过自适应学习率更新的更新策略，对分类器权重系数和融合特征模板进行更新，实现抗遮挡跟踪。为实现上述专利技术目的，本专利技术一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，包括以下步骤：(1)、目标框自适应分块采集被检测区域的视频，并截取连续的L帧图像，然后读取第一帧图像；在第一帧图像中，随机选取一目标，将目标所在区域作为初始目标框，然后按照预设分块数目进行自适应分块，得到多个目标块；(2)、提取各目标块的融合特征(2.1)、设置用于提取LAB空间颜色特征的κ个质心；(2.2)、将各目标块划分为M×N个4×4大小的元胞，记为元胞矩阵；(2.3)、提取各目标块的FHOG特征；在元胞矩阵中，利用距离和方向线性插值产生元胞的9维无符号梯度方向HOG特征，再对每个元胞相对其邻域元胞进行归一化截断，得到元胞对应的4×9＝36维特征向量，对36维特征向量的各行各列分别进行求和，得到13维的特征向量；同理，利用距离和方向线性插值产生元胞的18维有符号梯度方向HOG特征，对每个元胞相对其邻域元胞进行归一化截断得到元胞对应的4×18＝72维特征向量，对72维特征向量每列分别进行求和，得到18维特征向量，最终得到各目标块31维的FHOG特征；(2.4)、提取各目标块的LAB空间颜色特征；在元胞矩阵中，将元胞矩阵从RGB空间转换至LAB空间，然后对每个元胞中的每个像素的lab值与设置的κ个质心分别求欧氏距离；计算当前像素点与其周围4个元胞中心的距离，利用该距离进行线性插值，将其分配至最近的4个元胞中与其lab值欧氏距离最小的质心直方图，并归一化，从而最终得到各目标块n维的LAB空间的颜色特征；(2.5)、将FHOG特征与LAB空间颜色特征进行串联，得到各目标块(31+n)维的融合特征，记为i表示目标块的编号；(3)、求解各目标块的分类器f；利用核空间的岭回归求解各目标块的分类器f，在求解过程中，回归系数α在对偶空间的解为：其中，表示第一帧中第i个目标块的分类器权重系数，是核矩阵的第一行，为回归目标，λ为岭回归的正则项；选用高斯核，其高斯核函数为：其中，σ为高斯核函数的带宽，F-1表示表示傅里叶逆变换，表示第一帧中第i个目标块的融合特征的第k个通道分量，表示的傅里叶变换，表示的共轭，⊙表示对应位置元素相乘；(4)、更新各目标块的融合特征模板与分类器权重系数(5)、对后续帧中的目标块进行多尺度检测；(5.1)、设置分类器的检测尺度：scale_step、1和1/scale_step；(5.2)、分类器按照三个不同检测尺度对后续帧中的目标块进行多尺度检测；(5.2.1)、读取当前帧图像，以上一帧跟踪目标的位置提取当前帧图像的目标块；(5.2.2)、将当前帧图像的每个目标块按照步骤(2)所述方法提取三个不同检测尺度下的融合特征，其中，第i个目标块提取的融合特征记为j＝2,3,…,L代表当前帧编号，λ＝1,2,3代表三个不同尺度；(5.2.3)、将融合特征模板和融合特征输入至分类器，计算出每个目标块在三个检测尺度下的特征响应图特征响应图的计算过程为：先计算其中，表示当前帧中第i个目标块在不同尺度下与的核相关傅里叶变换；再将进行傅里叶逆变换，得到M×N大小的特征响应图(5.2.4)、提取各个特征响应图中最大响应值及对应位置；然后选出各个目标块在三个检测尺度下的最大响应值然后输出对应的尺度、特征响应图融合特征和位置(6)、利用自适应加权算法计算当前帧中跟踪目标的最终位置；(6.1)、计算当前帧中各目标块的权值系数(6.2)、计算当前帧中跟踪目标的最终位置(xj,yj)；其中，(xj-1,yj-1)表示上一帧中跟踪目标的最终位置；(7)、构建各个目标块的平均峰值相关能量集合；(7.1)、为每一个目标块构建一个平均峰值相关能量集合APCEi；(7.2)、计算当前帧中各目标块的特征响应图的平均峰值相关能量；其中，表示当前帧中第i个目标块的特征响应图的平均峰值相关能量，分别表示当前帧中第i个目标块的特征响应图的最大、最小响应值，表示当前帧中第i个目标块的特征响应图的第m行n列的响应值，m＝1,2,…,M，n＝1,2,…,N，mean(·)表示取平均值；(7.3)、判断平均峰值相关能量集合APCEi中的元素是否小于等于l，l＜＜L，如果满足，则将放入至APCEi，然后跳转至步骤S9；否则，保持APCEi不变，然后进入步骤S8；(8)、目标块遮挡检测；本文档来自技高网...

【技术保护点】
1.一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，包括以下步骤：/n(1)、目标框自适应分块/n采集被检测区域的视频，并截取连续的L帧图像，然后读取第一帧图像；/n在第一帧图像中，随机选取一目标，将目标所在区域作为初始目标框，然后按照预设分块数目进行自适应分块，得到多个目标块；/n(2)、提取提取各目标块的融合特征/n(2.1)、设置用于提取LAB空间颜色特征的κ个质心；/n(2.2)、将各目标块划分为M×N个4×4大小的元胞，记为元胞矩阵；/n(2.3)、提取各目标块的FHOG特征与LAB空间颜色特征，再将FHOG特征与LAB空间颜色特征进行串联，得到各目标块(31+n)维的融合特征，记为

【技术特征摘要】
1.一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，包括以下步骤：
(1)、目标框自适应分块
采集被检测区域的视频，并截取连续的L帧图像，然后读取第一帧图像；
在第一帧图像中，随机选取一目标，将目标所在区域作为初始目标框，然后按照预设分块数目进行自适应分块，得到多个目标块；
(2)、提取提取各目标块的融合特征
(2.1)、设置用于提取LAB空间颜色特征的κ个质心；
(2.2)、将各目标块划分为M×N个4×4大小的元胞，记为元胞矩阵；
(2.3)、提取各目标块的FHOG特征与LAB空间颜色特征，再将FHOG特征与LAB空间颜色特征进行串联，得到各目标块(31+n)维的融合特征，记为i表示目标块的编号；
(3)、求解各目标块的分类器f；
利用核空间的岭回归求解各目标块的分类器f，在求解过程中，回归系数α在对偶空间的解为：



其中，表示第一帧中第i个目标块的分类器权重系数，是核矩阵的第一行，为回归目标，λ为岭回归的正则项；

选用高斯核，其高斯核函数为：



其中，σ为高斯核函数的带宽，F-1表示表示傅里叶逆变换，表示第一帧中第i个目标块的融合特征的第k个通道分量，表示的傅里叶变换，表示的共轭，⊙表示对应位置元素相乘；
(4)、更新各目标块的融合特征模板与分类器权重系数






(5)、对后续帧中的目标块进行多尺度检测；
(5.1)、设置分类器的检测尺度：scale_step、1和1/scale_step；
(5.2)、分类器按照三个不同检测尺度对后续帧中的目标块进行多尺度检测；
(5.2.1)、读取当前帧图像，以上一帧跟踪目标的位置提取当前帧图像的目标块；
(5.2.2)、将当前帧图像的每个目标块按照步骤(2)所述方法提取三个不同检测尺度下的融合特征，其中，第i个目标块提取的融合特征记为代表当前帧编号，λ＝1,2,3代表三个不同尺度；
(5.2.3)、将融合特征模板和融合特征输入至分类器，计算出每个目标块在三个检测尺度下的特征响应图
特征响应图的计算过程为：先计算其中，表示当前帧中第i个目标块在不同尺度下与的核相关傅里叶变换；再将进行傅里叶逆变换，得到M×N大小的特征响应图
(5.2.4)、提取各个特征响应图中最大响应值及对应位置；然后选出各个目标块在三个检测尺度下的最大响应值然后输出对应的尺度、特征响应图融合特征和位置
(6)、利用自适应加权算法计算当前帧中跟踪目标的最终位置；
(6.1)、计算当前帧中各目标块的权值系数



(6.2)、计算当前帧中跟踪目标的最终位置(xj,yj)；



其中，(xj-1,yj-1)表示上一帧中跟踪目标的最终位置。
(7)、构建各个目标块的平均峰值相关能量集合；
(7.1)、为每一个目标块构建一个平均峰值相关能量集合...

【专利技术属性】
技术研发人员：蔡东升，黄琦，章文旭，李坚，胡维昊，井实，易建波，孙敏，张真源，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51