一种基于平行特征金字塔神经网络的目标跟踪方法技术

本发明专利技术提出了一种基于平行特征金字塔神经网络的目标跟踪方法，该方法没有使用传统的VGG神经网络做特征提取，而是改用平行特征金字塔卷积神经网络来提取特征。平行特征金字塔卷积神经网络很好的融合了浅层神经网络的细节特征，高层网络所具有的高级语义特征以及上下文信息特征，使得提取用于跟踪的特征更加鲁棒，从而提高了目标跟踪的精度。该方法是一种实时鲁棒性的跟踪算法，在不同的跟踪场景中取得了不错的效果。

A Target Tracking Method Based on Parallel Characteristic Pyramid Neural Network

【技术实现步骤摘要】
一种基于平行特征金字塔神经网络的目标跟踪方法
本专利技术属于计算机视觉
，具体为一种基于平行特征金字塔神经网络(PFPnet，parallelFeaturePyramidNetwork)的目标跟踪方法。
技术介绍
运动目标跟踪技术一直是计算机视觉领域的研究重点，其主要内容为在指定的视频序列中估计出运动目标在每帧中的位置。随着硬件性能的不断提升，这项技术在无人控制、智能安防、交通监管等领域中有着越来越多的应用。目标跟踪的核心技术在于紧跟随时间不断产生位置以及形态变化的目标。近几年来，基于机器学习的目标跟踪技术飞速的发展，已经能够实现简单场景下的目标实时跟踪，但目标外观随时间的变化，背景的复杂多变，多目标咬合等因素依旧会对跟踪效果有所影响。目标跟踪技术的主体思路目前可被分为判别式和产生式两种。判别式目标跟踪算法将对目标的跟踪问题转换成对于跟踪目标和背景的分类问题，即通过一个二值分类器将被跟踪的目标和背景进行区分。判别式的目标跟踪结合了背景信息和被跟踪的目标信息，具有较强的鲁棒性高效性和精确性，但在判断前需要对大量的样本进行特征提取，所以很难满足实时性的要求。产生式的目标跟踪算法通过目标的表观特征来生成模型，随后再通过搜索候选目标来最小化重构误差，产生式的目标跟踪算法将跟踪重点放在了对目标本身的刻画上而忽略了背景信息，所以产生式的目标跟踪算法在目标为非刚性物体时，目标与场景中出现遮挡的情况下会出现漂移，从而影响跟踪的效果。在过去几年，以稀疏编码为代表的生成式的目标跟踪算法占据主要地位，但近年来，随着深度学习技术的兴起，以相关滤波和深度学习为代表的判别式目标跟踪算法正逐步成为主流。相关滤波原本用于信号处理领域，其主要思想为根据找寻的滤波模板对下一帧的图像作卷积操作，通过判断得到的响应图的响应值来判断目标在下一帧的位置以及区域。根据这一思想，近几年来，有了很多的基于相关滤波的目标跟踪成果。最初的MOSSE算法首次将相关滤波引入目标跟踪，但由随机采样带来的正负样本数目不足使得检测效果不好。之后提出的CSK算法通过循环位移结构增大了正负样本数目，解决了样本不足的难题，提高了跟踪的效率，但CSK算法采用的是原始图像的灰度特征，容易受到复杂图像背景、目标背景颜色相似的影响。KCF算法采用了HOG特征，体现了图像的边缘梯度信息，得到了比较好的效果。同时期还提出了增加颜色属性的CN相关滤波跟踪算法，CN算法采用自适应降维，将11维的颜色特征降低到2维，保证高效跟踪的同时提升了跟踪算法的性能。但CN算法和KCF算法为固定大小的卷积模板，从而使得算法缺乏尺度自适应功能。随后，基于多特征融合的SAMF算法被提出，SAMF算法将上述所涉及到的灰度特征、颜色属性、HOG特征等进行了融合，得到了鲁棒性更高的结果，但SAMF算法由边界效应所带来的错误的超出图像边界的正负样本影响了分类性能。DS-KCF将图像深度信息特征与颜色特征融合，提出了基于深度尺度核相关滤波的实时目标跟踪算法。深度卷积神经网络具有强大的特征提取功能，所以一经提出，就迅速在目标跟踪领域获得运用。DeepSRDCF将VGG卷积神经网络所代表的卷积特征引入目标跟踪算法，提高了精度，随后又提出了C-COT算法，在DeepSRDCF的单层神经网络的基础上实现了多层的神经网络的结合，更加充分的运用了深度特征，获得了优于DeepSRDCF的效果。鲁棒性良好的特征应当具有以下特点：首先应当具备很好的展现物体结构的细节信息特征，接着要有多层神经网络带来的高语义信息特征，最后还需要有丰富的上下文信息特征对目标遮挡、小目标等情况来进行良好的定位与分类。虽然引入了深度卷积神经网络可以提取出很好的特征，但目前提取的跟踪特征不够鲁棒。所以，需要设计一种具有更加优良鲁棒性特征的目标跟踪算法，能够充分的融合物体的细节信息特征，高级语义特征以及上下文信息特征，达到提升跟踪精度的目的。
技术实现思路
针对现有技术中存在的问题和不足，本专利技术的目的旨在提供基于平行特征金字塔神经网络的目标跟踪方法。为实现专利技术目的，本专利技术采用的技术方案如下：一种基于平行特征金字塔神经网络(PFPnet，parallelFeaturePyramidNetwork)的目标跟踪方法，包括以下步骤：步骤一：对于当前帧的图像，读取目标在当前帧的图像中的位置坐标(xt,yt)和区域(wt,ht)，将目标区域(wt,ht)进行λ倍放大，得到放大后的目标区域(wp,t,hp,t)，即(wp,t,hp,t)＝λ(wt,ht)，然后根据(xt,yt)和(wp,t,hp,t)对图像采样，得到样本集M；其中，xt为目标中心位置的横坐标，yt为目标中心位置的纵坐标，wt为目标区域的宽，ht为目标区域的高，wp,t为目标区域放大后的宽，hp,t为放大后目标区域的高；步骤二：将样本集M输入到平行特征金字塔神经网络进行特征融合，得到网络中第Q层的融合特征图，记为QM，QM有n维，表示QM中第n维的融合特征图；步骤三：将进行快速傅里叶变换、对角化操作求取相关滤波器的参数；步骤四：对步骤一得到的扩大后目标区域(wp,t,hp,t)进行多尺度缩放操作，得到多重候选区域(wp,t+1,hp,t+1)，即(wp,t+1,hp,t+1)＝α(wp,t,hp,t)，α为缩放尺度，α的取值为{0.985,0.99,0.995,1,1.005,1.01,1.015}；在多重候选区域(wp,t+1,hp,t+1)的基础上对下一帧的图像进行采样，得到7种不同缩放尺度下生成的样本集N＝{N1N2N3N4N5N6N7}，其中，N1代表以0.985的缩放尺度得到的候选区域下进行采样得到的样本集，N2代表以0.99的缩放尺度下得到的候选区域下采样得到的样本集，N3、N4、N5、N6、N7依次类推；步骤五：将样本集N＝{N1N2N3N4N5N6N7}输入到平行特征金字塔神经网络中进行特征融合，得到新的融合特征图，记为QN，QN＝(QN1QN2QN3QN4QN5QN6QN7)；其中，QN1代表样本集N1输入到平行特征金字塔神经网络进行特征融合得到的第Q层的融合特征图，且QN1有n维，表示QN1中第n维的融合特征图；QN2代表样本集N2输入到平行特征金字塔神经网络进行特征融合得到的第Q层的融合特征图，且QN2有n维，表示QN2中第n维的融合特征图；QN3、QN4、QN5、QN6、QN7依次类推；步骤六：根据步骤三中得到的相关滤波器的参数对下一帧得到的融合特征图QN＝(QN1QN2QN3QN4QN5QN6QN7)进行响应图的计算，得到其响应图，根据响应图的响应峰值确定目标在下一帧图像中的位置坐标(xt+1,yt+1)和区域(wt+1,ht+1)；其中，xt+1为目标中心位置的横坐标，yt+1为目标中心位置的纵坐标，wt+1为目标区域的宽，ht+1为目标区域的高；步骤七：重复上述步骤一到步骤六的操作，不断对下一帧图像进行处理，直到最后一帧，完成目标在所有图像帧中的位置坐标和区域确定，实现对目标的跟踪操作。根据上述的基于平行特征金字塔神经网络的目标跟踪方法，优选地，步骤三中相关滤波器的参数的计算方法如下：(1)对融合特征图进行快速傅里叶变换，将其从时域变换到频域，得到变换后的频域特征图本文档来自技高网...

【技术保护点】
1.一种基于平行特征金字塔神经网络的目标跟踪方法，其特征在于，包括以下步骤：步骤一：对于当前帧的图像，读取目标在当前帧的图像中的位置坐标(xt,yt)和区域(wt,ht)，将目标区域(wt,ht)进行λ倍放大，得到放大后的目标区域(wp,t,hp,t)，即(wp,t,hp,t)＝λ(wt,ht)，然后根据(xt,yt)和(wp,t,hp,t)对图像采样，得到样本集M；其中，xt为目标中心位置的横坐标，yt为目标中心位置的纵坐标，wt为目标区域的宽，ht为目标区域的高，wp,t为目标区域放大后的宽，hp,t为放大后目标区域的高；步骤二：将样本集M输入到平行特征金字塔神经网络进行特征融合，得到网络中第Q层的融合特征图，记为QM，

【技术特征摘要】
1.一种基于平行特征金字塔神经网络的目标跟踪方法，其特征在于，包括以下步骤：步骤一：对于当前帧的图像，读取目标在当前帧的图像中的位置坐标(xt,yt)和区域(wt,ht)，将目标区域(wt,ht)进行λ倍放大，得到放大后的目标区域(wp,t,hp,t)，即(wp,t,hp,t)＝λ(wt,ht)，然后根据(xt,yt)和(wp,t,hp,t)对图像采样，得到样本集M；其中，xt为目标中心位置的横坐标，yt为目标中心位置的纵坐标，wt为目标区域的宽，ht为目标区域的高，wp,t为目标区域放大后的宽，hp,t为放大后目标区域的高；步骤二：将样本集M输入到平行特征金字塔神经网络进行特征融合，得到网络中第Q层的融合特征图，记为QM，QM有n维，表示QM中第n维的融合特征图；步骤三：将进行快速傅里叶变换、对角化操作求取相关滤波器的参数；步骤四：对步骤一得到的扩大后目标区域(wp,t,hp,t)进行多尺度缩放操作，得到多重候选区域(wp,t+1,hp,t+1)，即(wp,t+1,hp,t+1)＝α(wp,t,hp,t)，α为缩放尺度，α的取值为{0.985,0.99,0.995,1,1.005,1.01,1.015}；在多重候选区域(wp,t+1,hp,t+1)的基础上对下一帧的图像进行采样，得到7种不同缩放尺度下生成的样本集N＝{N1N2N3N4N5N6N7}，其中，N1代表以0.985的缩放尺度得到的候选区域下进行采样得到的样本集，N2代表以0.99的缩放尺度下得到的候选区域下采样得到的样本集，N3、N4、N5、N6、N7依次类推；步骤五：将样本集N＝{N1N2N3N4N5N6N7}输入到平行特征金字塔神经网络中进行特征融合，得到新的融合特征图，记为QN，QN＝(QN1QN2QN3QN4QN5QN6QN7)；其中，QN1代表样本集N1输入到平行特征金字塔神经网络进行特征融合得到的第Q层的融合特征图，且QN1有n维，表示QN1中第n维的融合特征图；QN2代表样本集N2输入到平行特征金字塔神经网络进行特征融合得到的第Q层的融合特征图，且QN2有n维，表示QN2中第n维的融合特征图；QN3、QN4、QN5、QN6、QN7依次类推；步骤六：根据步骤三中得到的相关滤波器的参数对下一帧得到的融合特征图QN＝(QN1QN2QN3QN4QN5QN6QN7)进行响应图的计算，得到其响应图，根据响应图的响应峰值确定目标在下一帧图像中的位置坐标(xt+1,yt+1)和区域(wt+1,ht+1)；其中，xt+1为目标中心位置的横坐标，yt+1为目标中心位置的纵坐标，wt+1为目标区域的宽，ht+1为目标区域的高；步骤七：重复上述步骤一到步骤六的操作，不断对下一帧图像进行处理，直到最后一帧，完成目标在所有图像帧中的位置坐标和区域确定，实现对目标的跟踪操作。2.根据权利要求1所述的基于平行特...

【专利技术属性】
技术研发人员：谢少荣，徐海彬，李小毛，罗均，彭艳，蒲华燕，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31