一种基于CNN的自适应粒子滤波视频目标跟踪方法及系统技术方案

一种基于CNN的自适应粒子滤波视频目标跟踪方法及系统，本发明专利技术针对目标跟踪算法在精度和鲁棒性上的要求，提出了将深度学习与模板更新相结合的目标跟踪方案。首先对视频图像进行预处理；然后构建卷积神经网络来学习图像的特征；再经过滤、PCA运算后，把待跟踪目标的特征样本输入到粒子滤波系统；最后粒子群优化粒子滤波进行特征跟踪。实验表明，改进后的算法在具有挑战的跟踪视频序列上实验，具有良好的跟踪精度和鲁棒性，能够应对目标形变、部分遮挡、光照变化等复杂条件。本发明专利技术在军事方面包括无人飞行器、精确制导、空中预警、战场监视等；民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实等上也有较为广阔的应用前景。

An Adaptive Particle Filtering Video Target Tracking Method and System Based on CNN

【技术实现步骤摘要】
一种基于CNN的自适应粒子滤波视频目标跟踪方法及系统
本专利技术涉及跟踪监测
，具体为一种基于CNN的自适应粒子滤波视频目标跟踪方法及系统。
技术介绍
目标跟踪技术是计算机视觉研究领域中最重要的研究方向之一，广泛应用于军事侦查、交通监控、人群分析、动作识别等军事和民用领域。传统目标跟踪算法分为自底向上和自顶向下的处理方法。自底向上的处理方法又称为基于判别式模型的跟踪方法，它不依赖于先验知识，直接从图像序列中获得目标的运动信息并进行跟踪。自顶向下的处理方法又称为基于生成式模型的跟踪方法，依赖于所构建的模型或先验知识，在图像序列中进行匹配运算或求解后验概率。近年出现了一系列具有代表性的目标跟踪算法，其中基于判别式模型的方法包括：多示例学习法(MIL)、跟踪学习检测算法(TLD)、多任务跟踪法(MTT)、结构化输出跟踪(Struck)等。基于生成式模型的方法有：增量视觉跟踪算法、Fragment法、视觉跟踪分解法、粒子滤波跟踪算法等。上述跟踪算法几乎都是采用人为手工设计的特征(例如直方图、HOG、SIFT特征等)，通过大量实验表明手工设计的特征具有局限性，不能适用于所有被跟踪目标，深本文档来自技高网...

【技术保护点】
1.一种基于CNN的自适应粒子滤波视频目标跟踪方法，其特征在于，包括如下步骤：步骤1，将视频转化图像帧输入系统，获取跟踪目标的前N帧视频图像，N为大于2的正整数；步骤2，对所述前N帧视频图像进行预处理，每帧视频图像的处理方法为：使用PCA白化对视频图像进行预处理，从而降低不同光谱通道之间光谱信息的相关性，得到去掉相关性后的数据，形成降维后的图像；步骤3，构建卷积神经网络来分别学习步骤2形成的各帧所述降维后的图像的特征，分别获得目标的深层次特征；步骤4，使用过滤器以待分类点为中心，对步骤3得到的各个目标的深层次特征分别采用卷积神经网络来融合谱空特征；步骤5，分别提取步骤4的中所述谱空特征进行融合...

【技术特征摘要】
1.一种基于CNN的自适应粒子滤波视频目标跟踪方法，其特征在于，包括如下步骤：步骤1，将视频转化图像帧输入系统，获取跟踪目标的前N帧视频图像，N为大于2的正整数；步骤2，对所述前N帧视频图像进行预处理，每帧视频图像的处理方法为：使用PCA白化对视频图像进行预处理，从而降低不同光谱通道之间光谱信息的相关性，得到去掉相关性后的数据，形成降维后的图像；步骤3，构建卷积神经网络来分别学习步骤2形成的各帧所述降维后的图像的特征，分别获得目标的深层次特征；步骤4，使用过滤器以待分类点为中心，对步骤3得到的各个目标的深层次特征分别采用卷积神经网络来融合谱空特征；步骤5，分别提取步骤4的中所述谱空特征进行融合，生成新的特征向量；步骤6，将步骤5生成的新的特征向量分别进行PCA运算，分别求得对应的特征向量，并这些特征向量一起初始化卷积神经网络的卷积核，得到目标区域特征；步骤7，把待跟踪目标的特征样本输入到粒子滤波系统，利用粒子群优化粒子滤波算法，重采样粒子滤波后的粒子集，增加采样粒子的多样性；计算每个采样粒子所在区域的特征图，与步骤6得到的目标区域特征进行比较，通过调整各采样粒子的权重大小和特征样本位置来近似实际的概率分布，以特征样本的期望作为适应度，从而提高标准粒子滤波算法的跟踪性能；步骤8，输出粒子群优化粒子滤波算法的全局最优位置，从而实现对目标跟踪。2.根据权利要求1所述的基于CNN的自适应粒子滤波视频目标跟踪方法，其特征在于，PCA白化是指使用PCA方法将视频图像的原始高光谱数据X映射到新的坐标下的数据X',对X'的每一个特征维度进行标准差归一化处理，处理公式为：其中std()是求标准差的函数，X”为经过PCA白化后生成的新数据。3.根据权利要求1所述的基于CNN的自适应粒子滤波视频目标跟踪方法，其特征在于，步骤4中，待分类点是指步骤2中PCA白化处理后的视频图像数据块长和宽两个维度的中间点。4.根据权利要求1所述的基于CNN的自适应粒子滤波视频目标跟踪方法，其特征在于，步骤4中，所述卷积神经网络使用3D卷积过滤器对数据块进行3D卷积操作，实现谱空特征融合；步骤5中，所述融合是指使用1D卷积将3D卷积过滤器输出的特征向量进行融合。5.根据权利要求1所述的基于CNN的自适应粒子滤波视频目标跟踪方法，其特征在于，步骤6具体包括：对步骤5中融合数据生成的新的特征向量表示为m×n的大小输入图像，将m×n大小的特征向量按大小k1*k2，步长为a的操作进行全覆盖取片，得到的取片数为s＝(m-k1+a)(n-k2+a)，这s个取片构成一个训练数据X；对各个X分别进行PCA运算，求得特征向量组Vkk，进而取代表图像样本集的特征向量组Vkk中前若干个特征向量作为主成分特征向量，用于初始化C层的卷积滤波器组V；将V中每个列向量vi重新排列成k1*k2的矩阵mi，来初始化卷积核参数，用于对进行卷积滤波，即CNN各C阶段卷积核的初值。6.一种基于CNN的自适应粒子滤波视频目标跟踪系统，其特征在于，包括如下模块：视频帧获取模块，用于将视频转化图像帧...

【专利技术属性】
技术研发人员：张莉君，陈鹏，郭辉，黄顺，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42