一种基于孪生网络进行特征融合的目标跟踪方法技术

一种基于孪生网络进行特征融合的目标跟踪方法，包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取；步骤1.2：训练数据集的预处理；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练；步骤1.4：模型获取；模型在目标跟踪场景中的应用过程如下：步骤2.1：数据输入；步骤2.2：模板更新；步骤2.3：目标位置评估；步骤2.4：利用算法得到的评估位置，提取后续的图像对，将提取到的图像对作为模型的输入，输入到模型中，重复上述的步骤2.1‑2.4的过程，直到图像序列中所有图像都处理完为止。本发明专利技术提升鲁棒性，提升跟踪效果。

【技术实现步骤摘要】
一种基于孪生网络进行特征融合的目标跟踪方法
本专利涉及机器学习、图像处理领域，更具体的说，涉及目标跟踪、卷积神经网络、特征融合领域。
技术介绍
复杂背景下的目标跟踪技术是计算机视觉领域的核心研究课题之一，其涉及特征提取、目标识别、机器学习等多方面技术。先验知识不足是目标跟踪技术面临的最大挑战。在进行目标跟踪任务时，仅提供目标在视频第一帧中的位置信息，同时在目标跟踪过程中，会遇到目标被遮挡、光照变化、目标形变、旋转、运动模糊等一系列问题，这都极大增加了目标跟踪的难度。从1955年目标跟踪概念被提出至今，目标跟踪方法层出不穷，但是很多方法在复杂背景下的目标跟踪效果仍然不够理想。传统方法一般是利用手工设计的特征进行目标建模从而完成目标跟踪的任务，不同特征从不同角度对目标进行描述，同时不同特征又各有其优缺点，例如颜色特征对目标形变具有较高的鲁棒性，而对颜色、光照变化较为敏感；Hog特征对颜色、光照变化不敏感，却对目标形变较为敏感。近年来，随着硬件计算性能的提升，深度学习方法得到广泛应用，一些研究者开始尝试结合深度神经网络设计目标跟踪算法，如Bertinetto等人基于全卷积网络提出的端到端的方法SiameseFC以及Held等人基于深度回归网络提出的GOTURN跟踪器等。这些方法利用CNN特征对目标进行建模，但该特征受训练样本约束较大，若训练样本不够充分，将会影响对目标的建模效果，最终导致跟踪过程中目标丢失。为了将目标跟踪应用于复杂场景中，我们需要设计出一种鲁棒性更好准确率更高的目标跟踪方法。
技术实现思路
为了提升目标跟踪方法的鲁棒性，本专利技术提供一种基于孪生网络进行特征融合的目标跟踪方法，基于深度学习的特征融合策略，该方法通过对训练样本进行特征提取，并训练相关权重系数将不同的特征建模得到的表观模型进行融合，使得多个特征结合更为紧密，最终达到提升跟踪效果的目的。本专利技术解决其技术问题所采用的技术方案是：一种基于孪生网络进行特征融合的目标跟踪方法，包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；所述孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取：根据目标跟踪的应用需求，我们选取包含目标的完整视频序列作为训练集；步骤1.2：训练数据集的预处理：因为在目标跟踪过程中，输入模型的是一张只包含目标的图像块和一张包含目标以及目标周围背景的图像块，所以在模型训练前，需要对训练集进行预处理，生成符合网络输入要求的训练集；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练，步骤如下：，步骤1.3.1：为了提升训练模型的鲁棒性，采用随机读取的方式，每次读取多对图像块输入网络进行训练；步骤1.3.2：利用孪生网络结构对一组图像块(x′,z′)分别提取CNN和HOG特征，将这些特征记为x′HOG,x′CNN,z′HOG,z′CNN；步骤1.3.3：利用步骤1.3.2所提取到的特征x＇HOG和x′CNN，生成两个用于匹配的特征模板，分别记为TempCNN和TempHOG，利用公式(1)求解模板，F(T)＝‖Tx-y‖2+λ‖T‖2(1)式中T表示模板Temp，y表示期望响应，表示相关滤波操作，为了防止过拟合，在式中加入了正则项λ‖T‖2。求解得到步骤1.3.4：根据TempCNN和TempHOG以及z′HOG和z′CNN，分别生成两个特征响应图，记为RespCNN和RespHOG，利用如下公式求得特征响应图，RespCNN＝TempCNNz′CNN(2)RespHOG＝TempHOGz′HOG(3)步骤1.3.5：利用网络训练的相关权重融合响应图，将融合后的响应图记为Respmerge，融合操作用式(4)表示，Respmerge＝M(RespCNN,RespHOG)(4)式中M为融合函数，其中的融合权重均由网络训练得到；步骤1.3.6：在网络的最后设置逻辑斯谛回归层，优化最终的训练结果，根据坐标点的数据是否位于groundtruth区域设置空间上的标签，1表示位于区域内，-1表示不在区域内；训练模型使得损失函数取得最小值，记损失函数为l,argmin∑il(M(RespCNN,RespHOG),Li)(6)步骤1.4：模型获取：设置迭代次数,在模型迭代结束之后，取出最终迭代生成的模型作为目标跟踪时使用的跟踪模型；模型在目标跟踪场景中的应用过程如下：步骤2.1：数据输入：在目标跟踪过程中，模型的使用采用的是前向反馈的模式；跟踪开始，需要指定第一帧中跟踪目标的位置信息，在后续跟踪过程中，则以上一帧中通过算法评估出的目标区域为中心，取4倍的大小作为当前帧的目标搜索区域，进行跟踪；步骤2.2：模板更新：每输入一组图像对进行跟踪，都会生成新的模板，采取将历史模板和新模板结合的方法，模板融合的方法如公式(7)和(8)所示，TempCNN,new＝(1-ηc)TempCNN,old+ηcTempCNN,curr(7)TempHOG,new＝(1-ηh)TempHOG,old+ηhTempHoG,curr(8)式中ηc和ηh分别表示CNN和HOG特征模板的学习率，TempCNN,old和TempHOG,old表示旧的模板，TempCNN,curr和TempHOG,curr表示以当前帧作为输入生成的新模板，将新的模板代入式(2)和(3)中，得到式(9)和(10)：RespCNN＝TempCNN,newZ′CNN(9)RespHoG＝TempHOG,newz′HOG(10)步骤2.3：目标位置评估：根据响应图的值来确定目标的中心点的位置信息；步骤2.4：利用算法得到的评估位置，按照第一部分中步骤2.2所述的图像对提取方法，提取后续的图像对，将提取到的图像对作为模型的输入，输入到模型中，重复上述的步骤2.1-2.4的过程，直到图像序列中所有图像都处理完为止。本专利技术的技术构思为：所述的基于孪生网络进行特征融合的目标跟踪方法的意思是，利用孪生网络这一深度神经网络架构分别提取HOG和CNN特征并训练相关权重对特征进行融合，利用这一融合的结果来提升目标跟踪效果，使得跟踪方法的鲁棒性更好。因为现在很多的跟踪方法都是基于手工设计的特征实现的，忽视了深度学习这一强力的工具。深度学习可以利用大量的数据进行训练，从而得到较优的权重去描述目标，同时基于深度神经网络结构的特征融合方法通过大量数据的训练，得出的权重自适应性强，将这些权重用于特征融合，使得特征融合的结果更为优秀。本专利所提出的方法具有跟踪准确度高鲁棒性好，在GPU模式下跟踪速度快的特点。本专利技术的有益效果主要表现在：利用深度学习结构进行特征的融合，由于权重是通关大量数据学习出来的，模型的跟踪效果更佳。同时，从理论上来说，该网络架构可以进行拓展，可以融合更多的特征，使得各种特征可以更好的结合，从而构建更全面的表观模型。附图说明图1为本专利技术的网络的整体流程图。图2为本专利技术的实施例的训练集样例。图3为本专利技术中在遮挡，形变以及背景聚类的情况下的跟踪效果。图4为本专利技术中在运动模糊，目标出平面并旋转以及部分序列离开视野的跟踪效果。图5为本专利技术中在光照变化以及尺度变化的情况下的跟踪效果。图6为本专利技术中在快速移动以及低分辨的情况下的跟踪效果。图7为本专利技术中在目标在图像中旋转的情况下的跟踪效果。本文档来自技高网...

【技术保护点】
1.一种基于孪生网络进行特征融合的目标跟踪方法，其特征在于，所述方法包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；所述孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取：根据目标跟踪的应用需求，我们选取包含目标的完整视频序列作为训练集；步骤1.2：训练数据集的预处理：因为在目标跟踪过程中，输入模型的是一张只包含目标的图像块和一张包含目标以及目标周围背景的图像块，所以在模型训练前，需要对训练集进行预处理，生成符合网络输入要求的训练集；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练，步骤如下：，步骤1.3.1：为了提升训练模型的鲁棒性，采用随机读取的方式，每次读取多对图像块输入网络进行训练；步骤1.3.2：利用孪生网络结构对一组图像块(x′,z′)分别提取CNN和HOG特征，将这些特征记为x′HOG,x′CNN,z′HOG,z′CNN；步骤1.3.3：利用步骤1.3.2所提取到的特征x′HOG和x′CNN，生成两个用于匹配的特征模板，分别记为TempCNN和TempHOG，利用公式(1)求解模板，F(T)＝‖Tx‑y‖2+λ‖T‖2   (1)式中T表示模板Temp，y表示期望响应，表示相关滤波操作，为了防止过拟合，在式中加入了正则项λ‖T‖2；求解...

【技术特征摘要】
1.一种基于孪生网络进行特征融合的目标跟踪方法，其特征在于，所述方法包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；所述孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取：根据目标跟踪的应用需求，我们选取包含目标的完整视频序列作为训练集；步骤1.2：训练数据集的预处理：因为在目标跟踪过程中，输入模型的是一张只包含目标的图像块和一张包含目标以及目标周围背景的图像块，所以在模型训练前，需要对训练集进行预处理，生成符合网络输入要求的训练集；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练，步骤如下：，步骤1.3.1：为了提升训练模型的鲁棒性，采用随机读取的方式，每次读取多对图像块输入网络进行训练；步骤1.3.2：利用孪生网络结构对一组图像块(x′,z′)分别提取CNN和HOG特征，将这些特征记为x′HOG,x′CNN,z′HOG,z′CNN；步骤1.3.3：利用步骤1.3.2所提取到的特征x′HOG和x′CNN，生成两个用于匹配的特征模板，分别记为TempCNN和TempHOG，利用公式(1)求解模板，F(T)＝‖Tx-y‖2+λ‖T‖2(1)式中T表示模板Temp，y表示期望响应，表示相关滤波操作，为了防止过拟合，在式中加入了正则项λ‖T‖2；求解得到步骤1.3.4：根据TempCNN和TempHOG以及z′HOG和z′CNN，分别生成两个特征响应图，记为RespCNN和ResPHOG，利用如下公式求得特征响应图，RespCNN＝TempCNNz′CNN(2)RespHOG＝TempHOGz′HOG(3)步骤1.3.5：利用网络训练的相关权重融合响应图，将融合后的响应图记为Respmerge，融合操作用式(4)表示，Respmerge＝M(RespCNN,RespHOG)(4)式中M为融合函数，其中的融合权重均由网络训练得到；步骤1.3.6：在网络的最后设置逻...

【专利技术属性】
技术研发人员：郭东岩，赵玮瑄，崔滢，王振华，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33