一种基于孪生网络的目标跟踪方法技术

本发明专利技术提供了一种基于孪生网络的目标跟踪方法，包括：步骤1，读入要跟踪的图像序列或者视频的第一帧，并通过框选的方式指定所要跟踪的目标的位置；步骤2：记录跟踪目标的位置，并将目标的RGB图像输入网络，得到特征图；步骤3：读入图像序列或者视频的下一帧，选择上一帧目标位置周围的部分图像输入网络，得到特征图；步骤四：将两张特征图进行卷积操作，获得新的特征图；步骤五：在新的特征图上用小卷积核进行卷积，得到更抽象的特征图；步骤六：将最后的特征图经过全连接层，输出目标在当前帧的坐标与图像中心的偏移量以及宽高比；步骤七：根据步骤六的输出，在当前帧画出目标的位置。

A target tracking method based on twin network

【技术实现步骤摘要】
一种基于孪生网络的目标跟踪方法
本专利技术涉及一种基于孪生网络的目标跟踪方法。
技术介绍
目标跟踪(ObjectTracking)技术旨在通过计算机视觉在连续的图片序列或者视频中确定目标的位置。目标跟踪可以将不同帧联系起来，从而更加充分地利用视频或者图片序列的信息。不同于目标检测(objectdetection)，目标跟踪得到不仅仅是目标当前所在的位置，还可以分析出目标的运动以及移动轨迹，这也使得目标跟踪具有非常重要的研究价值。目标跟踪可以应用在无人驾驶当中，分析车辆或者行人的运动，通过预测轨迹判断是否存在安全隐患；以及监控人流密度大的区域，通过分析行人的行走路径判断是否有可疑人员等等。另外，在单目标跟踪中，可以通过模板更加快速地得到目标在当前帧的位置，还可以在目标检测失效的时候发生作用，找到目标的位置。目前，单目标跟踪方法分为滤波类方法、检测与跟踪相结合的方法、深度学习方法三类。其中滤波类的方法主要是依靠引入了快速傅里叶变换，从而使算法有了很大提升；检测和跟踪相结合的方法则是利用了目标检测的结果于跟踪结果进行融合；深度学习方法主要是利本文档来自技高网...

【技术保护点】
1.一种基于孪生网络的目标跟踪方法，其特征在于，包括如下步骤：/n步骤1，使用ImageNetVID、GOT数据集生成训练集和验证集；/n步骤2，使用步骤1生成的训练集和验证集训练网络N，所述网络N包括特征提取网络N

【技术特征摘要】
1.一种基于孪生网络的目标跟踪方法，其特征在于，包括如下步骤：
步骤1，使用ImageNetVID、GOT数据集生成训练集和验证集；
步骤2，使用步骤1生成的训练集和验证集训练网络N，所述网络N包括特征提取网络N1、卷积核K1、K2、K3以及全连接层C1；
步骤3，读入即将跟踪的图像序列或者视频的第一帧F1，并通过框选的方式指定所要跟踪的目标的位置L1；
步骤4：记录跟踪目标在第一帧的位置L1，并裁取视频的第一帧F1中L1位置的图像I1，将其输入特征提取网络N1，得到特征图M1；
步骤5：读入图像序列或者视频的下一帧F2，在上一帧的图像I1中选择目标位置周围的图像X输入特征提取网络N1，得到特征图M2；
步骤6：将特征图M1和特征图M2分别使用卷积核K1、K2进行卷积，得到特征图M3、M4；
步骤7：将两张特征图M3、M4进行卷积操作，得到新的特征图M5；
步骤8：在新的特征图M5上用卷积核K3进行卷积，得到更高抽象级别的特征图M6；
步骤9：将最后的特征图M6通过全连接层C1，输出结果；
步骤10：根据步骤9的输出结果，在当前帧画出目标的位置；
步骤11：重复步骤4至步骤10，直至处理完成整个视频或者图片序列。


2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1：在当前长度为p的视频或者图片序列中随机选择n帧F1，F2...Fn，Fn表示第n帧的视频或者图片；
步骤1-2，对于步骤1-1中挑选的每一帧Fi，i取值为1～n，随机选择km帧p＞kj＞i；
步骤1-3，对于步骤1-2帧中的每一帧在当前帧附近随机范围内选取区域，作为要寻找的范围x，对应的Fi中目标所在区域作为要跟踪的目标template，template在x中的位置记做L；
步骤1-4：对两个数据集ImageNetVID、GOT分别执行步骤1-1到步骤1-3，数据集ImageNetVID中的图像执行完后得到的结果作为训练集，数据集GOT中的图像执行完后得到的结果作为验证集。


3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：
步骤2-1：将训练集中的数据划分为K个一组，每组训练数据包括要跟踪的目标template、要寻找的范围x以及目标位置L；
步骤2-2：将每一组数据...

【专利技术属性】
技术研发人员：申富饶，姜少魁，李俊，赵健，
申请(专利权)人：南京大学，南京和光智能制造研究院有限公司，
类型：发明
国别省市：江苏;32