基于多重孪生神经网络与区域神经网络的目标跟踪方法技术

基于多重孪生神经网络与区域神经网络的目标跟踪方法，涉及计算机视觉技术。通过使用预训练的多重孪生神经网络，将目标跟踪问题转化为可更新的实例检索问题。同时采用预训练的区域神经网络，以解决目标丢失后的重检测问题。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪的。

【技术实现步骤摘要】
基于多重孪生神经网络与区域神经网络的目标跟踪方法
本专利技术涉及计算机视觉技术，尤其是涉及基于多重孪生神经网络与区域神经网络的目标跟踪方法。
技术介绍
人类感知世界一个重要来源就通过图像信息，研究表明人类获取外界信息中大约有80％～90％的信息来自于人类眼睛获取的图像信息。目标跟踪是图像信息理解中的一个常见视觉任务。目标跟踪在实际生活中有着丰富的应用，比如可以在用户提供的视频序列中对感兴趣的目标进行实时的跟踪；会议或会场管理人员可以利用来自动化的目标跟踪系统分析会场人员的行动模式从而做出更好的决策。因此，运用计算机视觉实现自动目标跟踪具有重要的现实意义。目标跟踪是计算机视觉研究领域的热点之一，过去几十年以来，目标跟踪的研究取得了长足的发展。从经典的均值漂移(Meanshift)、粒子滤波(ParticleFilter)跟踪算法，到基于检测(TrackingByDetection)的跟踪算法及相关滤波(CorrelationFilter)的跟踪算法，再到最近基于深度学习(DeepLearning)的跟踪算法。最近主要取得的研究进展主要是基于相关滤波的跟踪算法以及基于深度学习的跟踪算法。本文档来自技高网...

【技术保护点】
1.基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于包括以下步骤：1)给定一段视频序列，其中第一帧包含已标记的目标，定义原始输入图像帧的尺寸、目标的原始尺寸Co以及目标的搜索范围Cs；其中，

【技术特征摘要】
1.基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于包括以下步骤：1)给定一段视频序列，其中第一帧包含已标记的目标，定义原始输入图像帧的尺寸、目标的原始尺寸Co以及目标的搜索范围Cs；其中，代表一个矩形区域；目标的原始尺寸Co和目标的搜索范围Cs将作为多重孪生神经网络的输入，用于进行基于实例检索的目标跟踪，原始输入图像帧的尺寸Cf，将作为区域神经网络的输入，用于进行实现丢失目标的重检测；2)基于步骤1)中定义的图像帧的尺寸Cf、目标的原始尺寸Co以及目标的搜索范围Cs，多重孪生神经网络有三个输入，分别为第一帧目标、当前面目标模板和当前帧搜索范围，分别将第一帧目标以及面目标模板输入尺寸定义为Co，当前帧搜索范围输入尺寸定义为Cs；所述多重孪生神经网络使用视觉识别数据集ILSVRC_DET进行预训练，ILSVRC_DET数据集包含45万张图片，总共拥有30个类别，该数据集中的45万张图片被标记有类别信息与目标位置，多重孪生神经网络用于目标检索，第一个卷积层拥有96个11×11×3的卷积核，并输出96个原始图像的特征图，之后采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层的，所述多重孪生神经网络采用实例检索的方法进行目标跟踪并采用全卷积结构和多分支并行结构，因此，用多重孪生神经网络进行目标跟踪比起一般的基于神经网络的目标跟踪方法有更好地实时性和分辨度，训练过程中采用的损失函数l为：l(y,v)＝log(1+exp(-yv))其中，y被称为目标标注，每一帧对应了一个目标标注，采用目标分割的方法进行目标标注，v代表一对样本之间的相似分数；3)把步骤1)中定义的原始输入图像帧的尺寸Cf用于定义区域神经网络的输入尺寸，区域神经网络有且仅有一个输入并在仅在目标丢失的情况下使用，区域神经网络使用视觉识别数据集ILSVRC中常见得20个目标种类进行预训练，用于对丢失的目标进行重检测；4)将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj；5)对步骤4)中得到的候选...

【专利技术属性】
技术研发人员：王菡子，刘祎，严严，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35