【技术实现步骤摘要】
基于三重卷积网络和感知干扰学习的目标跟踪方法和系统
本专利技术属于图像处理和机器视觉中的目标跟踪研究领域，更具体地，涉及一种基于三重卷积网络和感知干扰学习的目标跟踪方法和系统。
技术介绍
作为计算机视觉领域的一个重要研究方向，目标跟踪的主要任务是在给定待跟踪目标初始位置的情况下，在视频的后续帧准确可靠地预测目标的位置和大小。目前目标跟踪算法存在很多挑战性因素，主要可以分为内在因素和外在因素。内在因素是目标自身的变化，例如目标的快速运动、旋转、形变等。外在因素主要是外部环境的变化，例如目标被部分或者完全遮挡，在目标区域中光照变化剧烈等。目标跟踪是在视频帧中定位感兴趣的目标的过程，现有的跟踪器可以分为传统的视觉跟踪算法和深度学习跟踪算法。最近几年，深度学习在计算机视觉各大领域都取得了不错的效果，一些基于深度学习的跟踪器应运而生，并且跟踪性能取得了很大改善。现有的基于深度学习的跟踪算法效果较好的是孪生神经网络系列跟踪算法，大部分基于孪生网络的跟踪算法的输入都是上下帧，因此当前一帧跟错的时候后续帧都会受到影响。同时大部分基于孪生网络的跟踪算法对于类内干扰都比较难区分。由此...
【技术保护点】
1.一种基于三重卷积网络和感知干扰学习的目标跟踪方法，其特征在于，包括：将待跟踪视频的第一帧、当前帧和前一帧输入三重卷积网络进行目标跟踪，得到目标跟踪结果；所述三重卷积网络的训练包括：构建由第一帧分支，模板分支和检测分支组成的三重卷积网络，第一帧分支与检测分支的输出连接到一个交叉相关网络，模板分支与检测分支的输出连接到另一个交叉相关网络，两个交叉相关网络结构相同；从数据集中获取正样本对与负样本对得到多个样本对组成的训练集；所述数据集中每个视频中的每一帧含有一个或多个目标；利用训练集训练三重卷积网络，训练集中每个样本对的两张图像分别输入模板分支与检测分支，或者分别输入第一帧分...
【技术特征摘要】
1.一种基于三重卷积网络和感知干扰学习的目标跟踪方法，其特征在于，包括：将待跟踪视频的第一帧、当前帧和前一帧输入三重卷积网络进行目标跟踪，得到目标跟踪结果；所述三重卷积网络的训练包括：构建由第一帧分支，模板分支和检测分支组成的三重卷积网络，第一帧分支与检测分支的输出连接到一个交叉相关网络，模板分支与检测分支的输出连接到另一个交叉相关网络，两个交叉相关网络结构相同；从数据集中获取正样本对与负样本对得到多个样本对组成的训练集；所述数据集中每个视频中的每一帧含有一个或多个目标；利用训练集训练三重卷积网络，训练集中每个样本对的两张图像分别输入模板分支与检测分支，或者分别输入第一帧分支与检测分支；模板分支与第一帧分支分别通过各自的相关滤波层提取表观模型特征图，将两个表观模型特征图分别与检测分支的特征图在交叉相关网络进行交叉相关，得到两个响应图；分别计算两个响应图的损失进行反向传播，由此得到训练好的三重卷积网络。2.如权利要求1所述的一种基于三重卷积网络和感知干扰学习的目标跟踪方法，其特征在于，所述数据集中的每一个目标标记track-id和类别，所述正样本对为数据集中同一视频中不同的两帧图像中相同track-id对应的目标图像。3.如权利要求2所述的一种基于三重卷积网络和感知干扰学习的目标跟踪方法，其特征在于，所述负样本对包括：容易区分的负样本对，难区分的负样本对和很难区分的负样本对，所述容易区分的负样本对为目标图像与其背景图像生成的样本对；所述难区分的负样本对为不同类别的两个目标图像生成的样本对；所述很难区分的负样本对为相同类别的两个不同目标图像生成的样本对。4.如权利要求1-3任一所述的一种基于三重卷积网络和感知干扰学习的目标跟踪方法，其特征在于，所述训练集中每个样本对的两张图像均进行预处理，所述预处理包括：将训练集中每个样本对的每张图像扩充为方形图像，再将方形图像根据尺度变换得到固定大小的图像...
【专利技术属性】
技术研发人员：韩守东，夏鑫鑫，夏晨斐，黄飘，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。