一种基于时间序列多特征融合的多目标跟踪方法技术

本发明专利技术提出了一种基于时间序列多特征融合的多目标跟踪方法。本发明专利技术方法根据多目标检测算法得到跟踪目标的类别以及候选框；使用卷积网络以及相关滤波器计算移动预测中心点并筛选候选框；计算外观相似性分数；计算运动相似性分数；计算交互特征相似性分数；进行筛选后候选框在当前帧图像的跟踪框的转换，更新跟踪目标的特征信息；计算未匹配到候选框的跟踪目标的移动预测中心点以及筛选候选框；对于已存在的跟踪目标进行关联未匹配的候选框，构建新跟踪目标；采用交并比计算各个跟踪目标间的重叠度；将多帧图像中连续处于丢失态的跟踪目标认定为已经消失的目标。与现有技术相比，本发明专利技术提高了跟踪精度。

【技术实现步骤摘要】
一种基于时间序列多特征融合的多目标跟踪方法
本专利技术涉及计算机视觉、目标跟踪
，具体地涉及一种基于时间序列多特征融合的多目标跟踪方法。
技术介绍
目标跟踪是指在图像序列中，先检测到系统感兴趣的目标，对目标进行准确的定位，然后在目标移动的过程中不断更新目标的运动信息，从而实现对目标的持续跟踪。目标跟踪可分为多目标跟踪和单目标跟踪，单目标跟踪只关注一个感兴趣目标，其任务是设计一个运动模型或者外观模型解决尺度变换、目标遮挡、光照等因素影响，逐帧标定出感兴趣目标对应的图像位置。相较于单目标跟踪，多目标跟踪还需要解决两个额外的任务：发现并处理视频序列中新出现的目标和消失的目标；维持各个目标特定的身份。跟踪目标的初始化、频繁遮挡、目标离开检测区域、多个目标相似的外观、以及多个目标之间的交互都会给多目标跟踪增加难度。为了及时判断新出现的目标和消失的目标，多目标跟踪算法往往需要多目标检测作为算法实现的基础。近年来，随着深度学习的发展，计算机视觉领域的发展十分迅速。目标检测算法已经十分准确，且具有较高的处理速度。但在多目标跟踪领域，由于多目标跟踪的难点尚未完全解决，基于检测的数据关联算法仍然具有很大的提升空间。本专利技术的创新点在于使用相关滤波算法预测各个目标的位置，降低了检测算法的依赖度，同时提出了一个基于物体位置、外观、运动、交互多特征的LSTM(LongShort-TermMemory)网络框架，通过提取高区分度的特征模型，克服了多目标遮挡问题，提高了多目标跟踪的精度。目前，多目标跟踪领域较为流行的方式是依赖于检测器的数据关联算法，此类方法很好地解决了目标初始化、消亡、以及尺度变换等问题，但仍不能很好解决过度依赖检测器性能、多目标间相互遮挡、相似外观目标区分等问题。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种基于时间序列多特征数据关联的多目标跟踪方法。本专利技术的技术方案为一种基于时间序列多特征数据关联的多目标跟踪方法，具体包括以下步骤：步骤1：根据SSD多目标检测算法检测帧图像中的跟踪目标，通过SSD检测跟踪目标的置信度与置信度阈值的比较，统计跟踪目标的类别以及跟踪目标的候选框；步骤2：使用卷积网络提取跟踪目标在当前帧的位置框的卷积特征，通过跟踪目标的相关滤波器计算当前帧图像中各个位置的响应置信度得分，将得分最高的点定义为当前帧图像下跟踪目标的移动预测中心点，并通过移动预测中心点筛选的候选框；步骤3：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的外观相似性分数；步骤4：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的运动相似性分数；步骤5：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的交互特征相似性分数；步骤6：若处于跟踪态或者丢失态的跟踪目标匹配到候选框则将总相似性分数与匹配分数阈值比较，当总相似性分数大于匹配分数阈值则候选框转换为跟踪目标在当前帧图像的跟踪框，更新跟踪目标的外观特征、速度特征、交互特征信息；若处于跟踪态或者丢失态的跟踪目标未匹配到候选框，则通过步骤2更新跟踪目标的状态信息；步骤7：对于已存在的跟踪目标进行关联未匹配的候选框，将未匹配的候选框认定为新跟踪目标，初始化新跟踪目标，建立新跟踪目标，构建新跟踪目标的位置特征模型、外观特征模型、速度特征模型和交互特征模型，并将其状态更新为跟踪态，在后续帧图像中进行数据关联匹配跟踪；步骤8：重新检索当前帧的各个处于跟踪状态的跟踪目标，采用交并比计算各个跟踪目标间的重叠度；步骤9：将连续多帧图像中连续处于丢失态的跟踪目标认定为已经消失的目标，保存其跟踪状态的数据信息，不再对其进行数据匹配操作。作为优选，步骤1中所述帧图像为第m幅图像，步骤1中所述跟踪目标的类别数量为Nm，步骤1中所述跟踪目标的候选框为：Di,m＝{xi,m∈[li,m,li,m+lenthi,m],yi,m∈[wi,m,wi,m+widthi,m]|(xi,m,yi,m)},i∈[1,Km]其中，Km为在第m帧图像中跟踪目标的候选框数量，li,m为在第m帧图像中第i跟踪目标的候选框X轴的起点坐标，wi,m为在第m帧图像中第i跟踪目标的候选框Y轴的起点坐标，lenthi,m为在第m帧图像中第i跟踪目标的候选框的长度，widthi,m为在第m帧图像中第i跟踪目标的候选框的宽度；作为优选，步骤2中所述卷积网络为在ImageNet分类任务预训练好的VGG16网络，并通过VGG16网络提取跟踪目标位置框的第一层特征向量；通过通道c的二维特征向量的插值模型将通道c的二维特征向量转化为一维连续空间的特征向量：其中，为通道c的二维特征向量，bc定义为一个三次立方插值函数，Nc为的采样数，L为一维连续空间的特征向量的长度，Channel为通道的数量；卷积算子为：其中，yi,m是第m图像的跟踪目标i的响应值，为通道c的二维特征向量，Channel为通道的数量，通道c的一维连续空间的特征向量，是跟踪目标i在第m帧图像的通道c的相关滤波器；通过训练样本训练相关滤波器为：在给定的n个训练样本对{(yi,q,y'i,q)}(q∈[m-n,m-1])下进行训练得到，即通过最小化目标函数优化得到相关滤波器：其中，yi,m-j是第m-j图像的跟踪目标i的响应值，y'i,m-j为yi,m-j的理想高斯分布，为跟踪目标i在第m帧图像的通道c的相关滤波器，权值αj是训练样本j的影响因子，由惩罚函数w决定，通过训练得到各个通道的相关滤波器通过第m图像的跟踪目标i的响应值yi,m(l)l∈[0,L)，找到最大值yi,m(l)对应的lp,i,m：lp,i,m＝argmax(yi,m(l))l∈[0,L)其中，L为一维连续空间的特征向量的长度；将lp,i,m转化为通道的二维特征向量的点还原为二维坐标后，映射为当前帧下的坐标点pi,m＝(xp,i,m,yp,i,m)，即为在第m帧图像中第i跟踪目标Ti的移动预测中心点；若跟踪目标Ti处于跟踪态，仅选择预测位置区域周围的候选框进行后续的目标数据匹配：设跟踪目标Ti的前一帧长度为lenthi,m-1，宽度为widthi,m-1，第m帧图像中第i跟踪目标Ti的移动预测中心点为pi,m＝(xp,i,m,yp,i,m)，在第m帧图像中第i跟踪目标的候选框中心点为ci,m＝(li,m+lenthi,m/2,wi,m+widthi,m/2)i∈[1,Km]，当候选框中心点与移动预测中心点的距离满足条件：d(pi,m,ci,m)＝(xp,i,m-li,m-lenthi,m/2)2+(yp,i,m-wi,m-widthi,m/2)2＜min(lenthi,m-1/2,widthi,m-1/2)则将满足条件的候选框进行后续的目标数据匹配；若跟踪目标Ti处于丢失态，选择在其消失前一帧的位置附近筛选候选框：取其消失前一帧时移动预测中心点为ti,m＝(xt,i,m,yt,i,m)，长度为lenthi,m-1，宽度为widthi,m-1，当候选框中心与消失中心距离d(ti,ci,m)满足下述条件时：d(ti,m,ci,m)＝(xt,i,m-li,m-lenthi,m/2)2+(yt,i,m-wi,m-widthi,m/2)2＜min(lenthi,m-1/2,widthi,m-1/2)则将满足条件本文档来自技高网...

【技术保护点】
1.一种基于时间序列多特征融合的多目标跟踪方法，其特征在于，包括以下步骤：步骤1：根据SSD多目标检测算法检测帧图像中的跟踪目标，通过SSD检测跟踪目标的置信度与置信度阈值的比较，统计跟踪目标的类别以及跟踪目标的候选框；步骤2：使用卷积网络提取跟踪目标在当前帧的位置框的卷积特征，通过跟踪目标的相关滤波器计算当前帧图像中各个位置的响应置信度得分，将得分最高的点定义为当前帧图像下跟踪目标的移动预测中心点，并通过移动预测中心点筛选的候选框；步骤3：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的外观相似性分数；步骤4：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的运动相似性分数；步骤5：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的交互特征相似性分数；步骤6：若处于跟踪态或者丢失态的跟踪目标匹配到候选框则将总相似性分数与匹配分数阈值比较，当总相似性分数大于匹配分数阈值则候选框转换为跟踪目标在当前帧图像的跟踪框，更新跟踪目标的外观特征、速度特征、交互特征信息；若处于跟踪态或者丢失态的跟踪目标未匹配到候选框，则通过步骤2更新跟踪目标的状态信息；步骤7：对于已存在的跟踪目标进行关联未匹配的候选框，将未匹配的候选框认定为新跟踪目标，初始化新跟踪目标，建立新跟踪目标，构建新跟踪目标的位置特征模型、外观特征模型、速度特征模型和交互特征模型，并将其状态更新为跟踪态，在后续帧图像中进行数据关联匹配跟踪；步骤8：重新检索当前帧的各个处于跟踪状态的跟踪目标，采用交并比计算各个跟踪目标间的重叠度；步骤9：将连续多帧图像中连续处于丢失态的跟踪目标认定为已经消失的目标，保存其跟踪状态的数据信息，不再对其进行数据匹配操作。...

【技术特征摘要】
1.一种基于时间序列多特征融合的多目标跟踪方法，其特征在于，包括以下步骤：步骤1：根据SSD多目标检测算法检测帧图像中的跟踪目标，通过SSD检测跟踪目标的置信度与置信度阈值的比较，统计跟踪目标的类别以及跟踪目标的候选框；步骤2：使用卷积网络提取跟踪目标在当前帧的位置框的卷积特征，通过跟踪目标的相关滤波器计算当前帧图像中各个位置的响应置信度得分，将得分最高的点定义为当前帧图像下跟踪目标的移动预测中心点，并通过移动预测中心点筛选的候选框；步骤3：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的外观相似性分数；步骤4：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的运动相似性分数；步骤5：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的交互特征相似性分数；步骤6：若处于跟踪态或者丢失态的跟踪目标匹配到候选框则将总相似性分数与匹配分数阈值比较，当总相似性分数大于匹配分数阈值则候选框转换为跟踪目标在当前帧图像的跟踪框，更新跟踪目标的外观特征、速度特征、交互特征信息；若处于跟踪态或者丢失态的跟踪目标未匹配到候选框，则通过步骤2更新跟踪目标的状态信息；步骤7：对于已存在的跟踪目标进行关联未匹配的候选框，将未匹配的候选框认定为新跟踪目标，初始化新跟踪目标，建立新跟踪目标，构建新跟踪目标的位置特征模型、外观特征模型、速度特征模型和交互特征模型，并将其状态更新为跟踪态，在后续帧图像中进行数据关联匹配跟踪；步骤8：重新检索当前帧的各个处于跟踪状态的跟踪目标，采用交并比计算各个跟踪目标间的重叠度；步骤9：将连续多帧图像中连续处于丢失态的跟踪目标认定为已经消失的目标，保存其跟踪状态的数据信息，不再对其进行数据匹配操作。2.根据权利要求1所述的基于时间序列多特征融合的多目标跟踪方法，其特征在于：步骤1中所述帧图像为第m幅图像，步骤1中所述跟踪目标的类别数量为Nm，步骤1中所述跟踪目标的候选框为：Di,m＝{xi,m∈[li,m,li,m+lenthi,m],yi,m∈[wi,m,wi,m+widthi,m]|(xi,m,yi,m)},i∈[1,Km]其中，Km为在第m帧图像中跟踪目标的候选框数量，li,m为在第m帧图像中第i跟踪目标的候选框X轴的起点坐标，wi,m为在第m帧图像中第i跟踪目标的候选框Y轴的起点坐标，lenthi,m为在第m帧图像中第i跟踪目标的候选框的长度，widthi,m为在第m帧图像中第i跟踪目标的候选框的宽度。3.根据权利要求1所述的基于时间序列多特征融合的多目标跟踪方法，其特征在于：步骤2中所述卷积网络为在ImageNet分类任务预训练好的VGG16网络，并通过VGG16网络提取跟踪目标位置框的第一层特征向量；通过通道c的二维特征向量的插值模型将通道c的二维特征向量转化为一维连续空间的特征向量：其中，为通道c的二维特征向量，bc定义为一个三次立方插值函数，Nc为的采样数，L为一维连续空间的特征向量的长度，Channel为通道的数量；卷积算子为：其中，yi,m是第m图像的跟踪目标i的响应值，为通道c的二维特征向量，Channel为通道的数量，通道c的一维连续空间的特征向量，是跟踪目标i在第m帧图像的通道c的相关滤波器；通过训练样本训练相关滤波器为：在给定的n个训练样本对{(yi,q,y'i,q)}(q∈[m-n,m-1])下进行训练得到，即通过最小化目标函数优化得到相关滤波器：其中，yi,m-j是第m-j图像的跟踪目标i的响应值，y'i,m-j为yi,m-j的理想高斯分布，为跟踪目标i在第m帧图像的通道c的相关滤波器，权值αj是训练样本j的影响因子，由惩罚函数w决定，通过训练得到各个通道的相关滤波器通过第m图像的跟踪目标i的响应值yi,m(l)l∈[0,L)，找到最大值yi,m(l)对应的lp,i,m：lp,i,m＝argmax(yi,m(l))l∈[0,L)其中，L为一维连续空间的特征向量的长度；将lp,i,m转化为通道的二维特征向量的点还原为二维坐标后，映射为当前帧下的坐标点pi,m＝(xp,i,m,yp,i,m)，即为在第m帧图像中第i跟踪目标Ti的移动预测中心点；若跟踪目标Ti处于跟踪态，仅选择预测位置区域周围的候选框进行后续的目标数据匹配：设跟踪目标Ti的前一帧长度为lenthi,m-1，宽度为widthi,m-1，第m帧图像中第i跟踪目标Ti的移动预测中心点为pi,m＝(xp,i,m,yp,i,m)，在第m帧图像中第i跟踪目标的候选框中心点为ci,m＝(li,m+lenthi,m/2,wi,m+widthi,m/2)i∈[1,Km]，当候选框中心点与移动预测中心点的距离满足条件：d(pi,m,ci,m)＝(xp,i,m-li,m-lenthi,m/2)2+(yp,i,m-wi,m-widthi,m/2)2＜min(lenthi,m-1/2,widthi,m-1/2)则将满足条件的候选框进行后续的目标数据匹配；若跟踪目标Ti处于丢失态，选择在其消失前一帧的位置附近筛选候选框：取其消失前一帧时移动预测中心点为ti,m＝(xt,i,m,yt,i,m)，长度为lenthi,m-1，宽度为widthi,m-1，当候选框中心与消失中心距离d(t...

【专利技术属性】
技术研发人员：田胜，陈丽琼，邹炼，范赐恩，杨烨，胡雨涵，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42