一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法、系统、终端及介质技术方案

本发明专利技术涉及图像识别技术领域，公开了一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，包括以下步骤：获取视频流中的若干帧视频图像，并将所述视频图像传输至卷积主干网络，获取对应视频图像的特征向量。其有益效果是：消除跟踪目标的噪声，保留关键特征，有较高的准确性和鲁棒性；利用多特征监督和多帧特征向量进行匹配，在一定程度上消除了单帧图片中的噪声和干扰，又可使得在基于多特征的监督的情况下得到的特征更具有代表性，极大的保留了关键特征，又可以更好地跟踪目标的形态和运动轨迹。目标的形态和运动轨迹。目标的形态和运动轨迹。

【技术实现步骤摘要】
一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法、系统、终端及介质


[0001]本专利技术涉及图像识别
，特别涉及一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法、系统、终端及介质。

技术介绍

[0002]在计算机视觉领域中，目标检测一直是领域研究的重点。传统的目标检测算法通常基于单帧图像中的目标信息进行，但由于周围环境的影响，这些方法的鲁棒性较差且计算复杂。鲁棒性是指模型在陌生环境或噪声干扰下依旧能够完成预期任务的能力。
[0003]近年来，随着深度学习技术的发展，很多目标跟踪方法都采用了两阶段的方法，即先进行目标检测再使用卡尔曼滤波进行跟踪，但是这种方法不能实现端到端的目标跟踪，而且要求物体匀速运动，同时在做特征相似度匹配的时候，很容易受到遮挡物的噪声干扰。
[0004]可以看出，现有技术中的目标跟踪方法抗干扰能力差，算法复杂且对物体运动速度有要求，因此提出一种有较高准确性和鲁棒性的目标跟踪方法，具有其市场价值。

技术实现思路

[0005]为克服现有技术中目标跟踪方法存在的干扰能力差、准确性低的缺陷，本专利技术提出了一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法、系统、终端及介质，其具体技术方案如下：
[0006]一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，包括以下步骤：获取视频流中的若干帧视频图像，并将所述视频图像传输至卷积主干网络，获取对应视频图像的特征向量；将特征向量送入目标检测头，获取特征向量的目标位置；将特征向量经过一个较小的卷积主干网络，获取掩膜激活特图；将特征向量的目标位置和掩膜激活特图进行融合，然后再经卷积主干网络获得对应帧视频图像的特征图；将所有帧视频图像的特征图按获取时间顺序进行排序并分别赋予不同的编号，将第一帧视频图像的特征图进行储存，并将后续每一帧视频图像的特征图与前一帧视频图像的特征图进行相似度对比，对于相似度大于预设阈值的特征图，赋予相同的编号；根据顺序排列的具有不同编号的特征图对目标进行检测。
[0007]进一步地，所述卷积主干网络的训练模型中包含掩膜激活特图的监督、目标位置的监督以及跟踪目标位置的监督，对应函数公式为：
[0008][0009]L＝ω1
×
MaskLoss+ω2
×
BoxLoss+ω3
×
trackLoss。
[0010]进一步地，所述若干帧视频图像由外部设备通过预处理后获得；所述若干帧视频图像经卷积主干网络后利用ResNet或VGG方法运算后获得视频图像的特征向量。
[0011]进一步地，所述特征向量在目标检测头中采用Yolo算法获取对应特征向量在视频
图像中的坐标；所述特征向量在经过较小的卷积主干网络时通过上采样获得掩膜激活特图。
[0012]进一步地，将所述掩膜激活特图中的对应坐标部分抠出作为感兴趣区域，再将感兴趣区域经过一个卷积主干网络获得特征图。
[0013]进一步地，所述相似度对比采用余弦相似度算法，所述相似度为0
‑
1的区间。
[0014]一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪系统，包括检测单元，获取视频流并通过预处理获取视频流中的若干帧视频图像；根据顺序排列的具有不同编号的特征图对目标进行检测；处理单元，获取若干帧视频图像，并将述视频图像传输至卷积主干网络，获取对应视频图像的特征向量；将特征向量送入目标检测头，获取特征向量的目标位置；将特征向量经过一个较小的卷积主干网络，获取掩膜激活特图；将特征向量的目标位置和掩膜激活特图进行融合，然后再经卷积主干网络获得对应帧视频图像的特征图；控制单元，将所有帧视频图像的特征图按获取时间顺序进行排序并分别赋予不同的编号，将第一帧视频图像的特征图进行储存，并将后续每一帧视频图像的特征图与前一帧视频图像的特征图进行相似度对比，对于相似度大于预设阈值的特征图，赋予相同的编号。
[0015]一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪终端，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。
[0016]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的方法中的步骤。
[0017]本专利技术的有益效果是：
[0018]1.消除跟踪目标的噪声，保留关键特征，有较高的准确性和鲁棒性；利用多特征监督和多帧特征向量进行匹配，在一定程度上消除了单帧图片中的噪声和干扰，又可使得在基于多特征的监督的情况下得到的特征更具有代表性，极大的保留了关键特征，又可以更好地跟踪目标的形态和运动轨迹。
[0019]2.实现了端到端的目标跟踪：将目标检测和目标跟踪相结合，能够直接从视频帧序列级别上进行目标跟踪，避免了传统算法中的两阶段方法，同时最大程度的降低了计算复杂度。
[0020]3.不受物体运动速度的限制：相较于基于单帧图像的目标检测方法，本专利技术采用了多帧特征向量进行跟踪，更加适用于不同大小尺度、不同运动速度的目标跟踪，具有更广泛的应用范围。
附图说明
[0021]其中：
[0022]图1是本专利技术方法的流程框图。
[0023]图2是本专利技术方法的流程图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于
本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，包括以下步骤：
[0026]1.获取视频流中的若干帧视频图像，并将所述视频图像传输至卷积主干网络，获取对应视频图像的特征向量；
[0027]视频流通过外部设备进行获取，并将视频流预处理后获得对应的若干帧视频图像，再将所有的视频图像传输至CNNBackBone(卷积主干网络)，利用ResNet或VGG方法运算后获得视频图像的特征向量。ResNet和VGG是主流的神经网络算法。
[0028]2.将特征向量送入目标检测头，获取特征向量的目标位置；将特征向量经过一个较小的卷积主干网络，获取掩膜激活特图；
[0029]将每一帧特征向量分别送入目标检测头和较小的卷积主干网络中，在目标检测头中利用检测算法，如基于卷积神经网络的Yolo算法，获取对应特征向量在视频图像中的坐标；将特征向量经过一个较小的卷积，做一个上采样得到与原图大小一致的掩膜激活特图，此时的掩膜激活特图与掩膜标签的形态是一致的，形态一致是指掩膜激活特图与掩膜标签的高宽是一致的，掩膜标签通过前期标注可以获取。
[0030]3.将特征向量的目标位置和掩膜激活特图进行融合，然后再经卷积主干网络获得特征图；
[0031]在步骤2中，获取了同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，其特征在于，包括以下步骤：获取视频流中的若干帧视频图像，并将所述视频图像传输至卷积主干网络，获取对应视频图像的特征向量；将特征向量送入目标检测头，获取特征向量的目标位置；将特征向量经过一个较小的卷积主干网络，获取掩膜激活特图；将特征向量的目标位置和掩膜激活特图进行融合，然后再经卷积主干网络获得对应帧视频图像的特征图；将所有帧视频图像的特征图按获取时间顺序进行排序并分别赋予不同的编号，将第一帧视频图像的特征图进行储存，并将后续每一帧视频图像的特征图与前一帧视频图像的特征图进行相似度对比，对于相似度大于预设阈值的特征图，赋予相同的编号；根据顺序排列的具有不同编号的特征图对目标进行检测。2.根据权利要求1所述的基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，其特征在于，所述卷积主干网络的训练模型中包含掩膜激活特图的监督、目标位置的监督以及跟踪目标位置的监督，对应函数公式为：L＝ω1
×
MaskLoss+ω2
×
BoxLoss+ω3
×
trackLoss。3.根据权利要求1所述的基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，其特征在于，所述若干帧视频图像由外部设备通过预处理后获得；所述若干帧视频图像经卷积主干网络后利用ResNet或VGG方法运算后获得视频图像的特征向量。4.根据权利要求3所述的基于多特征监督和多帧特征向量相似度匹配的端到端目标跟踪方法，其特征在于，所述特征向量在目标检测头中采用Yolo算法获取对应特征向量在视频图像中的坐标；所述特征向量在经过较小的卷积主干网络时通过...

【专利技术属性】
技术研发人员：何厚峰，周有喜，邹春友，
申请(专利权)人：深圳市芯联信息技术有限公司，
类型：发明
国别省市：