一种基于对象空间关系的目标跟踪算法制造技术

本发明专利技术涉及一种基于对象空间关系的目标跟踪算法，具体包括以下步骤：G1、以图像的特征和目标在图像中的位置作为输入，并利用五层卷积小网络来捕获两帧图像中目标的关联性，最终获得目标间的特征相似矩阵；G2、获取目标中心点的距离作为目标间的空间相似矩阵，将空间相似矩阵与特征相似矩阵做哈达玛积，同时计算目标的关联性，防止将表观特征相似性大但空间位置相距较远的目标进行错误关联，最终得到目标跟踪结果。本发明专利技术能够改善只利用目标表观特征的目标跟踪算法在目标表观特征相似性大而空间特征相似性小的场景下出现的跟踪效果降低的问题。

【技术实现步骤摘要】
一种基于对象空间关系的目标跟踪算法
本专利技术涉及多目标跟踪的
，特别涉及一种基于对象空间关系的目标跟踪算法。
技术介绍
从本质上来说，人工智能就是在模拟人类处理问题的过程。在人类的感知系统中，对目标的感知不仅包括目标的表观特征(如颜色、纹理、形状等)，还包括目标的空间位置及目标间的相对关系。根据这些表观特征和空间特征，人类很容易分辨两个目标是否是同一个物体。目前的多目标跟踪算法虽然利用卷积神经网络强大的信息捕捉能力取得了不错的跟踪效果，但从人类感知系统的角度来看，大多数多目标跟踪算法仅仅模拟了人类对目标表观特征的感知。因此，在目标表观特征相似性比较大的场景下，跟踪效果将会有所降低。目前大部分多目标跟踪算法都基于判别式跟踪(tracking-by-detection)模式，即在检测的基础之上进行跟踪，判别式跟踪模式主要包含两个步骤：1)用目标检测算法检测出连续图像中的目标；2)用数据关联算法将检测到的目标与已存在的轨迹关联起来。在实际应用中，根据具体需求选择一阶段目标检测算法或两阶段目标检测算法，然后使用某种数据关联算法实现目标跟踪的目的。在目标关联算法中，常用的是匈牙利算法及其变体。SORT利用FasterR-CNN作为目标检测算法，基于目标框位置和IOU的匈牙利算法作为数据关联算法，并结合卡尔曼滤波的预测状态，实现了实时多目标跟踪。然而由于SORT对物体遮挡问题几乎没有处理，导致频繁出现ID切换，降低了遮挡情况下跟踪的准确性。因此DeepSort加入了一个小的表观特征提取模型来处理遮挡问题，并使用级联匹配来提高目标关联的精度，提升对遮挡目标的跟踪效果。卷积神经网络在其他任务上的出色表现吸引了研究者们的目光，DAN利用VGG-16提取检测到的目标特征，摒弃传统数据关联算法，将卷积神经网络引入到数据关联任务上来。利用卷积神经网络强大的信息提取能力来捕获目标特征间的相似性，以达到目标跟踪的目的。然而，DAN使用1×1卷积沿目标表观特征向量的通道维度逐渐降维映射至一个二维矩阵，即为目标间表观特征相似矩阵。这个矩阵编码了目标间的特征相似性，却丢失了目标间的空间关系。然而，目标间的空间关系对于目标跟踪来说不可忽视，只依据目标表观特征的相似性来决定目标间的关联性是比较片面的，当图像中两个目标的表观特征向量相似时，只利用目标表观特征的跟踪算法将产生疑惑，容易导致跟踪错误，例如当某一个目标一直在图像右下方静止不动，然而算法误认为它与图像左上方的一个目标有关联，因此如何考虑目标表观特征和空间关系在目标跟踪中的作用，以进一步提升目标跟踪的效果显得尤为重要。
技术实现思路
针对现有技术存在的上述问题，本专利技术的要解决的第一个技术问题是：为了提升目标跟踪的效果，本文提出了一种基于对象空间关系的目标跟踪算法，在目标表观特征相似矩阵上增加了目标对象的空间关系，来模拟人类对目标空间特征的感知。本专利技术公开了一种基于对象空间关系的目标跟踪算法，其具体包括以下步骤：G1、以图像的特征和目标在图像中的位置作为输入，并利用五层卷积小网络来捕获两帧图像中目标的关联性，最终获得目标间的特征相似矩阵；G2、获取目标中心点的距离作为目标间的空间相似矩阵，将空间相似矩阵与特征相似矩阵做哈达玛积，同时计算目标的关联性，防止将表观特征相似性大但空间位置相距较远的目标进行错误关联，最终得到目标跟踪结果。为了方便操作，所述目标间的特征相似矩阵的具体步骤如下：S1、获取以Ft、Ft+n作为模型输入，时间间隔为n的两帧图像，然后从轻量级行人检测模型骨干网络得到第8倍下采样、第16倍下采样和第32倍下采样特征图的集合，其通道数分别为384、192、96；S2、获取以Bt、Bt+n作为模型输入，时间间隔为n的两帧图像中所有行人目标框的集合，再经过特征降维之后三层特征图的通道数降为192、96、48；将行人目标框Bt、Bt+n转换为目标中心点坐标，在三层特征图上分别找到对应的特征点，同一目标的三个特征点按通道拼接在一起作为目标的特征向量，每个目标的特征向量维度为336；t表示自然数；S3、获取每帧图像中能够同时跟踪到的最大目标数量NmaX，NmaX设为80，然后根据公式(1)、公式(2)获得两帧图像中的所有目标特征向量构成的特征矩阵；其中：当图像中目标数小于NmaX时，特征矩阵用零填充，中的第i行表示t时刻图像帧中第i个目标的特征；S4、根据公式(3)，获得由中所有目标向量穷举排列，并按通道拼接得到的混合特征向量；其中：Fper的第i行第j列个元素是由中第i行特征向量与中第j行特征向量在通道维度拼接得到的，Fper中每个元素的维度为672；S5、然后将由5个卷积核为1×1的普通卷积模块组成的小网络定义为MapNet，用来捕获目标表观特征的相似性，其中通道数分别为336、168、84、42、1，同时在整个网络中不改变输入特征图的分辨率；S6、最后按照公式(4)模型输出，并进行编码两帧图像目标间特征的相似程度，以此获得目标间的特征相似矩阵；其中：R表示集合，中第i行表示t时刻图像帧中第i个目标的特征与t+n时刻图像帧中所有目标的特征间的相似性，第j列表示t+n时刻图像帧中第j个目标的特征与t时刻图像帧中所有目标的特征间的相似性，上述各个步骤中涉及到的t表示自然数。为了方便操作，所述空间相似矩阵的具体计算步骤如下：K1、将Bt、Bt+n作为轻量级行人目标检测模型得到的目标框，Center作为每个目标的中心坐标，为t时刻图像帧中的目标与t+n时刻图像帧中的目标的空间相似性，Si,j为的简写，表示t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标的空间相似性，然后将Si,j按以下计算方式为：其中di,j∈(0,1)为t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标间的归一化距离，即图像上欧式距离与图像对角线距离的比值，其中图像的对角线为两个目标在图像中的最大距离；K2、得到两个目标之间的空间距离之后，使用一个简单的径向基函数e-x带入公式(6.1)中将目标间的空间距离转化为空间相似性。为了屏蔽图像分辨率不同带来的误差，增加模型的鲁棒性，需要将目标在图像上的欧式距离做归一化处理，同时公式(6.1)也是一个归一化操作后，将目标间的空间相似性归一化到目标最大空间相似性与最小空间相似性区间，两个目标的欧式距离经过归一化之后，最小距离为0，其中中心点重叠，相似性最大：e0＝1；最大距离为1，即中心点分别位于图像的对角点，相似性最小：e-1。为了方便操作，空间相似矩阵St,t+n中的每一行代表t时刻图像帧中的某目标与t+n时刻图像帧中所有目标的空间相似性，每一列代表t+n时刻图像帧中某目标与t时刻图像帧中所有目标的空间相似性，当图像中的目标数量不足NmaX时，将用0填充；若超过NmaX，则多于的目标将无法被跟踪，得到目标间的空间相似矩阵后，与卷积网络得到的特征相似矩阵做哈达玛积本文档来自技高网...

【技术保护点】
1.一种基于对象空间关系的目标跟踪算法，其特征在于：具体包括以下步骤：/nG1、以图像的特征和目标在图像中的位置作为输入，并利用五层卷积小网络来捕获两帧图像中目标的关联性，最终获得目标间的特征相似矩阵；/nG2、获取目标中心点的距离作为目标间的空间相似矩阵，将空间相似矩阵与特征相似矩阵做哈达玛积，同时计算目标的关联性，防止将表观特征相似性大但空间位置相距较远的目标进行错误关联，最终得到目标跟踪结果。/n

【技术特征摘要】
1.一种基于对象空间关系的目标跟踪算法，其特征在于：具体包括以下步骤：
G1、以图像的特征和目标在图像中的位置作为输入，并利用五层卷积小网络来捕获两帧图像中目标的关联性，最终获得目标间的特征相似矩阵；
G2、获取目标中心点的距离作为目标间的空间相似矩阵，将空间相似矩阵与特征相似矩阵做哈达玛积，同时计算目标的关联性，防止将表观特征相似性大但空间位置相距较远的目标进行错误关联，最终得到目标跟踪结果。


2.根据权利要求1所述的一种基于对象空间关系的目标跟踪算法，其特征在于：所述目标间的特征相似矩阵的具体步骤如下：
S1、获取以Ft、Ft+n作为模型输入，时间间隔为n的两帧图像，然后从轻量级行人检测模型骨干网络得到第8倍下采样、第16倍下采样和第32倍下采样特征图的集合，其通道数分别为384、192、96；
S2、获取以Bt、Bt+n作为模型输入，时间间隔为n的两帧图像中所有行人目标框的集合，再经过特征降维之后三层特征图的通道数降为192、96、48；将行人目标框Bt、Bt+n转换为目标中心点坐标，在三层特征图上分别找到对应的特征点，同一目标的三个特征点按通道拼接在一起作为目标的特征向量，每个目标的特征向量维度为336；t表示自然数；
S3、获取每帧图像中能够同时跟踪到的最大目标数量NmaX，NmaX设为80，然后根据公式(1)、公式(2)获得两帧图像中的所有目标特征向量构成的特征矩阵；






其中：当图像中目标数小于NmaX时，特征矩阵用零填充，中的第i行表示t时刻图像帧中第i个目标的特征；
S4、根据公式(3)，获得由中所有目标向量穷举排列，并按通道拼接得到的混合特征向量；



其中：Fper的第i行第j列个元素是由中第i行特征向量与中第j行特征向量在通道维度拼接得到的，Fper中每个元素的维度为672；
S5、然后将由5个卷积核为1×1的普通卷积模块组成的小网络定义为MapNet，用来捕获目标表观特征的相似性，其中通道数分别为336、168、84、42、1，同时在整个网络中不改变输入特征图的分辨率；
S6、最后按照公式(4)模型输出，并进行编码两帧图像目标间特征的相似程度，以此获得目标间的特征相似矩阵；



其中：中第i行表示t时刻图像帧中第i个目标的特征与t+n时刻图像帧中所有目标的特征间的相似性，第j列表示t+n时刻图像帧中第j个目标的特征与t时刻图像帧中所有目标的特征间的相似性，上述各个步骤中涉及到的t表示自然数。


3.根据权利要求2所述的一种基于对象空间关系的目标跟踪算法，其特征在于：所述空间相似矩阵的具体计算步骤如下：
K1、将Bt、Bt+n作为轻量级行人目标检测模型得到的目标框，Center作为每个目标的中心坐标，为t时刻图像帧中的目标与t+n时刻图像帧中的目标的空间相似性，Si，j为的简写，表示t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标的空间相似性，然后将Si，j按以下计算方式为：



其中di，j∈(0，1)为t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标间的归一化距离，即图像上欧式距离与图像对角线距离的比值，其中图像的对角线为两个目标在图像中的最大距离；
K2、得到两个目标之间的空间距离之后，使用一个简单的径向基函数e-x带入公式(6.1)中将目标间的空间距离转化为空间相似性。


4.根据权利要求3所述的一种基于对象空间关系的目标跟踪算法，其特征在于：需要将目标在图像上的欧式距离做归一化处...

【专利技术属性】
技术研发人员：冯欣，张琼敏，宋承云，龙建武，谭暑秋，蒋友妮，殷一皓，刘曦月，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆;50