融合卷积神经网络和特征相似度学习的多目标跟踪方法技术

本发明专利技术涉及一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，包括以下步骤：步骤S1:获取含有多个目标的视频序列图像和每帧图像对应的标签，预处理后分成训练集和测试集；步骤S2:构建卷积神经网络并预训练；步骤S3:将训练集和测试集输入到卷积神经网络中，提取图像中目标的特征向量；步骤S4:根据得到的特征向量，采用相似度函数计算相似度，构建相似度矩阵；步骤S5:根据得到的相似度矩阵，并根据贪心算法实现跨帧匹配目标从而实现多目标跟踪。本发明专利技术有效提高匹配的准确率和跟踪的准确率。准确率。准确率。

【技术实现步骤摘要】
融合卷积神经网络和特征相似度学习的多目标跟踪方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种融合卷积神经网络和特征相似度学习的多目标跟踪方法。

技术介绍

[0002]多目标跟踪是一项计算机视觉任务，目的是为了跟踪视频序列中的前景目标，比如行人、汽车、动物等等。多目标跟踪关键是将视频序列中的同一目标关联起来，并赋予同一身份编号。现有的多目标跟踪方法通过计算相邻帧中目标之间的空间接近度来进行跨帧关联，从而实现跟踪。然而，当图像中目标数量多且拥挤的情况下，目标之间的空间接近度容易出现混淆等问题，从而降低跟踪的准确率。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，有效提高多目标跟踪准确率。
[0004]为实现上述目的，本专利技术采用如下技术方案：
[0005]一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，包括以下步骤：
[0006]步骤S1:获取含有多个目标的视频序列图像和每帧图像对应的标签，预处理后分成训练集和测试集；
[0007]步骤S2:构建卷积神经网络并预训练；
[0008]步骤S3：将训练集和测试集输入到卷积神经网络中，提取图像中目标的特征向量；
[0009]步骤S4：根据得到的特征向量，采用相似度函数计算相似度，构建相似度矩阵；
[0010]步骤S5：根据得到的相似度矩阵，并根据贪心算法实现跨帧匹配目标从而实现多目标跟踪。
[0011]进一步的，所述预处理具体为：将输入图像的大小统一为m
×
n，其中，m是输入图像的行数，n是输入图像的列数。
[0012]进一步的，所述步骤S2具体为：基于Pytorch或TensorFlow训练一个结构为卷积层1
‑
池化层1
‑
卷积层2
‑
池化层2
‑
......
‑
卷积层x
‑
池化层x
‑
全连接层的前向传输的卷积神经网络作为主干网络；
[0013]输入层：由于输入的是一个m
×
n的彩色图像，其在二维空间上的维度是m
×
n；一个像素点相当于一个神经元，故输入层的维度就是三维[m
×
n，3]；
[0014]卷积层1：若卷积层的尺寸是(2m1+1)
×
(2m1+1)，卷积深度为n1，设定步长为s1；相当于用n1个(2m1+1)
×
(2m1+1)的滑动窗口以步长s1与输入图像在该窗口下的像素相卷积，得到的图像大小为[m，n，n1]；
[0015]池化层1：设定池化步长为s1、池化尺寸为m2×
m2、池化方式：最大池化或平均池化；若采用最大池化，则以步长s1在尺寸为m2×
m2的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的最大值；若为平均池化，则以步长s1在尺寸为m2×
m2的滑动窗口扫描卷积层1
得到的图像像素，存储该窗口下的像素平均值；故该层池化后得到的图像大小为
[0016]进一步的，所述步骤S3具体为：
[0017]步骤S31：将输入的训练集输入到预训练好的卷积神经网络中进行检测出图像中的目标，目标检测置信度和提取出目标对应的特征向量；
[0018]步骤S32：将步骤S24所述的特征向量以视频帧的序号划分，设定表示第t帧中身份号为i的目标的特征向量；
[0019]步骤S33：使用聚焦三元组损失进一步训练预训练后的卷积神经网络；
[0020]步骤S34：保存该卷积神经网络的各项权重值；
[0021]步骤S35：将测试集的图像输入到步骤S34中得到的卷积神经网络，并输出网络最终检测出图像中的目标，目标检测置信度和提取出目标对应的特征向量。
[0022]进一步的，所述聚焦三元组损失，具体为：
[0023][0024]其中||
·
||2表示欧氏距离方程；D表示第t+1帧的目标ID合集，T表示第t+1帧的目标ID合集，表示第t时刻跟踪目标i的特征向量。i，j，q分别表示不同的目标的ID。
[0025]进一步的，所述步骤S4具体为：
[0026]步骤S41：设定相似度函数，使用欧式距离来计算特征间的差异，再利用负指数幂将差异值映射到[0，1]区间以获得特征间的相似度，或使用余弦相似度作为相似度函数，来计算特征间的相似度；
[0027]步骤S42：特征向量只与下一帧中的所有特征向量计算相似度；设定，第t帧中含有m个目标及其特征向量和第t+1帧中含有n个目标及其特征使用步骤S41计算F
t
和F
t+1
之间的相似度，得到相似度矩阵
[0028]进一步的，所述步骤S5具体包括以下步骤：
[0029]步骤S51：根据得到的相似度矩阵A，利用贪心匹配算法来跨帧匹配目标；
[0030]步骤S52：对于每个第t+1帧的目标，在目标对A矩阵中含有相似度大于阈值λ
trk
的前提下，匹配与其有最大相似度的第t帧的目标，两个被匹配的目标赋予相同的身份号，并作为一条轨迹；
[0031]步骤S53：对于没有步骤S52中匹配成功的第t+1帧的目标，若其检测置信度大于阈值λ
det
，将产生一个新的轨迹，即赋予目标新的身份号，否则删除该目标；
[0032]步骤S43：保存每个匹配成功的第t+1帧的目标的信息。
[0033]进一步的，所述目标的信息包括目标的经网络的检测结果，检测置信度和身份号。
[0034]本专利技术与现有技术相比具有以下有益效果：
[0035]本专利技术使用度量学习损失来训练卷积神经网络，以保证卷积神经网络所提取的同
一身份的目标特征的相似度大于不同身份目标的特征相似度，从而提高匹配的准确率和跟踪的准确率。
附图说明
[0036]图1为本专利技术实施例的结构框图；
[0037]图2为本专利技术实施例中卷积神经网络训练与测试的流程图；
[0038]图3为本专利技术实施例中卷积神经网络的结构框图；
[0039]图4为本专利技术实施例中训练卷积神经网络的过程图
[0040]图5为本专利技术实施例中训练卷积神经网络目标检测结果和置信度图；
[0041]图6为本专利技术实施例中部分训练集图片及其标签效果图；
[0042]图7为本专利技术实施例中计算特征相似度矩阵的流程图
[0043]图8为本专利技术实施例中匹配流程图；
[0044]图9为本专利技术实施例中最后的输出结果效果图。
具体实施方式
[0045]下面结合附图及实施例对本专利技术做进一步说明。
[0046]请参照图1，本专利技术提供一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，包括以下步骤：
[0047]步骤S1：获取含有多个目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，包括以下步骤：步骤S1：获取含有多个目标的视频序列图像和每帧图像对应的标签，预处理后分成训练集和测试集；步骤S2：构建卷积神经网络并预训练；步骤S3：将训练集和测试集输入到卷积神经网络中，提取图像中目标的特征向量；步骤S4：根据得到的特征向量，采用相似度函数计算相似度，构建相似度矩阵；步骤S5：根据得到的相似度矩阵，并根据贪心算法实现跨帧匹配目标从而实现多目标跟踪。2.根据权利要求1所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述预处理具体为：将输入图像的大小统一为m
×
n，其中，m是输入图像的行数，n是输入图像的列数。3.根据权利要求2所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述步骤S2具体为：基于Pytorch或TensorFlow训练一个结构为卷积层1
‑
池化层1
‑
卷积层2
‑
池化层2
‑
......
‑
卷积层x
‑
池化层x
‑
全连接层的前向传输的卷积神经网络作为主干网络；输入层：由于输入的是一个m
×
n的彩色图像，其在二维空间上的维度是m
×
n。一个像素点相当于一个神经元，故输入层的维度就是三维[m
×
n，3]；卷积层1：若卷积层的尺寸是(2m1+1)
×
(2m1+1)，卷积深度为n1，设定步长为s1；相当于用n1个(2m1+1)
×
(2m1+1)的滑动窗口以步长s1与输入图像在该窗口下的像素相卷积，得到的图像大小为[m，n，n1]；池化层1：设定池化步长为s1、池化尺寸为m2×
m2、池化方式：最大池化或平均池化；若采用最大池化，则以步长s1在尺寸为m2×
m2的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的最大值；若为平均池化，则以步长s1在尺寸为m2×
m2的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的像素平均值；故该层池化后得到的图像大小为4.根据权利要求1所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述步骤S3具体为：步骤S31：将输入的训练集输入到预训练好的卷积神经网络中进行检测出图像中的目标，目标检测置信度和提取出目标对应的特征向量；步骤S32：...

【专利技术属性】
技术研发人员：罗智伟，吴林煌，
申请(专利权)人：福州视驰科技有限公司，
类型：发明
国别省市：