一种基于三元组损失和联合特征的目标跟踪方法及设备技术

本申请公开了一种基于三元组损失和联合特征的目标跟踪方法及设备，方法包括：获取目标视频并对目标视频进行图像处理，以得到输入视频；将输入视频输入至预训练的YOLOv5m模型中进行行人检测，以得到目标行人的位置信息以及置信度信息，并将位置信息以及置信度信息同步到DeepSort算法中；构建基于三元组损失和联合特征的特征提取网络，并对特征提取网络进行训练；通过Deepsort算法以及特征提取网络，获取目标行人的特征，并计算不同行人之间的相似度；结合目标行人的位置坐标之间的马氏距离对相邻两帧视频中的相同目标进行匹配；利用卡尔曼滤波算法预测目标行人的位置并更新目标状态。态。态。

【技术实现步骤摘要】
一种基于三元组损失和联合特征的目标跟踪方法及设备


[0001]本申请涉及目标跟踪领域，具体涉及一种基于三元组损失和联合特征的目标跟踪方法及设备。

技术介绍

[0002]作为计算机视觉的核心组成部分和重要关键技术，目标跟踪算法可以精准地预测目标在后续时刻的空间位置状态，为进一步分析目标运动状态和运动轨迹奠定了基础。
[0003]现有专利《基于Darkflow
‑
DeepSort的多目标追踪检测方法、装置及存储介质》(专利申请号：201910701678.5，公布号：CN 110516556 A)，方法利用YOLOv3算法训练得到基于Darkflow的目标检测模型，并对检测图像进行检测获得目标的表观特征，将目标表观特征传入至DeepSORT算法后利用卡尔曼滤波器对所监控视频进行逐帧数据关联处理。该方法虽然能够在不损失检测准确度的情况下提升目标跟踪检测速度，完成多目标跟踪，但是当目标受到遮挡或者目标消失后再次出现时，容易造成目标ID切换以及重新赋予目标ID。
[0004]现有专利《基于YOLOv4模型和DeepSORT模型的跟踪方法》(专利申请号：202011516506.X，公布号：CN 112634332 A)，方法通过使用YOLOv4模型对图片进行目标检测，然后使用DeepSORT模型对检测到的多目标同时进行跟踪，然后对DeepSORT模型跟踪输出的图片进行处理、去重后，保存、删除以及更新跟踪成功的状态。该方法虽然能够解决复杂场景中跟踪失败以及目标丢失带来的重复问题，但是并未考虑同类目标之间特征差异性。
[0005]综上，在现有技术中，通过检测算法获取目标的位置信息，然后利用跟踪算法对目标位置进行预测并更新当前状态，完成目标跟踪任务。对于工厂区域内的行人目标跟踪，人员较为密集，人员的流动性较大。当多个行人重叠时，行人与行人之间的相互遮挡导致网络提取的特征无法很好的对行人目标进行表达，行人之间的特征差异较小，导致目标ID频繁切换。同时在特征提取过程中，需要保留目标的多维特征信息，硬件压力较大。

技术实现思路

[0006]为了解决上述问题，本申请提出了一种基于三元组损失和联合特征的目标跟踪方法及设备，其中方法包括：
[0007]获取目标视频并对所述目标视频进行图像处理，以得到输入视频；将所述输入视频输入至预训练的YOLOv5m模型中进行行人检测，以得到目标行人的位置信息以及置信度信息，并将所述位置信息以及所述置信度信息同步到DeepSort算法中；构建基于三元组损失和联合特征的特征提取网络，并对所述特征提取网络进行训练；通过Deepsort算法以及所述特征提取网络，获取所述目标行人的特征，并计算不同行人之间的相似度；结合所述目标行人的位置坐标之间的马氏距离对相邻两帧视频中的相同目标进行匹配；利用卡尔曼滤波算法预测所述目标行人的位置并更新目标状态。
[0008]在一个示例中，所述将所述输入视频输入至预训练的YOLOv5m模型中进行行人检
测之前，所述方法还包括：利用Crowdhuman数据集对YOLOv5m进行训练。
[0009]在一个示例中，所述构建基于三元组损失和联合特征的特征提取网络，并对所述特征提取网络进行训练，具体包括：所述特征提取网络由ResNet18残差网络、联合特征层、View层、全连接层、BatchNorm层、三元组损失函数层组成；将MSMT行人重识别数据集按类分为5折，对所述特征提取网络进行5折交叉验证训练。
[0010]在一个示例中，所述联合特征层，具体包括：取第三次下采样获得的第一结果，对所述第一结果进行空洞卷积操作，得到第一输出；对所述第一结果进行全局池化操作，得到第二输出；将所述第一输出与第二输出进行连接，得到第三输出；将所述第三输出经过Relu激活函数，1x1卷积操作以及Softplus激活函数层获得第四输出；对所述第三输出F
concat
进行L2正则化操作，得到第五输出F
L2_out
；将所述第四输出以及所述第五输出相乘，得到所述目标行人的局部特征；取所述特征提取网络第四次下采样的第二结果，对其进行池化操作后，获取所述目标行人的全局特征；通过如下公式计算局部特征点在所述全局特征上的投影：其中，表示点乘运算，具体表示为|f
global
|2表示f
global
的L2范数，其过程可以表示为其中c表示特征的通道数；通过计算所述局部特征向量与相对应的投影向量之间的差值，得到联合特征向量。
[0011]在一个示例中，所述三元组损失函数层，具体包括：选取网络中最后一个全连接层权重W以及输入特征x
i
，并进行归一化处理；通过所述输入特征x
i
与第j个类别的全连接层权重W
j
相乘获得全连接层的第j个输出；假设所述输入特征x
i
的真实类别为y
i
，通过反三角函数获得归一化权重与归一化特征之间的夹角θ
yi
；将用于调整角度的自定义加性角度边距m添加至所述夹角θ
yi
，并计算新的余弦值，得到第一全连接层输出cosθ
j
；通过自定义的特征范数s缩放除第一全连接层输出以外的所有全连接层输出，得到第二全连接层输出；对所述第二全连接层输出计算损失值。
[0012]在一个示例中，对于每一个目标行人的特征，只保存前n帧视频过程中的所有每一维度的均值μ
i
，方差以及帧数n。
[0013]在一个示例中，所述方法还包括：计算所有目标行人之间的交并比；当所述交并比大于第一预设阈值时，暂停对所述目标行人特征进行更新。
[0014]在一个示例中，所述方法还包括：确定目标特征为新特征，计算所述目标特征每一维度与保存特征每一维度均值之间的差异之和；若所述差异之和大于第二预设阈值，则更新所述目标特征。
[0015]本申请还提供了一种基于三元组损失和联合特征的目标跟踪设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获取目标视频并对所述目标视频进行图像处理，以得到输入视频；将所述输入视频输入至预训练的YOLOv5m模型中进行行人检测，以得到目标行人的位置信息以
及置信度信息，并将所述位置信息以及所述置信度信息同步到DeepSort算法中；构建基于三元组损失和联合特征的特征提取网络，并对所述特征提取网络进行训练；通过Deepsort算法以及所述特征提取网络，获取所述目标行人的特征，并计算不同行人之间的相似度；结合所述目标行人的位置坐标之间的马氏距离对相邻两帧视频中的相同目标进行匹配；利用卡尔曼滤波算法预测所述目标行人的位置并更新目标状态。
[0016]通过本申请提出的方法通过把局部特征与全局特征进行深度正交融合，以及三元组损失，提高了特征的表达能力同时拉大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三元组损失和联合特征的目标跟踪方法，其特征在于，包括：获取目标视频并对所述目标视频进行图像处理，以得到输入视频；将所述输入视频输入至预训练的YOLOv5m模型中进行行人检测，以得到目标行人的位置信息以及置信度信息，并将所述位置信息以及所述置信度信息同步到DeepSort算法中；构建基于三元组损失和联合特征的特征提取网络，并对所述特征提取网络进行训练；通过Deepsort算法以及所述特征提取网络，获取所述目标行人的特征，并计算不同行人之间的相似度；结合所述目标行人的位置坐标之间的马氏距离对相邻两帧视频中的相同目标进行匹配；利用卡尔曼滤波算法预测所述目标行人的位置并更新目标状态。2.根据权利要求1所述的方法，其特征在于，所述将所述输入视频输入至预训练的YOLOv5m模型中进行行人检测之前，所述方法还包括：利用Crowdhuman数据集对YOLOv5m进行训练。3.根据权利要求1所述的方法，其特征在于，所述构建基于三元组损失和联合特征的特征提取网络，并对所述特征提取网络进行训练，具体包括：所述特征提取网络由ResNet18残差网络、联合特征层、View层、全连接层、BatchNorm层、三元组损失函数层组成；将MSMT行人重识别数据集按类分为5折，对所述特征提取网络进行5折交叉验证训练。4.根据权利要求3所述的方法，其特征在于，所述联合特征层，具体包括：取第三次下采样获得的第一结果，对所述第一结果进行空洞卷积操作，得到第一输出；对所述第一结果进行全局池化操作，得到第二输出；将所述第一输出与第二输出进行连接，得到第三输出；将所述第三输出经过Relu激活函数，1x1卷积操作以及Softplus激活函数层获得中间输出以及第四输出；对所述中间输出进行L2正则化操作，得到第五输出；将所述第四输出以及所述第五输出相乘，得到所述目标行人的局部特征；取所述特征提取网络第四次下采样的第二结果，对其进行池化操作后，获取所述目标行人的全局特征；通过如下公式计算局部特征点在所述全局特征上的投影：其中，表示点乘运算，具体表示为表示点乘运算，具体表示为|f
global
|2表示f
global
的L2范数，其过程可以表示为的L2范数，其过程可以表示为其中c表示特征的通道数；通过计算所述局部特征向量与相对应的投影向量之间的差值，得到联合特征向量。5.根据权利要求3所述的方法，其特征在...

【专利技术属性】
技术研发人员：焦学，陈英鹏，丁鑫，刘辰飞，许野平，张朝瑞，郑旭，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：