一种基于轨迹关联学习的弱监督行人重识别方法技术

本发明专利技术属于计算机视觉领域，尤其涉及一种基于轨迹关联学习的弱监督行人重识别方法，包括以下步骤：S1：构建弱监督行人重识别数据集；S2：基于ImageNet数据集得到预训练的Resnet

A weakly supervised pedestrian re recognition method based on trajectory association learning

【技术实现步骤摘要】
一种基于轨迹关联学习的弱监督行人重识别方法


[0001]本专利技术属于计算机视觉领域，尤其涉及一种基于轨迹关联学习的弱监督行人重识别方法。

技术介绍

[0002]近年来，有研究者提出了弱监督行人重识别的方法；弱监督的设定是指对每一个行人视频数据样本标上弱标签，弱标签只标记该视频片段中出现的行人身份，而不是精确地给每个人的轨迹标记一个身份标签；通过自动行人检测算法将每一个视频片段中检测到的所有行人图像作为一个独立的弱监督样本，并标上相对应的弱标签，该方法平衡了标记数据和识别性能的需求；虽然现有的基于弱监督的行人重识别方法在一定程度上降低了行人重识别任务的标注成本，并相比于无监督方法提升了识别性能，但识别精度相比于全监督方法仍然不高；主要是由于在弱监督的设定下，样本与身份间的对应关系不明确，让网络难以充分地利用弱标签提供的监督信息；再者弱监督的数据样本是由自动检测算法直接获取的，每个样本内可能会出现未标记的轨迹，这类情况会降低算法的鲁棒性。

技术实现思路

[0003]本专利技术的目的在于克服上述现有技术的不足，提供了一种在弱监督设定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于，具体包括如下步骤：S1：构建弱监督行人重识别数据集，数据集由视频片段组成，视频片段包括多条行人轨迹和多张行人图像，给行人图像贴上弱标签；S2：在数据集上进行预训练，获得行人重识别预训练网络模型，在网络模型的骨干网络上添加全连接层，提取每张行人图像的特征组成特征矩阵；S3：捕获样本内行人图像与行人身份间的关系，对于视频片段中行人图像通过全连接层得到对应特征矩阵，将得到的特征矩阵输入到分类器中，分类器输出行人图像的身份预测的概率，并根据身份预测概率和弱标签求得数值最高的索引，将该索引作为伪标签分配给相应的行人图像；S4：对每个行人图像进行特征学习，获取每个行人的轨迹特征，根据伪标签和行人轨迹得到每条轨迹的识别率，通过识别率为弱标签的每个行人身份选择一个有效的轨迹，在伪标签的监督下，通过行人重识别模型，获取每个行人的轨迹特征；S5：挖掘样本间行人图像与行人身份的潜在关系，通过两个不同的视频片段得到样本间行人轨迹的损失函数；通过该损失函数，训练行人重识别模型，训练后的行人重识别模型可获取样本间行人图像和行人身份的潜在关系；S6：模型训练，基于弱标签建立弱监督轨迹关联学习行人重识别模型，在带有弱标签的数据集上训练该模型；S7：进行弱监督测试，通过轨迹
‑
视频重识别和轨迹
‑
轨迹重识别两个评估策略，评估弱监督轨迹关联学习行人重识别模型的性能。2.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S1中，构建数据集的具体内容为：在第n个视频片段中选取所有轨迹中图像的集合，记为作为弱监督样本，模拟从第n个视频片段中获取的所有行人图像的集合，记为且给B
n
贴上C维的弱标签向量，记为y
n
∈{0,1}
C
，得到弱监督行人重识别数据集，记为其中N表示视频片段的数量，K表示行人图像的数量，T
n
表示第n个视频片段中轨迹的数量，S
n,t
表示第n个视频片段的第t条轨迹的所有行人图像的集合，t∈(1，T
n
)，I
n,k
表示第n个视频片段的第k张行人图像，N(S
n,t
)表示与轨迹S
n,t
对应的行人图像的索引集合。3.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S2中，具体内容为：将Resnet
‑
50作为行人重识别预训练网络模型的骨干网络，基于ImageNet数据集得到预训练的Resnet
‑
50模型，输入弱监督行人重识别数据集在骨干网络上加上一个d维的全连接层作为特征提取器，提取B
n
中K
n
张行人图像对应的特征组成一个特征矩阵，记为4.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S3中，得到伪标签的具体过程为：对于第n个视频片段中K
n
张行人图像通过特征提取器得到相应的特征矩阵X
n
，将相应的特征矩阵X
n
输入到分类器f(
·
,θ)，然后使用softmax函数输
出行人图像的身份预测的概率，记为将和真值视频级弱标签进行元素级的乘积操作，分配数值最高的索引作为相应行人图像的伪标签进行元素级的乘积操作，分配数值最高的索引作为相应行人图像的伪标签表示在该视频片段中最可能对应的身份；其中θ为分类器的参数，X
n,k
表示第n个视频片段的第k张行人图像的特征向量。5.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S4中，根据伪标签和行人轨迹s
n，t
得到每条轨迹的识别率r，通过识别率r为弱标签的每个行人身份选择一个有效的轨迹s
n，k
训练出行人重识别模型，在伪标签的监督下，通过行人重识别模型，获取每个行人的轨迹特征；有效的轨迹s
n,k
会在下一次...

【专利技术属性】
技术研发人员：刘敏，王飞，刘庆，
申请(专利权)人：湖南大学，
类型：发明
国别省市：