一种基于自监督精细分类的视频行人重识别方法技术

技术编号：40641011 阅读：5 留言：0更新日期：2024-03-13 21:22

本发明专利技术提供一种基于自监督精细聚类的视频行人重识别方法，该方法具体为：冻结骨干网络并提取出所有轨迹帧的特征；对轨迹进行去噪划分消除轨迹中的噪声帧并缓解长轨迹内的复杂变换，得到过滤了噪声的子轨迹；使用聚类算法对划分后的子轨迹分配子簇与伪标签；结合轨迹划分产生的自监督信号，利用类平滑损失函数与渐进式学习策略对聚类得到的伪标签进行精调；解冻骨干网络并利用精调后的伪标签训练模型。本发明专利技术的优点是：能够在不借助任何额外标注信息的情况获得准确的伪标签，极大提升了无监督行人重识别算法的性能。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及行人重识别，尤其是一种基于自监督精细分类的视频行人重识别方法。

技术介绍

1、在互联网飞速发展的时代，每天都会产生海量的信息。图像和视频作为这些信息的载体，在人们的日常生活中随处可见。监控摄像头是公共场合下常见的设施，广泛应用于安全监管和取证，对于构建智慧安全城市起到不可磨灭的作用。在面临多个非重叠摄像头视角的条件下，检索出某个特定人员的任务，被称作行人重识别。随着近些年深度学习技术的发展以及大量行人重识别公开数据集的支持，有监督的行人重识别任务已经得到了蓬勃发展。然而，标注一个大规模的行人重识别数据集需要耗费大量的人力物力资源，相反获得一个没有标注信息的大规模行人数据集却轻而易举。因此，为了使行人重识别技术在真实场景下具有应用价值，许多研究者投入到无监督行人重识别任务的研究中。

2、现有的无监督行人重识别方法通常通过聚类算法对行人样本数据分配伪标签，并借助伪标签完成模型的训练。然而这种方法大多无法获得准确的伪标签，且忽视了数据本身蕴含的丰富信息。

技术实现思路

1、本专利技术的目的是根据上述现有技术的不足，提供了一种基于自监督精细分类的视频行人重识别方法，通过充分挖掘数据内含的自监督信息对聚类获得的伪标签进行精调，提升伪标签的准确性并提升模型性能。

2、本专利技术目的实现由以下技术方案完成：

3、一种基于自监督精细分类的视频行人重识别方法，通过模型基于视频进行行人重识别任务，其特征在于：所述模型在其训练阶段包括以下步骤：

<p>4、s1、冻结骨干网络，预先提取出批中的所有轨迹的所有帧的特征；

5、s2、特征提取完毕后对轨迹进行清洗；

6、s3、通过轨迹划分将清洗好的轨迹进行划分产生子轨迹，并获得子轨迹合并所需的自监督信号；

7、s4、采用聚类方法对获得的所有子轨迹进行聚类，并将每个子轨迹分配到子簇中并赋予为标签；

8、s5、利用s3中的所述自监督信号，使用类平滑损失函数和渐进式学习策略对s4中经聚类得到的子簇进行合并；

9、s6、基于已经精调后的伪标签，解冻所述骨干网络，并利用精调后的伪标签训练所述模型。

10、在所述s2中，所述帧的特征fi,j的计算方式为：

11、

12、式中，表示所述骨干网络，θ表示所述骨干网络的参数，xi,j表示第i个轨迹的第j帧。

13、在所述s2中，通过相似度计算筛选出轨迹中的噪声帧，并过滤掉噪声帧，获得初步清洗好噪声帧的轨迹；通过对轨迹进行去噪划分来消除噪声帧对轨迹特征的影响并缓解长轨迹中易出现的复杂变换例如场景变换以及姿态变换等等；

14、所述噪声帧的判断是通过下式：

15、

16、

17、其中，li为第i个轨迹的总帧数，δ为控制噪声过滤程度的超参数，设置为0.7，dist为距离度量函数，使用余弦相似度度量。通过计算轨迹帧特征fi,j到轨迹质心特征ci的平均距离得到每个轨迹判定噪声帧的阈值qi，若轨迹帧特征fi,j到轨迹质心特征ci的距离大于qi，则被判定为噪声帧。

18、在所述s3中，采用等间隔顺序划分的方式将清洗好的轨迹划分为多个等长的子轨迹：

19、

20、式中，n′i代表从第i个轨迹中切分出的子轨迹数量，l为轨迹划分的间隔。

21、在所述s4中，采用dbscan聚类方法对获得的所有子轨迹进行聚类，将每个子轨迹分配到子簇中并赋予伪标签，得到初步标注好的数据集其中，代表第i个子轨迹的伪标签，ns为伪标签总类别数。

22、将聚类算法的邻域半径参数eps设置为0.25；成簇最小样本数设置为2。

23、在所述s5中，所述类平滑损失函数为：

24、

25、

26、式中，λ代表平滑系数，设置为0.1；pi为合并后的第i个簇所包含的子簇的伪标签的集合，可视为潜在正例的集合，k为集合pi的基数；vj为第j个子簇的特征中心，通过对每个子簇中子轨迹特征求平均得到；τ为温控超参数，设置为0.05。

27、通过类平滑损失有效的对聚类得到的子簇进行融合，从而在不借助任何额外标注信息的情况下准确实现了跨摄像头的行人身份匹配。

28、正例集合pi的选取受渐进式学习策略影响，在训练前期模型特征提取能力不强时，只融合自监督信号直接可达的子簇；在训练后期模型特征提取能力提高时，融合所有可达子簇。采用渐进式学习策略来使子簇融合方式契合模型不同阶段的特征提取能力，进一步提升了伪标签的准确性。

29、所述训练前期和所述训练后期的分界点定义为第一次降低训练学习率的训练轮次时。

30、所述直接可达的子簇的定义为：给出轨迹ta，若其子轨迹sta被聚类到若干子簇中{ca,cb,...,cz}，则这z个子簇之间的关系被定义为直接可达；可达子簇的定义为：给出轨迹ta和tb，如果ta的子轨迹被聚类到子簇ca,cb中，tb的子轨迹被聚类到子簇cb,cc中，则子簇ca,cc的关系被定义为可达。

31、本专利技术的优点是：通过挖掘数据内含的自监督信息对聚类获得的伪标签进行精调，准确实现了跨摄像头的行人身份匹配，从而极大提升了伪标签的准确性并提升了模型性能。

本文档来自技高网...

【技术保护点】

1.一种基于自监督精细分类的视频行人重识别方法，通过模型基于视频进行行人重识别任务，其特征在于：所述模型在其训练阶段包括以下步骤：

2.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述S2中，所述帧的特征fi,j的计算方式为：

3.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述S2中，通过相似度计算筛选出轨迹中的噪声帧，并过滤掉噪声帧，获得初步清洗好噪声帧的轨迹；

4.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述S3中，采用等间隔顺序划分的方式将清洗好的轨迹划分为多个等长的子轨迹：

5.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述S4中，采用DBSCAN聚类方法对获得的所有子轨迹进行聚类，将每个子轨迹分配到子簇中并赋予伪标签，得到初步标注好的数据集其中，代表第i个子轨迹的伪标签，Ns为伪标签总类别数。

6.根据权利要求5所述的一种基于自监督精细分类的视频行人重识别方法，其特征在

7.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述S5中，所述类平滑损失函数为：

8.根据权利要求7所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：正例集合Pi的选取受渐进式学习策略影响，在训练前期模型特征提取能力不强时，只融合自监督信号直接可达的子簇；在训练后期模型特征提取能力提高时，融合所有可达子簇。

9.根据权利要求8所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：所述训练前期和所述训练后期的分界点定义为第一次降低训练学习率的训练轮次时。

10.根据权利要求8所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：所述直接可达的子簇的定义为：给出轨迹TA，若其子轨迹STA被聚类到若干子簇中{ca,cb,...,cz}，则这Z个子簇之间的关系被定义为直接可达；可达子簇的定义为：给出轨迹TA和TB，如果TA的子轨迹被聚类到子簇ca,cb中，TB的子轨迹被聚类到子簇cb,cc中，则子簇ca,cc的关系被定义为可达。

...

【技术特征摘要】

1.一种基于自监督精细分类的视频行人重识别方法，通过模型基于视频进行行人重识别任务，其特征在于：所述模型在其训练阶段包括以下步骤：

2.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述s2中，所述帧的特征fi,j的计算方式为：

3.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述s2中，通过相似度计算筛选出轨迹中的噪声帧，并过滤掉噪声帧，获得初步清洗好噪声帧的轨迹；

4.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述s3中，采用等间隔顺序划分的方式将清洗好的轨迹划分为多个等长的子轨迹：

5.根据权利要求1所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：在所述s4中，采用dbscan聚类方法对获得的所有子轨迹进行聚类，将每个子轨迹分配到子簇中并赋予伪标签，得到初步标注好的数据集其中，代表第i个子轨迹的伪标签，ns为伪标签总类别数。

6.根据权利要求5所述的一种基于自监督精细分类的视频行人重识别方法，其特征在于：将聚类算法...

【专利技术属性】
技术研发人员：李厚荣，冯江宇，董景超，李斌，薛向阳，王麒藻，蒋孝云，朱克宏，何佐耀，徐国栋，王扇良，陈晓东，
申请(专利权)人：中铁二十四局集团有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人