基于Transformer的两步式领域自适应行人再识别方法技术

本发明专利技术公开了基于Transformer的两步式领域自适应行人再识别方法，属于行人再识别技术领域，具体包括：将源域图像预处理并添加class token；构建Transformer识别模型，将所述源域图像和class token编码后输入Transformer识别模型，提取源域图像中的行人特征，并反向传播更新模型；获取目标域图像，将目标域图像进预处理并添加class token；将class token作为域指示器，固定模型中除class token以外的参数，将目标域图像编码后输入Transformer识别模型，提取目标域图像中的行人特征，并反向传播更新模型；开放模型中所有参数，将经过过滤的目标域图像输入Transformer识别模型，提取目标域图像的行人特征，并反向传播更新模型；本发明专利技术将Transformer应用到领域自适应行人再识别中，提升了识别模型的性能。提升了识别模型的性能。提升了识别模型的性能。

【技术实现步骤摘要】
基于Transformer的两步式领域自适应行人再识别方法


[0001]本专利技术涉及行人再识别
，具体涉及基于Transformer的两步式领域自适应行人再识别方法。

技术介绍

[0002]行人再识别(Person re
‑
identification)也称行人重识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像，旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
[0003]有监督学习的行人再识别已经取得了较为理想的效果。具体为利用数据标签通过深度网络提取图像的特征，反向传播更新模型进行训练。应用/测试时，将待查询图像通过深度网络提取特征，与库中所有图像提取的特征比较，选中特征较为接近的图像，现有的深度网络一般使用卷积神经网络，然而实际应用中的场景图像与训练用的图像往往存在一定风格差异，会导致模型识别性能大幅下降，根本原因在于模型泛化能力差，在目标域人工标注部分数据可以解决该问题，但是人工标注需要很高的标注成本和时间。

技术实现思路

[0004]本专利技术的目的在于提供基于Transformer的两步式领域自适应行人再识别方法，解决以下技术问题：
[0005](1)现有的深度网络一般使用卷积神经网络，然而实际应用中的场景图像与训练用的图像往往存在一定风格差异，会导致模型识别性能大幅下降，根本原因在于模型泛化能力差，在目标域人工标注部分数据可以解决该问题，但是人工标注需要很高的标注成本和时间。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]1、基于Transformer的两步式领域自适应行人再识别方法，其特征在于，包括以下步骤：
[0008]S1、从数据库获取有标签的源域图像，将源域图像进行预处理并添加作为提示的class token；
[0009]S2、基于Transformer深度网络构建Transformer识别模型，将S1处理后的源域图像经过position embedding编码排序后输入Transformer识别模型，提取所述源域图像中的行人特征，并利用源域标签反向传播更新模型，反复迭代直至收敛；
[0010]S3、获取无标签的目标域图像，将目标域图像进行预处理并添加作为提示的class token；
[0011]S4、将class token作为域指示器，固定Transformer识别模型中除class token以外的参数，将S3处理后的目标域图像经过position embedding编码排序后输入Transformer识别模型，提取目标域图像中的行人特征，聚类生成伪标签，并利用伪标签反
向传播更新模型，反复迭代直至收敛；
[0012]S5、开放Transformer识别模型所有参数，对S3处理后的目标域图像进行过滤并输入Transformer识别模型，再次提取目标域图像中的行人特征，聚类更新伪标签，并利用伪标签反向传播更新模型，反复迭代直至收敛。
[0013]作为本专利技术进一步的方案，所述预处理的过程为：
[0014]将源域图像或目标域图像划窗为若干个尺寸相同的图像块，并将所述图像块线性映射为向量。
[0015]作为本专利技术进一步的方案，所述预处理的过程还包括：
[0016]相邻的所述图像块之间存在重叠区域，所述重叠区域的面积占单个所述图像块面积的a％，a为预设值。
[0017]作为本专利技术进一步的方案，在所述伪标签反向传播更新模型后，Transformer识别模型再次对目标域图像提取行人特征，并对行人特征进行聚类更新目标域图像的伪标签，从而生成新的目标域图像对。
[0018]作为本专利技术进一步的方案，所述目标域图像的一种过滤方法为：
[0019]设定固定阈值，通过所述固定阈值对目标域图像特征计算的损失函数加权，实现目标域图像的过滤。
[0020]作为本专利技术进一步的方案，所述目标域图像的另一种过滤方法为：
[0021]分别通过源域向量与目标域向量连结其他参数的Transformer识别模型提取特征，计算源域向量与目标域向量之间的KL散度，将所述KL散度作为不确定度，通过所述不确定度对目标域图像特征计算的损失函数加权，实现目标域图像软过滤。
[0022]作为本专利技术进一步的方案，所述Transformer模型通过ImageNet大规模图像分类初始化，所述源域图像为仅包含行人的图像。
[0023]作为本专利技术进一步的方案，所述S2中还包括：
[0024]根据所述源域图像标签之间的交叉熵损失函数与三元组损失函数，通过梯度下降反向传播更新Transformer识别模型。
[0025]本专利技术的有益效果：
[0026]本专利技术提供了一种基于Transformer的行人识别模型，首先对Transformer深度网络进行适应性网络改造，并创新提出提示与微调的两步式领域自适应行人再识别方法，即运用改造好的Transformer深度网络代替卷积神经网络作为领域自适应学习的深度网络，并利用其网络独特结构class token应用于无监督域自适应，class token作为域指示器进行训练实现了源域与目标域的迁移，提升了模型泛化能力，相对于其他基于卷积神经网络方法，本专利技术的检测识别准确率提升、对跨域适应性强，对大数据图像识别更便捷准确；在公开数据集上的检测结果表明，所实现算法取得了优于当前主流算法的行人身份匹配准确率，具有非常优秀的重识别性能；基于Transformer深度网络的行人识别模型，为图像识别与自然语言转换识别在同一网络模型下的联合识别，做好了开创性的基础。
附图说明
[0027]下面结合附图对本专利技术作进一步的说明。
[0028]图1是本专利技术的流程示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0030]请参阅图1所示，本专利技术为基于Transformer的两步式领域自适应行人再识别方法，包括以下步骤：
[0031]S1、从数据库获取有标签的源域图像，将源域图像进行预处理并添加作为提示的class token；
[0032]S2、基于Transformer深度网络构建Transformer识别模型，将S1处理后的源域图像经过position embedding编码排序后输入Transformer识别模型，提取所述源域图像中的行人特征，并利用源域标签反向传播更新模型，反复迭代直至收敛；
[0033]S3、获取无标签的目标域图像，将目标域图像进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer的两步式领域自适应行人再识别方法，其特征在于，包括以下步骤：S1、从数据库获取有标签的源域图像，对源域图像进行预处理并添加作为提示的class token；S2、基于Transformer深度网络构建Transformer识别模型，将S1处理获得的源域向量经过position embedding编码排序后输入Transformer识别模型，提取所述源域图像中的行人特征，并利用源域标签反向传播更新模型，反复更新源域标签和当前模型，如此迭代直至收敛；S3、获取无标签的目标域图像，对目标域图像进行预处理并添加作为提示的class token；S4、将class token作为域指示器，固定Transformer识别模型中除class token以外的参数，将S3处理后获得的目标域向量经过position embedding编码排序后输入Transformer识别模型，提取目标域图像中的行人特征，聚类生成新的伪标签，并利用伪标签反向传播更新模型，反复更新伪标签与当前模型，如此迭代直至收敛；S5、开放Transformer识别模型所有参数，将S3处理后获得的目标域向量进行过滤并输入Transformer识别模型，再次提取目标域图像中的行人特征，聚类更新伪标签，并利用伪标签反向传播更新模型，反复更新伪标签与当前模型，如此迭代直至收敛。2.根据权利要求1所述的基于Transformer的两步式领域自适应行人再识别方法，其特征在于，所述预处理的过程为：将源域图像或目标域图像划窗为若干个尺寸相同的图像块，并将所述图像块线性映射为向量。3.根据权利要求2所述的基于Transformer的两步式领域自适应行人...

【专利技术属性】
技术研发人员：余盛铭，王生进，
申请(专利权)人：佛山市帆思科材料技术有限公司，
类型：发明
国别省市：