基于合成数据消除无监督车辆再识别偏差的方法及系统技术方案

本发明专利技术涉及一种基于合成数据消除无监督车辆再识别偏差的方法及系统，该方法包括以下步骤：S1、通过保持一致性的生成对抗网络SPGAN将合成数据转化为与目标域具有相似风格的伪目标样本，通过伪目标样本对模型进行预训练；S2、通过预训练好的模型进行无监督域自适应或完全无监督任务；S3、通过预先训练好的方向模型和相机模型计算出图像的方向和相机相似度，进而得到最终的车辆相似度用于测试。该方法及系统有利于提高车辆再识别性能，且适应性强。且适应性强。且适应性强。

【技术实现步骤摘要】
基于合成数据消除无监督车辆再识别偏差的方法及系统


[0001]本专利技术属于车辆再识别
，具体涉及一种基于合成数据消除无监督车辆再识别偏差的方法及系统。

技术介绍

[0002]随着计算机视觉和物联网的不断发展，促进了智慧城市概念的实现。其中，车辆作为智能城市应用里的重要对象，受到了广泛的关注。由于许多监控摄像机已经安装完毕，车辆再识别可以利用这些摄像机来分析交通场景，而不需要用一些特殊的硬件来替换它们。车辆再识别作为一个前沿和重要的研究课题，指的就是在一个一个特定范围内的交通监控场景下，判断非重叠区域的不同摄像机所拍摄到的车辆图像是否属于同一辆车的检索问题。
[0003]与以往的重复图像检索不同，由于不同的摄像机捕捉到的车辆图像受到车辆姿态、视点、光照条件和分辨率的影响，导致同一车辆在不同视角下产生的类内差异(inter
‑
class variability)或不同车辆因型号相同形成的类间相似(intra
‑
class similarity)，这也是车辆再识别任务所面临的两个巨大挑战。具体来说，由于不同方向和遮挡，例如从车的正面和背面分别观察车辆，会导致同一辆车产生较大的类内差异；同时，相同类型、颜色的车辆因为相同的制造过程，使其在视觉上十分相似，造成了较小的类间差异。
[0004]相比于以前依赖手工设计特征的传统机器学习方法，利用深度学习在大量的训练数据中自动学习特征，包含上千个参数，节省了手工设计特征的时间，提取出更好的特征。神经网络模型对大规模标注数据具有强大的学习能力，各种监督学习的方法能够显著提升车辆再识别的性能。目前基于监督学习的车辆再识别方法主要集中在对局部特征进行处理，主要包括基于车辆关键点定位提取车辆的局部特征，或结合目标检测模型先检测出车辆的感兴趣区域，然后对相应的区域提取出车辆的局部特征。大多数监督学习的方法都需要额外的人工标注，但是对实际训练图像进行人工标注的代价很高，而且十分容易出错。
[0005]尽管基于监督学习的方法取得了很大的进步，但是需要大量的人工注释来训练网络模型，十分耗费时间和精力，并且模型的泛化能力也较差，不能满足实际应用的要求。为此，一些基于无监督的车辆再识别方法应运而生，其又分为无监督域自适应和完全无监督两个方向。无监督域自适应方法需要额外一个具有标签的源域数据集，从而将源域学习到的信息转移到目标域上；而完全无监督方法只用无标签的目标域数据进行训练。
[0006]虽然上述的几种主流提取局部区域特征的方法能达到很好的效果，但是可以观察到目前大多数车辆再识别方法都需要对原始数据集上的车辆图像进行标注，如车辆关键点的标注，车辆局部区域的标注，车辆姿态方向的标注等一些额外标注信息，因此需要标注的信息非常多。在现实世界中，很难收集到包含不同角度的车辆图片的数据集，并且图片的数量可以达到几十万张，如果都要对这些图像进行标注，可想而知工作量十分庞大。而且过于依赖标注的模型，其泛化性较差，一旦改变数据，模型就无法正常工作，不适合现实应用。目前对于无监督车辆再识别方法的研究还十分的少，相比于监督学习，无监督面临的挑战更
加巨大，如不同数据集之间造成的域间误差以及没有标签下各种视角和不同车辆方向造成的域内误差。且目前大多数方法都集中于无监督域自适应，在完全无监督领域的效果并不好。

技术实现思路

[0007]本专利技术的目的在于提供一种基于合成数据消除无监督车辆再识别偏差的方法及系统，该方法及系统有利于提高车辆再识别性能，且适应性强。
[0008]为实现上述目的，本专利技术采用的技术方案是：一种基于合成数据消除无监督车辆再识别偏差的方法，包括以下步骤：
[0009]S1、通过保持一致性的生成对抗网络SPGAN将合成数据转化为与目标域具有相似风格的伪目标样本，通过伪目标样本对模型进行预训练；
[0010]S2、通过预训练好的模型进行无监督域自适应或完全无监督任务；
[0011]S3、通过预先训练好的方向模型和相机模型计算出图像的方向和相机相似度，进而得到最终的车辆相似度用于测试。
[0012]进一步地，所述步骤S1中，利用SPGAN将合成数据X
h
的风格迁移到目标域，生成伪目标样本X
h
→
t
。
[0013]进一步地，所述模型采用相互平均教学模型MMT，所述MMT由一对网络Net以及网络的平均模型Mean
‑
Net构成，每个Mean
‑
Net监督另一个Net的训练，训练结束后采用性能更好的那个Mean
‑
Net进行测试；采用的Net为ResNet
‑
50，则所述伪目标样本进行预训练的网络即为ResNet
‑
50；
[0014]训练完成之后加载预训练好的参数并通过源域和目标域数据联合进行再次训练，且每个批次输入的目标域和源域数据的数量相等，故设联合数据集X＝X
s
∪X
t
；设两个网络为和而其Mean
‑
Net的参数E[θ]是根据对应Net的参数θ以动量α进行更新，表示为如下公式：
[0015]E[θ]＝αE[θ]+(1
‑
α)θ
[0016]将两个Mean
‑
Net表示为和Mean
‑
Net分别用分类器和预测目标域的软伪标签[]，并通过软交叉熵损失来监督另一个Net，软交叉熵损失表达式为：
[0017][0018]其中，x
i
和x
′
i
表示同一张图片经过不同的数据增强模式输入到各自Net和Mean
‑
Net中，I表示联合数据集X的身份数量；除了通过Mean
‑
Net在线生成软伪标签对Net进行优化，Net还利用聚类生成的硬伪标签进行监督，并通过交叉熵损失函数l
ce
构成的硬标签损失进行优化，其表达式为：
[0019][0020]因此，MMT的整体损失
[0021]进一步地，对通过合成图像训练好的方向模型和相机模型进行后处理，以提升无监督车辆再识别性能，网络模型采用的都是IBN
‑
Net50
‑
a；
[0022]取效果较好的一个Mean
‑
Net作为模型进行测试，设车辆图像x
i
经过模型生成特征向量f
v
(x
i
)，则车辆图像x
i
，和x
j
的距离表示为：
[0023]D
v
(x
i
，x
j
)＝||f
v
(x
i
)
‑
f
v
(x
j
)||
[0024]通过角度将方向分为36个ID，每10度一个ID，再将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于合成数据消除无监督车辆再识别偏差的方法，其特征在于，包括以下步骤：S1、通过保持一致性的生成对抗网络SPGAN将合成数据转化为与目标域具有相似风格的伪目标样本，通过伪目标样本对模型进行预训练；S2、通过预训练好的模型进行无监督域自适应或完全无监督任务；S3、通过预先训练好的方向模型和相机模型计算出图像的方向和相机相似度，进而得到最终的车辆相似度用于测试。2.根据权利要求1所述的基于合成数据消除无监督车辆再识别偏差的方法，其特征在于，所述步骤S1中，利用SPGAN将合成数据X
h
的风格迁移到目标域，生成伪目标样本X
h
→
t
。3.根据权利要求2所述的基于合成数据消除无监督车辆再识别偏差的方法，其特征在于，所述模型采用相互平均教学模型MMT，所述MMT由一对网络Net以及网络的平均模型Mean
‑
Net构成，每个Mean
‑
Net监督另一个Net的训练，训练结束后采用性能更好的那个Mean
‑
Net进行测试；采用的Net为ResNet
‑
50，则所述伪目标样本进行预训练的网络即为ResNet
‑
50；训练完成之后加载预训练好的参数并通过源域和目标域数据联合进行再次训练，且每个批次输入的目标域和源域数据的数量相等，故设联合数据集X＝X
s
UX
t
；设两个网络为和而其Mean
‑
Net的参数E[θ]是根据对应Net的参数θ以动量α进行更新，表示为如下公式：E[θ]＝αE[θ]+(1
‑
α)θ将两个Mean
‑
Net表示为和Mean
‑
Net分别用分类器和预测目标域的软伪标签[]，并通过软交叉熵损失来监督另一个Net，软交叉熵损失表达式为：其中，x
i
和x
′
i
表示同一张图片经过不同的数据增强模式输入到各自Net和Mean
‑
Net中，I表示联合数据集X的身份数量；除了通过Mean
‑
Net在线生成软伪标签对Net进行优化，Net还利用聚类生成的硬伪标签进行监督，并通过交叉熵损失函数l
ce
构成的硬标签损失进行优化，其表达式为：因此，MMT的整体损失4.根据权利要求3所述的基于合成数据消除无监督车辆再识别偏差的方法，其特征在于，对通过合成图像训练好的方向模型和相机模型进行后处理，以提升无监督车辆再识别性能，网络模型采用的都是IBN
‑
Net50
‑
a；取效果较好的一个Mean
‑
Net作为模型进行测试，设车辆图像x
i
经过模型生成特征向量f
v
(x
i
)，则车辆图像x
i
，和x
j
的距离表示为：
D
v
(x
i
，x
j
)＝||f
v
(x
...

【专利技术属性】
技术研发人员：黄立勤，林雷杰，潘林，杨明静，
申请(专利权)人：福州大学，
类型：发明
国别省市：