一种面向航拍影像的无监督车辆重识别方法技术

本发明专利技术涉及计算机视觉附属装置的技术领域，特别是涉及一种面向航拍影像的无监督车辆重识别方法，可以直接从采集的原始视频中无监督的学得车辆重识别特征表示，包括以下步骤：(一)、从原始视频中随机挑选出200帧用来标注车辆框，然后训练车辆检测模型；(二)、根据训练好的车辆检测模型得到所有视频帧中的车辆的位置和边界框参数。(三)、根据目标车辆边界框参数和循环一致性方法训练车辆跟踪定位模型。(四)、根据车辆跟踪定位模型把视频帧中的对应车辆关联起来并标注相应的车辆ID(身份标识号)。(五)、根据自动标注好的车辆数据训练神经网络并更新参数，然后在测试集上提取车辆特征并进行检索。

【技术实现步骤摘要】
一种面向航拍影像的无监督车辆重识别方法
本专利技术涉及计算机视觉附属装置的
，特别是涉及一种面向航拍影像的无监督车辆重识别方法。
技术介绍
目标重识别技术是目标广域检索与长时跟踪、轨迹预测，以及智慧城市、平安工程等应用的基础，具有重要的研究意义和应用价值。车辆重识别是实现高效交通监控和智能城市监控的重要技术之一。给定查询目标车辆图像，车辆重识别需要在监控摄像头或网络中收集的大规模车辆图像库中查找属于同一车辆的图像。当前的车辆重识别方法主要分为三类：基于度量学习进行全局特征优化；融合局部细节进行高判别力特征学习；基于视角信息学习视角鲁棒特征。虽然车辆重识别已经取得较大发展，但是这些方法都依赖于大量的人工标注数据的训练。目前，还没有无监督车辆重识别算法的相关工作，但关于行人的无监督重识别算法已经被广泛关注和研究，主要分为两类：减小源数据集和目标数据集的分布差异，然后把在源数据集上学到的模型直接应用到目标数据集上；利用源数据集学到的模型对目标数据集聚类然后标注伪标签，根据得到的伪标签微调网络参数。这些无监督重识别方法都会利用一个或多个源数据集来提高网络模型在目标数据集上的泛化性能。但是，当源数据和目标数据分布差异过大时，这种迁移学习方法和聚类方法就很难获得比较好的性能。如果可以不依赖任何其他相关数据集和标签，直接从原始视频中自动标注车辆ID(identification，身份标识号)并学习重识别特征，则会极大地方便重识别技术的扩展和落地。利用无监督跟踪技术自动标注视频中车辆的ID可以减轻重识别技术对大量人工标注数据的依赖。而先前的工作并没有类似解决问题的方法。
技术实现思路
为解决上述技术问题，本专利技术提供一种可以直接从采集的原始视频中无监督的学得车辆重识别特征表示的面向航拍影像的无监督车辆重识别方法。本专利技术的一种面向航拍影像的无监督车辆重识别方法，包括以下步骤：(一)、从原始视频中随机挑选出200帧用来标注车辆框，然后训练车辆检测模型；(二)、根据训练好的车辆检测模型得到所有视频帧中的车辆的位置和边界框参数。(三)、根据目标车辆边界框参数和循环一致性方法训练车辆跟踪定位模型。(四)、根据车辆跟踪定位模型把视频帧中的对应车辆关联起来并标注相应的车辆ID(身份标识号)。(五)、根据自动标注好的车辆数据训练神经网络并更新参数，然后在测试集上提取车辆特征并进行检索。本专利技术的一种面向航拍影像的无监督车辆重识别方法，所述步骤(一)中，训练车辆检测模型时，选择目标检测任务中广泛使用的SSD作为车辆检测的基础模型。本专利技术的一种面向航拍影像的无监督车辆重识别方法，所述步骤(二)中，边界框参数即为车辆目标的四个顶点在帧中的相对位置。本专利技术的一种面向航拍影像的无监督车辆重识别方法，所述步骤(四)中，在把对应车辆关联起来并标注相应的车辆ID的过程中，采用车辆检测框替代车辆定位区域及时修正跟踪定位结果。本专利技术的一种面向航拍影像的无监督车辆重识别方法，所述步骤(三)中，引入自监督三元组损失函数辅助车辆特征表示学习。本专利技术的一种面向航拍影像的无监督车辆重识别方法，所述步骤(五)中，把自动标注的车辆数据与人工标注的车辆数据相结合进行网络训练，进一步提高车辆特征的表示能力。与现有技术相比本专利技术的有益效果为：设计了一个循环一致性学习方法，用来无监督的学习一个车辆跟踪定位模块，并引入三元组损失函数优化跟踪定位模块的训练，同时加速网络收敛；训练阶段可以挖掘海量的无标签视频数据的内在对应关系，测试阶段可以根据前一帧中目标车辆的位置推断出目标车辆在下一帧中出现的位置；利用学到的车辆跟踪定位模块，解决视频中无标签车辆数据自动分配标签的问题；能根据海量的无标签视频数据，自动标注视频中各个车辆的ID信息，减轻车辆重识别技术对大量人工标注数据的依赖；在自动标注车辆数据集的过程中，采用车辆检测框替代车辆定位区域及时修正跟踪定位结果；使得从视频帧中抠出和标注的车辆图片更加准确，进而可以获得更好的车辆特征表示能力；在自动标注车辆数据集后，利用同标签之间特征距离关系去除一些噪声图片；使得自动标注的车辆数据集更加干净、准确，进而有利于获得更好的车辆特征表示能力；将自动标注的车辆数据与人工标注的车辆数据相结合进行模型训练；首先利用自动标注的车辆数据预训练网络，然后再在人工标注的车辆数据上做微调，可以极大地提高车辆特征的表示能力；相比于之前基于迁移学习或聚类的无监督重识别算法依赖相关源数据集来辅助训练，该方法可以直接从采集的原始视频中无监督的学得车辆重识别特征表示。不需要相关的辅助数据集可以极大地方便重识别系统的扩展和落地应用。另外采用循环一致性方法，把原始视频中各个车辆的图片序列关联起来，进而自动获得各车辆的身份标签信息，可以极大地缓解再识别任务对人工标注数据的依赖。附图说明图1是本专利技术的流程图；图2是循环一致性学习算法装置图；图3是定位模块结构图；图4是训练数据量的大小对再识别性能的影响结果图；图5是车辆序列自动标注结果展示图；图6是三元组损失对最终车辆再识别性能的影响表；图7是采用车辆检测框替代车辆定位区域及时修正跟踪定位结果对最终车辆再识别性能的影响表；图8是结合自动标注数据和有监督数据的性能展示表；附图中标记：具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。实施例：由图1可知，包括如下步骤：1、从原始视频中随机挑选出200帧用来标注车辆框，然后训练车辆检测模型。具体而言，在步骤1训练车辆检测模型时，选择目标检测任务中广泛使用的SSD作为车辆检测的基础模型。把从训练视频中随机抽取的200帧图像和对应的车辆框标注文件作为输入(输入图像尺寸缩放到512*512大小)，训练检测模型SSD，模型收敛后保存模型参数。2、根据训练好的车辆检测模型得到所有视频帧中的车辆的位置和边界框参数θ。边界框参数即为车辆目标的四个顶点在帧中的相对位置。例如，以帧的左上角为(0,0)，右下角为(1,1)进行坐标归一化。3、根据目标车辆边界框参数和循环一致性方法训练车辆跟踪定位模型LM(LocalizationModel)。在训练时，通过无监督的方式，在每一帧中选取一个三元组构建三元损失函数，进而辅助车辆跟踪定位模型更好更快地收敛。由图2和图3可知，具体而言，前向跟踪定位时，根据两张连续帧图片It，It+1及图片It中对应的车辆位置参数θt，从It中随机选择一个车辆位置以此抠出对应的目标车辆图片Tt，以及以Tt为中心四倍Tt大小的对应It，It+1中的搜索区域Pt和Pt+1。把Tt，Pt和Pt+1输入图3中共享参数的网络中得到特征图和然后计算两个特征向量之间的相似性矩阵：其中和都在c维度上进行了二范数归一化。在H后面再接上一个卷积层和全连接层，最后输出拥有三个本文档来自技高网...

【技术保护点】
1.一种面向航拍影像的无监督车辆重识别方法，其特征在于，包括以下步骤：/n(一)、从原始视频中随机挑选出200帧用来标注车辆框，然后训练车辆检测模型；/n(二)、根据训练好的车辆检测模型得到所有视频帧中的车辆的位置和边界框参数。/n(三)、根据目标车辆边界框参数和循环一致性方法训练车辆跟踪定位模型。/n(四)、根据车辆跟踪定位模型把视频帧中的对应车辆关联起来并标注相应的车辆ID(身份标识号)。/n(五)、根据自动标注好的车辆数据训练神经网络并更新参数，然后在测试集上提取车辆特征并进行检索。/n

【技术特征摘要】
1.一种面向航拍影像的无监督车辆重识别方法，其特征在于，包括以下步骤：
(一)、从原始视频中随机挑选出200帧用来标注车辆框，然后训练车辆检测模型；
(二)、根据训练好的车辆检测模型得到所有视频帧中的车辆的位置和边界框参数。
(三)、根据目标车辆边界框参数和循环一致性方法训练车辆跟踪定位模型。
(四)、根据车辆跟踪定位模型把视频帧中的对应车辆关联起来并标注相应的车辆ID(身份标识号)。
(五)、根据自动标注好的车辆数据训练神经网络并更新参数，然后在测试集上提取车辆特征并进行检索。


2.如权利要求1所述的一种面向航拍影像的无监督车辆重识别方法，其特征在于，所述步骤(一)中，训练车辆检测模型时，选择目标检测任务中广泛使用的SSD等目标检测算法作为车辆检测的基础模型。

【专利技术属性】
技术研发人员：黄庆明，滕尚志，张史梁，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京;11