一种车辆的重识别方法技术

本申请公开了一种车辆的重识别方法

【技术实现步骤摘要】
一种车辆的重识别方法、系统及终端


[0001]本申请涉及自动驾驶感知
，尤其涉及一种车辆的重识别方法
、
系统
、
终端及计算机可读存储介质
。

技术介绍

[0002]车辆重识别是重识别（
ReID
）的子问题，是指给定一张车辆图像，找出车辆图像库中的同一车辆，也可将车辆重识别问题看作图像检索的子问题
。
在真实交通监控系统中，车辆重识别可以起到对目标车辆进行定位
、
监管以及刑侦的作用
。
随着深度神经网络的兴起和大型数据集的提出，提升车辆重识别的准确度成为近年来计算机视觉和自动驾驶领域的研究热点
。
[0003]重识别方法根据损失函数来进行分类，通常可分为度量学习和表征学习方法
。
其中度量学习是通过网络学习到两张图片相似度，在车辆重识别问题上，具体为同一车辆的不同照片的相似度大于不同车辆的不同照片
。
最后网络的损失函数使得相同车辆图片（正样本对）的距离尽可能小（例如经过网络提取特征后，抽象到向量的空间中，此时可通过衡量两个向量的距离，如两向量之间的余弦值，距离越小，说明两个向量越相近；同理，距离越小，表示两张图片越相似），不同车辆的图片（负样本对）的距离尽可能大
。
常用的度量学习损失方法有对比损失（
Constrative Loss
），三元组损失（
Triplet Loss
），四元组损失（
Quadruplet loss
）
、
难样本采样三元组损失（
TriHard loss
）以及边界挖掘损失（
Margin sample mining loss MSML
）
。
而表征学习没有直接在训练网络的时候考虑图片间的相似度，而是把车辆重识别任务当作分类问题看待
。
在车辆重识别问题上，利用车辆的
ID
作为训练标签来训练模型，训练集中的行人的
ID
数为网络的类别数，特征层后接一个分类的全连接层，经过
Softmax
（或者
Softmax
的改进版本）激活函数计算交叉熵损失，在测试阶段使用倒数第二层的特征层向量来表征车辆图像，丢弃掉分类的全连接层
。
表征学习的方法，即使用分类的方法，使用构建好的大规模的车辆
ID
数据来进行训练，分类方式训练出来的模型特点是泛化性高，指标上表现是召回率更高
。
度量学习方法，可针对性构造二元组或三元组或四元组，使用对应的度量学习损失函数来进行模型训练，此方法可通过针对性的二元组或三元组或四元组构造来提高模型对特定样本的区分度，便于正对
Corner Case
（难样本数据）进行优化，且可提升精确率
。
[0004]但目前现有技术中的车辆重识别方法多集中在对车辆重识别所应用模型结构的研究，却并没有从车辆重识别系统构建角度下以及在应用环境中考虑整个车辆重识别系统的可迭代优化性，从而导致得到的车辆重识别结果准确性不高
。
[0005]因此，现有技术还有待于改进和发展
。

技术实现思路

[0006]本申请的主要目的在于提供一种车辆的重识别方法
、
系统
、
终端及计算机可读存储介质，旨在解决现有技术中无法从车辆重识别系统构建角度下以及在应用环境中考虑整
个车辆重识别系统的可迭代优化性，从而导致得到的车辆重识别结果准确性不高的问题
。
[0007]本申请第一方面实施例提供一种车辆的重识别方法，包括以下步骤：根据第一车辆图像训练集和第二车辆图像训练集构建得到召回模型和排序模型，并基于实际业务需求构建车辆图像数据库，其中，所述车辆图像数据库包含实际业务中所需的所有的待检索车辆图像；获取目标检索图像，将所述目标检索图像输入召回模型，并基于所述召回模型将所述目标检索图像与所述车辆图像数据库中的每个车辆图像进行特征向量匹配，得到候选车辆图像；将所述目标检索图像输入所述排序模型，得到所述目标检索图像对应的目标特征向量；通过所述排序模型将所述目标特征向量与所述候选车辆图像对应的候选特征向量进行相似度计算，得到所述目标检索图像对应的车辆重识别图像
。
[0008]根据上述技术手段，本申请实施例将车辆重识别的两种模型与搜索架构进行结合，得到第一阶段召回模型和第二阶段排序模型，以此来构建车辆重识别系统，通过将目标检索图像依次输入至召回模型和排序模型进行筛选，能够快速精准的获取目标检索图像的车辆重识别图像
。
同时，通过实时采集应用环境中的
Corner case
难样本数据不断对车辆重识别系统进行反馈，能够进一步迭代优化模型，提高车辆重识别的准确性
。
[0009]可选地，在本申请的一个实施例中，所述根据第一车辆图像训练集和第二车辆图像训练集构建得到召回模型和排序模型，具体包括：获取第一车辆图像训练集和第二车辆图像训练集，根据所述第一车辆图像训练集对分类模型进行训练，得到召回模型，其中，所述第一车辆图像训练集包括开源数据集或基于自身业务构建的车辆
ID
数据集，所述第二车辆图像训练集包括所述基于自身业务构建的车辆
ID
数据集
、
所述开源数据集以及历史难样本数据集；根据所述第二车辆图像训练集对孪生网络模型进行训练，得到排序模型，其中，所述孪生网络模型的主干网络加载了所述召回模型的主干网络
。
[0010]根据上述技术手段，本申请实施例可以通过设置不同的图像数据集来对车辆重识别模型中表征学习的分类模型进行训练来得到召回模型，并将召回模型作为孪生网络模型的预训练模型进行训练得到排序模型，以此来构建得到召回模型和排序模型
。
另外，本申请还在第二图像数据集中引入历史难样本数据集，大大提高了排序模型对目标检索图像筛选检索的准确性
。
[0011]可选地，在本申请的一个实施例中，所述分类模型的模型主干网络为
Arcface
模型
、SwinTransformer
模型
、ConvNeX
模型
、ResNet18
模型或
MobileNet
模型中的一种
。
[0012]根据上述技术手段，本申请实施例通过对车辆重识别模型中表征学习的分类模型进行设置，分类模型中的模型主干网络可以根据实际生产环境中的限制因素来进行选择，对于大规模数据可以采用
SwinTransformer
模型和
ConvNeX
模型，对于轻量模型可采用
ResNet18
模型和
MobileNet
模型，根据不同的环境限制选择本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种车辆的重识别方法，其特征在于，所述车辆的重识别方法包括：根据第一车辆图像训练集和第二车辆图像训练集构建得到召回模型和排序模型，并基于实际业务需求构建车辆图像数据库，其中，所述车辆图像数据库包含实际业务中所需的所有的待检索车辆图像；获取目标检索图像，将所述目标检索图像输入召回模型，并基于所述召回模型将所述目标检索图像与所述车辆图像数据库中的每个车辆图像进行特征向量匹配，得到候选车辆图像；将所述目标检索图像输入所述排序模型，得到所述目标检索图像对应的目标特征向量；通过所述排序模型将所述目标特征向量与所述候选车辆图像对应的候选特征向量进行相似度计算，得到所述目标检索图像对应的车辆重识别图像
。2.
根据权利要求1所述车辆的重识别方法，其特征在于，所述根据第一车辆图像训练集和第二车辆图像训练集构建得到召回模型和排序模型，具体包括：获取第一车辆图像训练集和第二车辆图像训练集，根据所述第一车辆图像训练集对分类模型进行训练，得到召回模型，其中，所述第一车辆图像训练集包括开源数据集或基于自身业务构建的车辆
ID
数据集，所述第二车辆图像训练集包括所述基于自身业务构建的车辆
ID
数据集
、
所述开源数据集以及历史难样本数据集；根据所述第二车辆图像训练集对孪生网络模型进行训练，得到排序模型，其中，所述孪生网络模型的主干网络加载了所述召回模型的主干网络
。3.
根据权利要求2所述车辆的重识别方法，其特征在于，所述分类模型的模型主干网络为
Arcface
模型
、SwinTransformer
模型
、ConvNeX
模型
、ResNet18
模型或
MobileNet
模型中的一种
。4.
根据权利要求1所述车辆的重识别方法，其特征在于，所述基于实际业务需求构建车辆图像数据库，具体包括：获取基于实际业务需求采集的待检测车辆图像数据集，并将所述待检测车辆图像数据集输入至所述召回模型，得到所述待检测车辆图像数据集中每个车辆图像对应的特征向量；根据所述待检测车辆图像数据集中的车辆图像以及所述车辆图像对应的特征向量构建召回正排库，并根据所述召回正排库构建召回倒排库，其中，所述召回正排库和所述召回倒排库组合为所述车辆图像数据库
。5.
根据权利要求4所述车辆的重识别方法，其特征在于，所述获取目标检索图像，将所述目标检索图像输入召回模型，并基于所述召回模型将所述目标检索图像与所述车辆图像数据库中的每个车辆图像进行特征向量匹配，得到候选车辆图像，具体包括：获取目标检索图像，并将所述目标检索图像输入所述召回倒排库，得到所述目标检索图像对应的召回特征向量；获取所述召回倒排库中的特征向量，并根据所述召回倒排库中的特征向量和所述召回特征向量得到候选车辆图像
。6.
根据权利要求5所述车辆的重识别方法，其特征在于，所述根据所述召回倒排库中的特征向量和所述召回特征向量得到候选车辆图像，具体包括：
计算所述召回特征向量与所述召回倒排库中的特征向量之间的相似度，筛选出所述召回倒排库中相似度大于第一预设阈值的特征向量对应的候选车辆图像
。7.
根据权利要求4所述车辆的重识别方法，其特征在于，所述将所述目标检索图像输入所述排序模型，得到所述目标检索图像对应的目标特征向量，之前还包括：将所述排序模型划分为排序正排库特征提取模块和相似度计算模块
。8.
根据权利要求7所述车辆的重识别方法，其特征在于，所述将所述排序模型划分为排序正排库特征提取模块和相似度计算模块，具体包括：根据所述排序模型中...

【专利技术属性】
技术研发人员：邢允，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：