车辆匹配方法及设备组成比例

本发明专利技术的目的是提供一种车辆匹配方法及设备，通过从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，能够更准确的在第二帧图像中找到待判定的车辆，为车辆追踪提供更高精度的技术支持。

Vehicle matching method and equipment

【技术实现步骤摘要】
车辆匹配方法及设备
本专利技术涉及计算机领域，尤其涉及一种车辆匹配方法及设备。
技术介绍
无论在交通违法审核的图像领域还是在车辆追踪的视频领域，都需要对不同时间段的不同车辆进行一一匹配，了解上一时间段的车辆在下一时间段的位置。现有的车辆重识别系统大多数都是一对多的匹配，其目的在于在下一时间段找到需要定位的车辆，但如果两时间段间隔较长使待定位车辆的位移较大且在下一时间段的其他车辆干扰较多时，很难对下一时间段的当前车辆进行准备定位。
技术实现思路
本专利技术的一个目的是提供一种车辆匹配方法及设备。根据本专利技术的一个方面，提供了一种车辆匹配方法，包括：获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。进一步的，上述方法中，基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆，包括：获取所述第一帧图像中所有车辆的位置信息；基于所述第一帧图像中所有车辆的位置信息，获取所述第一帧图像中所有车辆的车牌号码的位置；基于所述第一帧图像中所有车辆的车牌号码的位置，识别出所述第一帧图像中所有车辆的车牌号码；基于所述待判定的车辆的车牌号码和所述第一帧图像中所有车辆的车牌号码，在所述第一帧图像中定位所述待判定的车辆。进一步的，上述方法中，从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：获取所述第二帧图像中所有车辆的位置信息；基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征。进一步的，上述方法中，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中截取所有车辆的图像；分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，对应得所述第一帧图像中所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征征，包括：基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像截取每一辆车辆的图像；分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型，对应得到所述第二帧图像中所有车辆的特征。进一步的，上述方法中，分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，或分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型之前，还包括：使用深度学习中的caffe框架训练loss最低的模型，以得到loss最低的模型，其中，训练的网络是GoogLenetInception-V2网络，训练目标则是对不同款车辆的车型进行分类，每个分类的数据来源于不同模版帧图像下的同一辆车，并对每个分类进行数据扩充，所述车辆重识别reid模型训练的loss采用softmaxwithloss，即交叉熵损失函数；截取掉所述loss最低的模型中的训练网络的分类层，得到包含训练网络的最后一层的256维全连接层的模型；将包含训练网络的最后一层的256维全连接层的模型作为预训练模型premodel，将相同的车辆组合作为正样本，不同的车辆组合作为负样本，采用孪生网络以及对比损失函数finetune训练所述车辆重识别reid模型。进一步的，上述方法中，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆，包括：比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆。进一步的，上述方法中，比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆。进一步的，上述方法中，获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：步骤S4111，获取所述第一帧图像中的m辆车辆中的每一辆车辆的特征的特征向量和所述第二帧图像中的n辆车辆中的每一辆车辆的特征向量之间的余弦相似度，得到对应的m*n个余弦相似度分数，其中，m、n为大于或等于1的正整数；步骤S4112，将所述第一帧图像中的车辆的标识分别作为矩阵的行号，将第二帧图像中的车辆的标识分别作为矩阵的列号，其中，所述第一帧图像中的车辆的标识中包括所述待判定的车辆的标识；步骤S4113，将m*n个余弦相似度分数填入所述矩阵的对应的行号和列号位置；步骤S4114，判断当前的矩阵的行数和列数是否均大于0，若均大于0则执行步骤S4115，若所述矩阵的行数或列数小于0则执行S4117；步骤S4115，查找当前的矩阵中其行和其列都是最大的数，并记录最大数及其对应的行号和列号；步骤S4116，将当前的矩阵中最大数所在的整行以及整列的余弦相似度分数全部删除，得到剩余的当前的矩阵后，重新从步骤S4114开始执行；步骤S4117，判断所记录的某个最大数的对应行号是否为所述待判定的车辆的标识，若是所述待判定的车辆的标识，判断对应行号为所述待判定的车辆的标识的最大数是否大于预设阈值，若大于所述预设阈值，则确定所述第二帧图像中存在所述待判定的车辆；若小于等于所述预设阈值，则确定所述第二帧图像中不存在所述待判定的车辆；若不是所述待判定的车辆的标识，判则确定所述第二帧图像中不存在所述待判定的车辆。根据本专利技术的另一方面，还提供一种车辆匹配设备，其特征在于，该方法包括：获取装置，用于获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；定位装置，用于基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；提取装置，用于从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；判断装置，用于基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像本文档来自技高网...

【技术保护点】
1.一种车辆匹配方法，其特征在于，该方法包括：获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。

【技术特征摘要】
1.一种车辆匹配方法，其特征在于，该方法包括：获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。2.根据权利要求1所述的方法，其特征在于，基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆，包括：获取所述第一帧图像中所有车辆的位置信息；基于所述第一帧图像中所有车辆的位置信息，获取所述第一帧图像中所有车辆的车牌号码的位置；基于所述第一帧图像中所有车辆的车牌号码的位置，识别出所述第一帧图像中所有车辆的车牌号码；基于所述待判定的车辆的车牌号码和所述第一帧图像中所有车辆的车牌号码，在所述第一帧图像中定位所述待判定的车辆。3.根据权利要求2所述的方法，其特征在于，从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：获取所述第二帧图像中所有车辆的位置信息；基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征。4.根据权利要求3所述的方法，其特征在于，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中截取所有车辆的图像；分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，对应得所述第一帧图像中所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征征，包括：基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像截取每一辆车辆的图像；分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型，对应得到所述第二帧图像中所有车辆的特征。5.根据权利要求4所述的方法，其特征在于，分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，或分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型之前，还包括：使用深度学习中的caffe框架训练loss最低的模型，以得到loss最低的模型，其中，训练的网络是GoogLenetInception-V2网络，训练目标则是对不同款车辆的车型进行分类，每个分类的数据来源于不同模版帧图像下的同一辆车，并对每个分类进行数据扩充，所述车辆重识别reid模型训练的loss采用交叉熵损失函数；截取掉所述loss最低的模型中的训练网络的分类层，得到包含训练网络的最后一层的256维全连接层的模型；将包含训练网络的最后一层的256维全连接层的模型作为预训练模型premodel，将相同的车辆组合作为...

【专利技术属性】
技术研发人员：周康明，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海,31