一种基于多模态信息融合的车辆再识别方法及装置制造方法及图纸

本发明专利技术公开一种基于多模态信息融合的车辆再识别方法及装置，涉及智能停车管理领域，所述方法包括：从监控视频中提取待查询车辆图像；将所述待查询车辆图像作为预置多分支监测机制网络模型的输入，提取车辆的全局特征和多个局部特征，并根据多个局部特征中的车牌区域提取车辆的车牌字符；从预置数据库中获取不同车辆分别与车辆的全局特征、多个局部特征和车牌字符之间的相似度或者匹配的联合概率，根据不同车辆与所述待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表。本发明专利技术可以有效提高车辆再识别的准确率，进一步地很好的区分了车辆之间的类间差异和类内差异，能够适应真实场景下的各种应用需求。本发明专利技术可用于智能停车管理领域。

A vehicle re identification method and device based on multimodal information fusion

【技术实现步骤摘要】
一种基于多模态信息融合的车辆再识别方法及装置
本专利技术涉及智能停车管理领域，特别涉及一种基于多模态信息融合的车辆再识别方法及装置。
技术介绍
车辆作为城市监控中的重要对象，在检测、跟踪、调度等大量与车辆相关的任务中引起了广泛关注。车辆再识别是找出不同摄像机所拍摄到的同一辆车，或同一摄像机在不同光照、不同视角下拍摄到的同一车辆。通过车辆再识别技术，可以实现跨镜头自动识别并锁定同一辆车，在城市交通调度、违法车辆追踪等具体任务中，起着十分重要的作用，有利于智能交通和智慧城市的规划与发展。目前常见的车辆再识别方法通常包含如下几种类型：一种是利用传感器来解决车辆再识别的问题。例如，通过地磁传感器、红外射频传感器等进行车辆再识别，然而这种方法所需成本较高，安装环境要求复杂，不适用于大规模推广使用。第二种方法是通过车牌进行识别，实现车辆跨摄像头的追踪定位，但是在很多情况下，车牌由于光照、遮挡、污损等各种原因，导致车牌号码识别不准确，进而导致车辆再识别的误差较大；第三种方法是基于车辆局部外观特征进行车辆再识别，然而由于车辆局部外观特征对于车辆的反映情本文档来自技高网...

【技术保护点】
1.一种基于多模态信息融合的车辆再识别方法，其特征在于，所述方法包括：/n从监控视频中提取待查询车辆图像；/n将所述待查询车辆图像作为预置多分支监测机制网络模型的输入，提取所述车辆的全局特征和多个局部特征，并根据多个局部特征中的车牌区域提取所述车辆的车牌字符；/n从预置数据库中获取不同车辆分别与所述车辆的全局特征、多个局部特征和车牌字符之间的相似度或者匹配的联合概率，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符；/n根据不同车辆与所述待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表...

【技术特征摘要】
1.一种基于多模态信息融合的车辆再识别方法，其特征在于，所述方法包括：
从监控视频中提取待查询车辆图像；
将所述待查询车辆图像作为预置多分支监测机制网络模型的输入，提取所述车辆的全局特征和多个局部特征，并根据多个局部特征中的车牌区域提取所述车辆的车牌字符；
从预置数据库中获取不同车辆分别与所述车辆的全局特征、多个局部特征和车牌字符之间的相似度或者匹配的联合概率，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符；
根据不同车辆与所述待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表。


2.根据权利要求1所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述方法还包括：
从监控视频中提取所述待查询车辆图像的时空信息；
根据不同车辆与待查询车辆之间匹配的联合概率和所述待查询车辆图像的时空信息预测所述车辆的相对行驶方向；
根据不同摄像头之间的拓扑关系、所述车辆相对行驶方向、以及预置车辆时空转移模型，得到所述车辆与不同车辆之间的时空匹配概率，所述预置车辆时空转移模型是根据不同车辆分别对应的历史车辆行驶时空数据建立的。


3.根据权利要求2所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述根据不同车辆与待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表的步骤包括：
根据不同车辆与待查询车辆之间匹配的联合概率或者相似度，以及所述车辆与不同车辆之间的时空匹配概率生成车辆重识别排序表。


4.根据权利要求1所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，从监控视频中提取待查询车辆图像的步骤包括：
从监控视频中获取的待查询车辆图片上进行车辆目标检测，获取完整地被边界框标出的车辆目标图像；
剔除所述车辆目标图像中的冗余背景信息，得到所述待查询车辆图像。


5.根据权利要求1-4任一项所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述全局特征为所述车辆的整体外观特征，所述多个局部特征包括车辆车头外观特征、车辆车尾外观特征、车辆车牌区域外观特征。


6.根据权利有要求5所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，从预置数据库中获取不同车辆分别与所述车辆的全局特征、多个局部特征和车牌字符之间的相似度的步骤包括：
根据不同车辆以及所述车辆的整体外观特征、车辆车头外观特征、车辆车尾外观特征、车辆车牌区域外观特征、以及车牌字符特征，构造三元损失函数并计算不同车辆与所述车辆之间的特征距离，得到不同车辆分别与所述车辆之间的相似度。


7.根据权利有要求5所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述获取不同车辆与所述车辆匹配的联合概率的步骤包括：
基于贝叶斯概率模型，根据公式Pa＝PF×θ×Ptpo进行计算，其中，Pa为候选车辆与所述待查询车辆匹配的联合概率，PF为候选车辆与待查询车辆之间车辆车头外观特征、车辆车尾外观特征、车辆车牌区域外观特征、车辆整体外观特征匹配的联合概率，Ptpo为候选车辆与待查询车辆之间的车牌匹配概率，θ为...

【专利技术属性】
技术研发人员：闫军，刘艳洋，
申请(专利权)人：智慧互通科技有限公司，
类型：发明
国别省市：河北;13