一种基于多模态共有特征空间探索的跨模态行人重识别方法技术

本发明专利技术公开了一种基于多模态共有特征空间探索的跨模态行人重识别方法，包括单模态特征提取网络，多模态共有特征空间探索网络和多模态特征交互的辅助训练模块，对训练图像进行预处理获取训练样本；构建单模态特征提取网络和多模态共有特征探索网络，单模态特征提取网络进行单模态特征提取，多模态共有特征空间探索网络在多个模态共有特征空间中提取模态共有特征并进行合理的融合，两部分网络的训练在分类损失和度量损失的监督下进行，得到的特征描述被用于测试时进行相似度计算；本发明专利技术能够减小特征之间的模态差异，交互之后的特征同样适用损失函数进行约束，增强网络提取行人模态共有特征的能力。本发明专利技术极大地提高了跨模态行人重识别任务的精度。人重识别任务的精度。人重识别任务的精度。

【技术实现步骤摘要】
一种基于多模态共有特征空间探索的跨模态行人重识别方法


[0001]本专利技术属于图像处理、模式识别
，特别涉及一种基于多模态共有特征空间探索的跨模态行人重识别方法。

技术介绍

[0002]行人重识别作为计算机视觉系统中的一个重要子任务，目的是实现对目标行人的跨相机检索，即给定一个行人的图像，在其它相机拍摄的场景下匹配该行人。行人重识别能够利用更丰富的行人特征，弥补了人脸识别只关注人脸信息的局限性，与行人检测和行人跟踪等技术相结合，行人重识别在智能监控领域有着广阔的前景，可以被应用于智能安防系统，智能寻人系统，智能商业系统等。
[0003]基于可见光图像或视频的行人重识别已经达到了工业应用的水平，但是，基于可见光图像或视频的行人重识别容易受到光照环境的影响，导致行人重识别系统在实际应用中受限。而红外相机对光照环境有很好的鲁棒性，能够弥补基于可见光图像的缺陷，同时，现在市面上的大多数相机都已经考虑到了可见光相机在光照不充足的条件下难以实现场景监控的因素，增加了红外拍摄模式，自动的根据光照实现可见光
‑/>红外两种拍摄模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态共有特征空间探索的跨模态行人重识别方法，其特征在于，包括：(1)收集可见光行人图像作为可见光模态训练图像，收集红外行人图像作为红外模态训练图像；(2)构建多模态共有特征空间探索网络模型，该模型联合多个模态共有特征空间获取行人的特征表示用于行人重识别；(3)构建多模态特征交互的辅助训练模块，该模块利用行人特征之间的信息传递来减小不同模态特征之间的模态差异，提高特征提取网络的性能。2.根据权利要求1所述的基于多模态共有特征空间探索的跨模态行人重识别方法，其特征在于，对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，并使用随机裁剪的方式得到相同的图片尺寸，之后随机水平翻转图片。3.根据权利要求2所述的基于多模态共有特征空间探索的跨模态行人重识别方法，其特征在于，预处理操作还包括：随机擦除处理和对可见光图像做灰度化处理。4.根据权利要求1所述的基于多模态共有特征空间探索的跨模态行人重识别方法，其特征在于，多模态共有特征空间，包括模态共有的全局特征空间，语义特征空间和细节特征空间。5.根据权利要求4所述的基于多模态共有特征空间探索的跨模态行人重识别方法，其特征在于，多模态共有特征空间是在单模态特征提取之后构建的，可见光模态特征F
iR
和和红外模态特征F
iI
(i∈1,2,3,4,5)通过两个独立的ResNet50进行提取，i表示特征提取网络的不同层级。6.根据权利要求1所述的基于多模态共有特征空间探索的跨模态行人重识别方法，其特征在于，多模态共有特征空间探索网络模型，先利用多分支特征提取网络将单模态的全局特征，语义特征，细节特征分别映射到模态共有的特征空间中来挖掘具有互补关系的多个模态共有特征，然后利用一个补充增强的融合模块来充分利用多个模态共有特征之间的互补关系，具体方法如下：(1)多分支特征提取网络包含模态共有的全局特征空间分支，模态共有的语义特征空间分支和模态共有的细节特征空间分支；(2)模态共有的全局特征空间分支将可见光模态的深层特征和红外模态的深层特征的压缩后获取的全局特征映射到模态共有的特征空间挖掘模态共有的行人全局特征，映射方式是两个模态参数共享的全连接层网络；(3)模态共有的语义特征空间分支将可见光模态的语义特征和红外模态的语义特征映射...

【专利技术属性】
技术研发人员：刘海东，冉中矗，张浩，于兴哲，王佳亮，张强，金国强，
申请(专利权)人：西安热工研究院有限公司，
类型：发明
国别省市：