行人重识别模型的训练方法及行人重识别方法技术

本发明专利技术公开了一种行人重识别模型的训练方法，包括：利用行人重识别模型的特征提取器提取行人的多模态图像的特征，得到行人的多模态特征；利用行人重识别模型的模态级对齐模块处理多模态特征，得到行人的多模态补全特征；根据预设查询特征，利用行人重识别模型的实例级对齐模块处理多模态补全特征，得到多模态查询结果；根据多模态特征、多模态补全特征、预设查询特征和多模态查询结果，利用损失函数优化行人重识别模型；迭代进行特征提取操作、模态级对齐处理操作、实例级对齐处理操作和优化操作，直到损失函数的值满足预设条件，得到训练完成的行人重识别模型。本发明专利技术还公开了一种行人重识别方法及装置、电子设备和存储介质。电子设备和存储介质。电子设备和存储介质。

【技术实现步骤摘要】
行人重识别模型的训练方法及行人重识别方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种行人重识别模型的训练方法、行人重识别方法及装置、电子设备以及存储介质。

技术介绍

[0002]行人重识别是一项跨摄像头跨场景下搜寻与匹配目标行人的技术。行人重识别技术可以与行人检测、行人跟踪技术相结合，在视频监控、智能安防、刑事侦查等方面有着广泛应用。
[0003]现有技术中，行人重识别方法存在多模态特征表达能力受限、重识别准确率低等问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种行人重识别模型的训练方法、行人重识别方法及装置、电子设备以及存储介质，以期能至少解决上述问题之一。
[0005]根据本专利技术的第一个方面，提供了一种行人重识别模型的训练方法，包括：利用行人重识别模型的特征提取器提取行人的多模态图像的特征，得到行人的多模态特征，其中，多模态特征包括可见光特征和红外特征；利用行人重识别模型的模态级对齐模块处理多模态特征，得到行人的多模态补全特征，其中，多模态补全特征包括可见光补全特征和红外补全特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人重识别模型的训练方法，包括：利用所述行人重识别模型的特征提取器提取行人的多模态图像的特征，得到所述行人的多模态特征，其中，所述多模态特征包括可见光特征和红外特征；利用所述行人重识别模型的模态级对齐模块处理所述多模态特征，得到所述行人的多模态补全特征，其中，所述多模态补全特征包括可见光补全特征和红外补全特征；根据预设查询特征，利用所述行人重识别模型的实例级对齐模块处理所述多模态补全特征，得到多模态查询结果，其中，所述多模态查询结果包括可见光查询结果和红外查询结果；根据所述多模态特征、所述多模态补全特征、所述预设查询特征和所述多模态查询结果，利用损失函数优化所述行人重识别模型；迭代进行特征提取操作、模态级对齐处理操作、实例级对齐处理操作和优化操作，直到所述损失函数的值满足预设条件，得到训练完成的行人重识别模型。2.根据权利要求1所述的方法，其中，所述利用所述行人重识别模型的模态级对齐模块处理所述多模态特征，得到所述行人的多模态补全特征包括：将所述可见光特征划分成多个局部可见光特征；利用所述模态级对齐模块的表示编码器处理所述局部可见光特征，获取所述局部可见光特征的上下文信息；根据所述局部可见光特征的上下文信息，利用所述模态级对齐模块的模态补偿解码器生成可见光补偿特征；将所述可见光补偿特征和所述红外特征进行融合，得到所述红外补全特征。3.根据权利要求1所述的方法，其中，所述利用所述行人重识别模型的模态级对齐模块处理所述多模态特征，得到所述行人的多模态补全特征还包括：将所述红外特征划分成多个局部红外特征；利用所述模态级对齐模块的表示编码器处理所述局部红外特征，获取所述局部红外特征的上下文信息；根据所述局部红外特征的上下文信息，利用所述模态级对齐模块的模态补偿解码器生成红外补偿特征；将所述红外补偿特征和所述可见光特征进行融合，得到所述可见光补全特征。4.根据权利要求1所述的方法，其中，所述根据预设查询特征，利用所述行人重识别模型的实例级对齐模块处理所述多模态补全特征，得到多模态查询结果包括：利用所述实例级对齐模块对所述多模态补全特征进行池化预处理，得到预处理后的多模态补全特征；根据所述预设查询特征，利用所述实例级对齐模块的查询自适应调制器生成调制参数；根据所述调制参数和所述预处理后的多模态补全特征，生成所述多模态查询结果。5.根据权利要求4所述的方法，其中，所述多模态...

【专利技术属性】
技术研发人员：张天柱，刘翔，张勇东，姜孔竹，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：