一种红外可见光的跨模态行人重识别方法、设备及介质技术

本说明书实施例公开了一种红外可见光的跨模态行人重识别方法、设备及介质，涉及图像识别技术领域，方法包括：通过双模采集装置，采集待识别行人对应的行人图像，其中，行人图像包括可见光图像和红外图像中的任意一种或多种；将行人图像，输入至预先训练的跨模态特征生成模型，生成行人图像对应的行人跨模态特征，其中，跨模态特征生成模型使用双模态图像数据集进行训练，损失函数包括中心最大平均差异损失函数、类内异质中心损失函数以及跨模态三元组损失函数；将行人跨模态特征与预先构建的特征库中的特征进行对比，得到特征库中符合要求的指定特征，以根据符合要求的指定特征，确定待识别行人的身份识别结果。确定待识别行人的身份识别结果。确定待识别行人的身份识别结果。

【技术实现步骤摘要】
一种红外可见光的跨模态行人重识别方法、设备及介质


[0001]本说明书涉及图像识别
，尤其涉及一种红外可见光的跨模态行人重识别方法、设备及介质。

技术介绍

[0002]行人重识别(Person Re
‑
Identification，简称Re
‑
ID)，是一种利用计算机视觉技术来检索图像或者视频序列中是否存在特定行人的AI技术，在智慧城市等监控场景中具有重要的应用意义和前景。跨模态行人识别，主要是指基于可见光、红外光、热成像等多模态图像，采用跨模态神经网络对行人等目标进行统一表征与识别。可见光摄像机在恶劣照明环境下捕捉有效信息的能力十分有限，例如夜间环境，进而限制了其在实际中的适用性，相比之下，红外摄像机对照明条件依赖性小，在黑暗环境中可捕获更多信息。双模相机(RGB和红外模式)因价格优势，已广泛应用于许多监控系统中，使用双模相机可以有效克服单模态行人匹配的局限性，研究可见光红外图像的跨模态行人再识别在实际应用中具有重要意义。
[0003]在恶劣照明环境尤其夜间等条件下，可见光与红外成像可以有效互补，现有跨模态行人识别方法一般基于模态共享特征学习或模态图像生成进行研究。模态共享特征学习将不同模态的图像映射到同一特征空间，并学习图像之间的共同特征，忽略了模态(整体)和身份(个体)之间的关系，导致提取的特征可能存在模态差异。模态图像生成通过生成特定模态的图像来补充缺失的信息,然而，生成的图像通常不稳定,生成图像的纹理可能严重缺失。综上可知，在进行跨模态行人识别时，无法得到准确的识别结果。

技术实现思路

[0004]本说明书一个或多个实施例提供了一种红外可见光的跨模态行人重识别方法、设备及介质，用于解决如下技术问题：在进行跨模态行人识别时，无法得到准确的识别结果。
[0005]本说明书一个或多个实施例采用下述技术方案：
[0006]本说明书一个或多个实施例提供一种红外可见光的跨模态行人重识别方法，所述方法包括：通过双模采集装置，采集待识别行人对应的行人图像，其中，所述行人图像包括可见光图像和红外图像中的任意一种或多种；将所述行人图像，输入至预先训练的跨模态特征生成模型，生成所述行人图像对应的行人跨模态特征，其中，所述跨模态特征生成模型使用双模态图像数据集进行训练，损失函数包括中心最大平均差异损失函数、类内异质中心损失函数以及跨模态三元组损失函数；将所述行人跨模态特征与预先构建的特征库中的特征进行对比，得到特征库中符合要求的指定特征，以根据所述符合要求的指定特征，确定所述待识别行人的身份识别结果，其中，所述特征库中包括多个行人的特征信息和身份信息。
[0007]进一步地，将所述行人图像，输入至预先训练的跨模态特征生成模型，生成所述行人图像对应的行人跨模态特征之前，所述方法还包括构建所述双模态图像数据集，所述数
据集中包括多个样本个体的多组双模态图像，其中，每组双模态图像包括多个红外样本图像和多个可见光样本图像；使用所述数据集中的所述双模态图像，对预先构建的特征生成模型进行训练，确定出模型参数，以得到所述模型参数下的跨模态特征生成模型。
[0008]进一步地，使用所述数据集中的所述双模态图像，对预先构建的特征生成模型进行训练，具体包括：将所述数据集中的所述双模态图像输入至所述特征生成模型中，在希尔伯特空间缩短所述双模态图像中的特征中心之间的距离，其中，所述特征中心为所述双模态图像中属于不同模态下的行人特征的特征中心；通过Transformer特征生成网络，对所述双模态图像中的样本个体进行单独区分，以对所述特征生成模型进行训练，生成所述样本个体的跨模态特征。
[0009]进一步地，在希尔伯特空间缩短所述双模态图像中的特征中心之间的距离，具体包括：获取所述双模态图像中的可见光样本图像、红外样本图像、可见光样本特征提取函数以及红外样本特征提取函数；基于所述可见光样本图像、所述红外样本图像、所述可见光样本特征提取函数以及所述红外样本特征提取函数，定义所述中心最大平均差异损失函数；通过所述中心最大平均差异损失函数，将不同模态下的特征中心映射到所述希尔伯特空间，缩短所述双模态图像中两种模态的特征中心之间的中心距离。
[0010]进一步地，通过所述中心最大平均差异损失函数，将不同模态下的特征中心映射到所述希尔伯特空间，缩短所述双模态图像中两种模态的特征中心之间的中心距离之后，所述方法还包括：分别获取所述可见光样本图像的跨模态类均值中心位置和所述红外样本图像中的跨模态类均值中心位置；基于所述可见光样本图像的跨模态类均值中心位置和所述红外样本图像中的跨模态类均值中心位置，定义第一中心协方差损失，其中，所述中心协方差损失为包括所述可见光样本图像中的可见光特征与所述可见光样本图像的跨模态类均值中心位置的可见光中心协方差损失，以及所述红外样本图像中的红外特征与所述红外样本图像中的跨模态类均值中心位置的红外中心协方差损失；定义所述双模态图像中整体跨模态类均值中心位置，基于所述跨模态类均值中心位置、所述可见光样本图像的跨模态类均值中心位置和所述红外样本图像中的跨模态类均值中心位置，计算两种模态下的跨模态类均值中心位置与所述整体跨模态类均值中心位置的第二中心协方差损失；根据所述第一中心协方差损失和所述第二中心协方差损失，确定所述类内异质中心损失函数；通过所述类内异质中心损失函数，控制每种模态下样本个体与所述双模态图像中两种模态的特征中心之间的距离。
[0011]进一步地，通过Transformer特征生成网络，对所述双模态图像中的样本个体进行单独区分，以对所述特征生成模型进行训练，生成所述样本个体的跨模态特征，具体包括：获取所述双模态图像数据集中，同一样本个体对应的可见光样本图像和红外样本图像；提取所述可见光样本图像的可见光样本特征，以及所述红外样本图像的红外特征；将所述可见光样本特征和所述红外特征，输入至所述Transformer特征生成网络，生成输出可见光样本特征和输出红外特征；通过预先生成的所述跨模态三元组损失函数，对所述可见光样本特征和所述红外特征进行约束，生成所述样本个体的跨模态特征。
[0012]进一步地，所述中心最大平均差异损失函数为：
[0013]其中，L
CMMD
为所述中心最大平均差异损失函数，为可见光样本图像，f
v
为可见光样本特征提取函数；为近红外样本图像，f
I
为近红外样本特征提取函数，ψ为再生核希尔伯特空间映射函数，P为选取的样本个体的身份种类数量，K为每个身份对应的样本个体的双模态图像数量。
[0014]进一步地，通过预先生成的所述跨模态三元组损失函数，对所述可见光样本特征和所述红外特征进行约束，生成所述样本个体的跨模态特征之前，所述方法还包括：在所述双模态图像数据集中获取指定样本个体的指定红外样本图像和指定可见光样本图像，并获取与所述指定样本个体不同身份的预设样本个体的预设红外样本图像和预设可见光样本图像；基于所述指定红外样本图像和所述预设红外样本图像，形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外可见光的跨模态行人重识别方法，其特征在于，所述方法包括：通过双模采集装置，采集待识别行人对应的行人图像，其中，所述行人图像包括可见光图像和红外图像中的任意一种或多种；将所述行人图像，输入至预先训练的跨模态特征生成模型，生成所述行人图像对应的行人跨模态特征，其中，所述跨模态特征生成模型使用双模态图像数据集进行训练，损失函数包括中心最大平均差异损失函数、类内异质中心损失函数以及跨模态三元组损失函数；将所述行人跨模态特征与预先构建的特征库中的特征进行对比，得到特征库中符合要求的指定特征，以根据所述符合要求的指定特征，确定所述待识别行人的身份识别结果，其中，所述特征库中包括多个行人的特征信息和身份信息。2.根据权利要求1所述的一种红外可见光的跨模态行人重识别方法，其特征在于，将所述行人图像，输入至预先训练的跨模态特征生成模型，生成所述行人图像对应的行人跨模态特征之前，所述方法还包括：构建所述双模态图像数据集，所述数据集中包括多个样本个体的多组双模态图像，其中，每组双模态图像包括多个红外样本图像和多个可见光样本图像；使用所述数据集中的所述双模态图像，对预先构建的特征生成模型进行训练，确定出模型参数，以得到所述模型参数下的跨模态特征生成模型。3.根据权利要求2所述的一种红外可见光的跨模态行人重识别方法，其特征在于，使用所述数据集中的所述双模态图像，对预先构建的特征生成模型进行训练，具体包括：将所述数据集中的所述双模态图像输入至所述特征生成模型中，在希尔伯特空间缩短所述双模态图像中的特征中心之间的距离，其中，所述特征中心为所述双模态图像中属于不同模态下的行人特征的特征中心；通过Transformer特征生成网络，对所述双模态图像中的样本个体进行单独区分，以对所述特征生成模型进行训练，生成所述样本个体的跨模态特征。4.根据权利要求3所述的一种红外可见光的跨模态行人重识别方法，其特征在于，在希尔伯特空间缩短所述双模态图像中的特征中心之间的距离，具体包括：获取所述双模态图像中的可见光样本图像、红外样本图像、可见光样本特征提取函数以及红外样本特征提取函数；基于所述可见光样本图像、所述红外样本图像、所述可见光样本特征提取函数以及所述红外样本特征提取函数，定义所述中心最大平均差异损失函数；通过所述中心最大平均差异损失函数，将不同模态下的特征中心映射到所述希尔伯特空间，缩短所述双模态图像中两种模态的特征中心之间的中心距离。5.根据权利要求4所述的一种红外可见光的跨模态行人重识别方法，其特征在于，通过所述中心最大平均差异损失函数，将不同模态下的特征中心映射到所述希尔伯特空间，缩短所述双模态图像中两种模态的特征中心之间的中心距离之后，所述方法还包括：分别获取所述可见光样本图像的跨模态类均值中心位置和所述红外样本图像中的跨模态类均值中心位置；基于所述可见光样本图像的跨模态类均值中心位置和所述红外样本图像中的跨模态类均值中心位置，定义第一中心协方差损失，其中，所述中心协方差损失为包括所述可见光样本图像中的可见光特征与所述可见光样本图像的跨模态类均值中心位置的可见光中心
协方差损失，以及所述红外样本图像中的红外特征与所述红外样本图像中的跨模态类均值中心位置的红外中心协方差损失；定义所述双模态图像中整体跨模态类均值中心位置，基于所述跨模态类均值中心位置、所述可见光样本图像的跨模态类均值中心位置和所述红外样本图像中的跨模态类均值中心位置，计算两种模态下的跨模态类均值中心位置与所述整体跨模态类均值中心位置的第二中心协方差损失；根据所述第一中心协方差损失和所述第二中心协方差损失，确定所述类内异质中心损失函数；通过所述类内异质中心损失函数，控制每种模态下样本个体与所述双模态图像中两种模态的特征中心之间的距离...

【专利技术属性】
技术研发人员：朱锦雷，井焜，刘辰飞，张传锋，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：