一种跨模态行人重识别方法技术

本发明专利技术提供的一种跨模态行人重识别方法，该方法主要包括以下步骤：通过第一数据集进行训练得到初始行人重识别模型；将所述初始行人重识别模型进行转换得到跨模态行人重识别模型，将所述跨模态行人重识别模型移植至目标平台；通过所述目标平台进行实时图像采集，从所述实时图像中提取得到行人检测结果；将所述行人检测结果和预设目标输入至所述跨模态行人重识别模型，得到行人重识别结果，能够完善行人重识别的真实环境全时空应用场景，建立日间夜间联合行人重识别实现离线或在线跨模态行人重识别，并且，方法可以降低CPU占用率，加快了跨模态行人重识别速度，同时保持了低功耗、体积小的特点，可广泛应用于行人重识别技术领域。域。域。

A cross modal pedestrian recognition method

【技术实现步骤摘要】
一种跨模态行人重识别方法


[0001]本专利技术涉及行人重识别
，尤其是一种跨模态行人重识别方法。

技术介绍

[0002]行人重识别算法是一种跨摄像头匹配检测到的行人的技术，来源于跨摄像头多目标追踪(MTMC，Multi
‑
Target Multi
‑
Camera Tracking)中的一项子任务。行人重识别旨在利用计算机视觉技术匹配不同摄像头拍摄收集的相同行人的图片或视频序列，在智能安防，智慧交通等领域有着广阔的应用前景，例如，它可与行人检测、人脸识别等技术相结合进行疑犯追踪，走失行人的追寻等等，为人们的生命财产安全提供保障。
[0003]在相关技术方案中，大多数监控摄像头能够在黑暗中自动从RGB模式切换到红外模式，即大多数监控摄像头在日间拍摄RGB图像，在夜间拍摄红外图像。由于行人重识别普遍利用监控摄像头拍摄的图像数据进行目标查询人检索工作，上述两种图像数据巨大模态差异的存在，割裂了行人重识别在真实环境中的时空应用场景，使得只能单一使用RGB模态行人重识别进行日间查询，单一使用红外模态行人重识别进行夜间查询。并且，跨模态行人重识别算法若运行在GPU上，GPU消耗功率高及体积大带来实际铺设不便；跨模态行人重识别算法若运行在CPU上，CPU的计算效率低，难以实时输出结果。

技术实现思路

[0004]有鉴于此，为至少部分解决上述技术问题，本专利技术实施例的目的在于提供一种更还原真实环境，能够实现日间夜间联动的跨模态行人重识别方法。
[0005]为此，本申请技术方案提供了一种跨模态行人重识别方法，包括以下步骤：
[0006]通过第一数据集进行训练得到初始行人重识别模型；
[0007]将所述初始行人重识别模型进行转换得到跨模态行人重识别模型，将所述跨模态行人重识别模型移植至目标平台；
[0008]通过所述目标平台进行实时图像采集，从所述实时图像中提取得到行人检测结果；
[0009]将所述行人检测结果和预设目标输入至所述跨模态行人重识别模型，得到行人重识别结果。
[0010]在本申请方案的一种可行的实施例中，所述通过第一数据集进行训练得到初始行人重识别模型这一步骤，包括：
[0011]从所述第一数据集中获取得到RGB图像以及红外图像；
[0012]对所述RGB图像进行特征提取得到RGB模态特征，对所述红外图像进行特征提取得到红外模态特征；
[0013]将所述RGB模态特征和所述红外模态特征进行拼接得到混合模态特征；
[0014]根据所述混合模态特征输出得到跨模态特征。
[0015]在本申请方案的一种可行的实施例中，所述根据所述混合模态特征输出得到跨模
态特征，包括：
[0016]根据所述混合模态特征通过池化层输出得到跨模态特征；所述跨模态特征包括：身份相关特征以及身份无关特征。
[0017]在本申请方案的一种可行的实施例中，所述根据所述混合模态特征通过池化层输出得到身份相关特征以及身份无关特征这一步骤，包括：
[0018]获取所述混合模态特征中不属于同一类的两幅图像的第一特征距离，以及属于同一类的两幅图像的第二特征距离；
[0019]根据所述第一特征距离以及所述第二特征距离，通过反向三元组损失函数确定所述身份无关特征。
[0020]在本申请方案的一种可行的实施例中，所述据所述混合模态特征通过池化层输出得到身份相关特征以及身份无关特征这一步骤，包括：
[0021]通过相关系数协同和中心聚类损失函数、三元组损失函数以及交叉熵损失韩式从所述混合模态特征中提取得到。
[0022]在本申请方案的一种可行的实施例中，在根据所述混合模态特征通过池化层输出得到跨模态特征这一步骤之后，所述方法还包括以下步骤：
[0023]通过正交损失函数，对所述身份相关特征的第一特征向量以及所述身份无关特征的第二特征向量进行正交解耦；
[0024]根据正交解耦的结果从所述身份相关特征中分离出身份无关信息。
[0025]在本申请方案的一种可行的实施例中，所述反向三元组损失函数为：
[0026]Loss
Tri
‑
reverse
＝max(d
a,n
‑
d
a,p
+α,0)
[0027]其中，Loss
Tri
‑
reverse
为反向三元组损失值，d
a,n
为不属于同一类的两幅图像的第一特征距离，d
a,p
为属于一类的两幅图像的特征距离，α为反向三元组损失值Loss
Tri
‑
reverse
的边界常数。
[0028]在本申请方案的一种可行的实施例中，所述相关系数协同和中心聚类损失函数为：
[0029][0030]其中，λ1和λ2为超参数，c为一个小批次中的类数目，为第i类图像在小批次中的RGB特征中心向量，为第i类图像在小批次中红外特征中心向量；为第i类RGB特征在小批次中的关系系数矩阵，为第i类红外特征在小批次中的关系系数矩阵，i＝1,2,3,
…
,n，n为正整数。
[0031]在本申请方案的一种可行的实施例中，所述正交损失函数为：
[0032][0033]其中，b。为小批次输入的数量，为是在小批次输入中第i个图像的身份无关特征和在小批次输入中第i个图像的身份相关特征。
[0034]在本申请方案的一种可行的实施例中，方法中将所述初始行人重识别模型进行转换得到跨模态行人重识别模型，将所述跨模态行人重识别模型移植至目标平台这一步骤，包括：
[0035]对所述初始行人重识别模型进行模型框架校验；
[0036]确定所述初始行人重识别模型不属于Caffe框架，将所述初始行人重识别模型转换为Caffe框架下的所述跨模态行人重识别模型。
[0037]本专利技术的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本专利技术的具体实施方式了解得到：
[0038]本申请技术方案可以基于平台所能够提供的强大图像处理能力，高计算性能，结合跨模态行人重识别算法，实时检索视频图像行人信息并提取特征值，能够完善行人重识别的真实环境全时空应用场景，建立日间夜间联合行人重识别实现离线或在线跨模态行人重识别，并且，方法可以降低CPU占用率，加快了跨模态行人重识别速度，同时保持了低功耗、体积小的特点。
附图说明
[0039]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本申请技术方案所提供的一种跨模态行人重识别方法的步骤流程图；
[0041]图2为本申请技术方案中跨模态行人重识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态行人重识别方法，其特征在于，包括以下步骤：通过第一数据集进行训练得到初始行人重识别模型；将所述初始行人重识别模型进行转换得到跨模态行人重识别模型，将所述跨模态行人重识别模型移植至目标平台；通过所述目标平台进行实时图像采集，从所述实时图像中提取得到行人检测结果；将所述行人检测结果和预设目标输入至所述跨模态行人重识别模型，得到行人重识别结果。2.根据权利要求1所述的一种跨模态行人重识别方法，其特征在于，所述通过第一数据集进行训练得到初始行人重识别模型这一步骤，包括：从所述第一数据集中获取得到RGB图像以及红外图像；对所述RGB图像进行特征提取得到RGB模态特征，对所述红外图像进行特征提取得到红外模态特征；将所述RGB模态特征和所述红外模态特征进行拼接得到混合模态特征；根据所述混合模态特征输出得到跨模态特征。3.根据权利要求2所述的一种跨模态行人重识别方法，其特征在于，所述根据所述混合模态特征输出得到跨模态特征这一步骤，包括：根据所述混合模态特征通过池化层输出得到跨模态特征；所述跨模态特征包括：身份相关特征以及身份无关特征。4.根据权利要求3所述的一种跨模态行人重识别方法，其特征在于，所述根据所述混合模态特征通过池化层输出得到身份相关特征以及身份无关特征这一步骤，包括：获取所述混合模态特征中不属于同一类的两幅图像的第一特征距离，以及属于同一类的两幅图像的第二特征距离；根据所述第一特征距离以及所述第二特征距离，通过反向三元组损失函数确定所述身份无关特征。5.根据权利要求3所述的一种跨模态行人重识别方法，其特征在于，所述据所述混合模态特征通过池化层输出得到身份相关特征以及身份无关特征这一步骤，包括：通过相关系数协同和中心聚类损失函数、三元组损失函数以及交叉熵损失韩式从所述混合模态特征中提取得到。6.根据权利要求3所述的一种跨模态行人重识别方法，其特征在于，在根据所述混合模态特征通过池化层输出得到跨模态特征这一步骤之后，所述方法还包括以下步骤：通过正交损失函数，对所述身份相关特征的第一特征向量以及所述身份无关特征的第二特征向量进行正交解耦；根...

【专利技术属性】
技术研发人员：陈弟虎，曾海棠，侯延柯，
申请(专利权)人：中山大学，
类型：发明
国别省市：