【技术实现步骤摘要】
本申请涉及跨模态行人重识别，特别是涉及一种语义感知的跨模态行人重识别方法。
技术介绍
1、目前，现有方法试图解决跨模态行人重识别（vi-reid，visible-infrared personre-identification）任务中的难题；一种是生成额外的模态图像以弥合模态差距，这些方法采用额外的生成对抗网络或专门设计的卷积模块来生成更多的跨模态图像对，以促进网络缩小跨模态特征的差距，但这些方法主要侧重于图像级的生成，这不可避免地带来了额外的背景噪声；另一种方法是通过设计双流网络结构来提取模态不变特征，这些方法设计了几个独立的层来学习模态特定的特征，其余层被视为共享网络以提取模态共享特征，尽管这种方法可以提取某些与身份相关的特征，但它们仅学习全局特征或严格切片的部分特征，无法处理由类内变化（即姿态变化、视点变化、遮挡）引起的错位问题。
技术实现思路
1、基于此，有必要提供一种能够减小现有跨模态行人重识别任务中存在的模态差异和视角模态变化引起类内差异问题的挖掘跨模态图像间语义一致信息的跨模态行人重识别方法，具体为一种语义感知的跨模态行人重识别方法。
2、本专利技术提供了一种语义感知的跨模态行人重识别方法，该方法包括：
3、s1：获取若干身份的行人图像及其对应的身份标签；每个身份的行人图像包括数量相同的可见光图像和红外图像；
4、s2：对所述可见光图像进行数据增强得到辅助图像；
5、s3：构建跨模态语义感知网络模型，基于所述可见光图像、
6、s4：获取测试可见光图像、测试红外图像；将所述测试可见光图像、所述测试红外图像分别输入至训练好的所述跨模态语义感知网络模型，得到可见光模态的行人特征和红外模态的行人特征；
7、s5：将其中一个模态的行人特征作为查询集，另一模态的行人特征作为图库集，计算查询集中各行人特征分别与图库集中各行人特征之间的相似度并排序，基于排序结果得到跨模态行人重识别结果。
8、优选的，s1中，从跨模态行人重识别数据集sysu-mm01中获取若干身份的行人图像及其对应的身份标签。
9、优选的，s2中，所述对所述可见光图像进行数据增强得到辅助图像包括：随机选取所述可见光图像中的一种通道数据作为辅助图像。
10、优选的，s3中，所述跨模态语义感知网络模型包括人体语义特征提取模块、人体语义感知注意力模块；
11、采用resnet-50网络作为跨模态语义感知网络模型的骨干网络；
12、所述人体语义特征提取模型包括模态特定信息提取模块和模态共有信息提取模块；
13、resnet-50网络包括5个阶段，将第一阶段以及第二阶段的网络参数权重不共享作为所述模态特定信息提取模块；将第三阶段、第四阶段以及第五阶段作为权重共享部分提取作为所述模态共有信息提取模块；
14、在第三阶段与第四阶段之间嵌入有一所述人体语义感知注意力模块，在第四阶段与第五阶段之间嵌入有另一所述人体语义感知注意力模块。
15、优选的，s3中，在所述人体语义感知注意力模块中，对于输入的图像，给与一个第三阶段或第四阶段输出的行人图像特征；将行人图像特征送入全局平均池化层，并通过两个1×1的卷积层获得加权特征图，计算公式为：
16、；
17、其中，f g表示加权特征图， σ{}表示sigmoid激活函数， δ{}表示relu激活函数， g()表示全局平均池化层，f表示行人图像特征，w1为第一个卷积层的参数，w2为第二个卷积层的参数；
18、基于所述行人图像特征和所述加权特征图得到身份相关特征，计算公式为：
19、；
20、其中，fw表示身份相关特征；表示通道维度的乘法；
21、基于所述身份相关特征计算人体全局特征，计算公式为：
22、；
23、其中，fp表示人体全局特征；w3为第三个1×1卷积层的参数；fs表示人类语义增强特征图。
24、优选的，s3中，所述人体语义特征提取模块接收所述人体全局特征，并将其通过一个线性层，表达式为：
25、；
26、其中，表示预测语义解析置信图，，h为特征高度，w为特征宽度，k为部分类别数； w l表示线性层的参数；fp表示人体全局特征；
27、根据预测语义解析置信图，利用每个像素的语义类别标签生成语义对齐的特征图，得到人体语义特征；人体语义特征中第 i个语义局部特征图的计算公式为：
28、；
29、其中， p i表示人体语义特征中第 i个语义局部特征图； g’表示广义平均池化函数； σ表示sigmoid激活函数；表示第 i个语义局部特征图对应的预测语义解析置信图；表示哈达玛积；
30、将所述人体全局特征与所述人体语义特征进行通道级联，得到行人特征，计算公式为：
31、；
32、其中，fo表示行人特征；表示在通道维度连接两个特征。
33、优选的，所述预测语义解析置信图通过语义解析损失函数和分离损失函数进行约束，计算公式分别为：
34、；
35、；
36、其中，表示语义解析损失函数； n表示像素总和；k表示k个部分类别；j表示第j个部分类别；n表示每个语义局部特征图的像素总和；表示第 i个语义局部特征图对应的预测语义解析置信图；表示第 j个部分类别对应的预测语义解析置信图；表示第j部分类别的第t个像素的真实标签；表示第j部分类别的第t像素的语义解析预测分数；表示分离损失函数；表示余弦相似度。
37、优选的，s3中，以4张可见光图像、4张所述红外图像以及4张所述辅助图像作为一个训练批次；基于所述行人特征，并通过三模态身份损失训练所述跨模态语义感知网络模型；所述三模态身份损失表达式为：
38、；
39、其中，表示三模态身份损失，f表示一个批次内训练图像数量，b表示第b个训练图像，表示输入可见光图像被分为类的概率，表示输入红外图像被分为类的概率，表示输入辅助图像被分为类的概率。
40、优选的，s5中，所述相似度的计算公式为：
41、；
42、其本文档来自技高网...
【技术保护点】
1.一种语义感知的跨模态行人重识别方法，其特征在于，包括：
2.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，S1中，从跨模态行人重识别数据集SYSU-MM01中获取若干身份的行人图像及其对应的身份标签。
3.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，S2中，所述对所述可见光图像进行数据增强得到辅助图像包括：随机选取所述可见光图像中的一种通道数据作为辅助图像。
4.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，S3中，所述跨模态语义感知网络模型包括人体语义特征提取模块、人体语义感知注意力模块；
5.根据权利要求4所述的语义感知的跨模态行人重识别方法，其特征在于，S3中，在所述人体语义感知注意力模块中，对于输入的图像，给与一个第三阶段或第四阶段输出的行人图像特征；将行人图像特征送入全局平均池化层，并通过两个1×1的卷积层获得加权特征图，计算公式为：
6.根据权利要求5所述的语义感知的跨模态行人重识别方法，其特征在于，S3中，所述人体语义特征提取模块接收所述人体全局特
7.根据权利要求6所述的语义感知的跨模态行人重识别方法，其特征在于，所述预测语义解析置信图通过语义解析损失函数和分离损失函数进行约束，计算公式分别为：
8.根据权利要求6所述的语义感知的跨模态行人重识别方法，其特征在于，S3中，以4张可见光图像、4张所述红外图像以及4张所述辅助图像作为一个训练批次；基于所述行人特征，并通过三模态身份损失训练所述跨模态语义感知网络模型；所述三模态身份损失表达式为：
9.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，S5中，所述相似度的计算公式为：
...【技术特征摘要】
1.一种语义感知的跨模态行人重识别方法，其特征在于，包括：
2.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，s1中，从跨模态行人重识别数据集sysu-mm01中获取若干身份的行人图像及其对应的身份标签。
3.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，s2中，所述对所述可见光图像进行数据增强得到辅助图像包括：随机选取所述可见光图像中的一种通道数据作为辅助图像。
4.根据权利要求1所述的语义感知的跨模态行人重识别方法，其特征在于，s3中，所述跨模态语义感知网络模型包括人体语义特征提取模块、人体语义感知注意力模块；
5.根据权利要求4所述的语义感知的跨模态行人重识别方法，其特征在于，s3中，在所述人体语义感知注意力模块中，对于输入的图像，给与一个第三阶段或第四阶段输出的行人图像特征；将行人图...
【专利技术属性】
技术研发人员：刘敏，张铸，边远，孙烨清，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。