【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别涉及一种基于姿态特征对齐的跨模态行人重识别方法。
技术介绍
1、跨模态行人重识别技术旨在检索不同模态摄像机视角下的同一行人，即给定目标人物的可见光和红外图像，模型需要在非重叠的相机网络中跨模态检索同一个人。它比单模态可见光行人重识别更具挑战性，主要的困难来自两个方面：类似于单模态可见光行人重识别任务的复杂问题，如姿势变化、视点变化、遮挡；可见光和红外模态之间存在明显差异。
2、现有的大多数方法只学习全图像级别的粗粒度特征或使用水平刚性划分来获得局部特征，这容易受到类内变化的影响，比如相同行人类别下相机拍摄角度不同、拍摄场景不同、光线不同等，并且局限于提取语义对齐的局部特征。此外，现有的方法大多使用实例级度量学习，不适合类内模态差异大的情况。另外一些通过减小不同模态特征中心欧式距离的方法忽略了模态内的约束。因此，上述方法中的跨模态特征很难映射到一个一致的空间中，从而限制了其性能。
3、此外，为了减少模态差异，一些方法通过简单变换或轻量级编码器引入类似于红外模态的第三种额外模态，增强了模型对模态干扰的鲁棒性。在此基础上，采用基于实例级或模态中心级度量学习的方法来优化模型。然而，这些方法忽略了所有实例的综合分布或模态内的约束条件。
4、另外，人体姿态关键点提取是计算机视觉中的一个热门任务，近年来吸引了众多研究者的关注。由于它可以提取有效的人体信息，因此在其他许多研究中得到了应用。在行人重识别中，姿态信息表明了人体的位置，便于研究，在一些子任务中得到了应用，特别是遮挡行人
技术实现思路
1、本专利技术的目的在于克服上述现有技术的不足，提供了一种基于姿态特征对齐的跨模态行人重识别方法，旨在消除复杂的类内问题带来的干扰，克服模态差异问题。
2、为达到上述目的，本专利技术的技术方案是这样实现的：
3、本专利技术提供了一种基于姿态特征对齐的跨模态行人重识别方法，包括如下步骤：
4、s1、获取多张可见光模态图像、多张红外模态图像，并利用获取的图像构建训练集、验证集和测试集；
5、s2、构建跨模态行人重识别网络，跨模态行人重识别网络包括resnet50双流网络、姿态估计器、姿态引导特征增强块和第一广义均值池化层；resnet50双流网络与第一广义均值池化层连接，姿态估计器与姿态引导特征增强块连接；
6、s3、从训练集中随机选取一张可见光模态图像、一张红外模态图像，并通过数据增广得到一张额外模态图像，将三张不同模态的图像均分别输入到resnet50双流网络、姿态估计器中，分别得到全局特征图和m个关键点；将全局特征图输入到第一广义均值池化层中，得到全局特征向量，将m个关键点和全局特征图输入到姿态引导特征增强块中，并将姿态引导特征增强块输出结果与全局特征向量进行拼接，得到最终的拼接特征；
7、s4、构建模态特征对齐学习方法的总体损失函数，利用总体损失函数计算最终的拼接特征xm的总损失，重复s3至s4，直至迭代次数达到设定次数，使用验证集进行验证，选取验证集准确率最好的一组权重作为跨模态行人重识别网络的权重，得到训练后的跨模态行人重识别网络；
8、s5、使用测试集对训练后的跨模态行人重识别网络进行测试。
9、进一步地，所述s2中的resnet50双流网络包括两个不同的零号卷积块、一号卷积块、二号卷积块、三号卷积块和四号卷积块；
10、两个不同的零号卷积块拼接后依次与一号卷积块、二号卷积块、三号卷积块和四号卷积块连接；
11、s2中的姿态估计器为预训练后的姿态估计器；
12、s2中的姿态引导特征增强块包括第二广义均值池化层和与第二广义均值池化层连接的最大池化层，最大池化层为一维最大池化层。
13、进一步地，所述s3具体包含如下步骤：
14、s31、从训练集中随机选取一张可见光模态图像、一张红外模态图像，并通过数据增广得到一张额外模态图像，将三张不同模态的图像均分别输入到resnet50双流网络、姿态估计器中，分别得到全局特征图和人物图像的m个关键点；
15、s32、将全局特征图输入到第一广义均值池化层中，得到全局特征
16、s33、将m个关键点输入到姿态引导特征增强块中，并利用m个关键点生成以每个提取关键点为中心的二维高斯分布热力图；
17、s34、将二维高斯分布热力图和s31中的全局特征图做哈达玛积，可以得到每个关键点的姿态引导的局部特征图；
18、s35、将每个关键点的姿态引导的局部特征图输入到姿态引导特征增强块的第二广义均值池化层中，得到特征向量
19、s36、将特征向量输入到姿态引导特征增强块的最大池化层中，得到增强的局部特征向量并在姿态引导特征增强块中去除噪声；
20、s37、将去掉噪音的局部特征向量与全局特征进行拼接，得到最终的拼接特征xm。
21、进一步地，所述s31中通过数据增广得到一张额外模态图像具体为：
22、通过随机选择一个通道为可见人物图像引入一个额外的模态，选择的通道可以是红色通道、绿色通道或蓝色通道任意一个，以替代其他通道，得到一张额外模态图像。
23、进一步地，所述s35采用公式表示具体如下：
24、
25、其中，gem(.)表示第一广义均值池化层的池化操作；表示二维高斯分布热力图上第j个位置的热图信号。
26、进一步地，所述s4中模态特征对齐学习方法的总体损失函数具体如下：
27、l＝lid+λ1lfda(v,e,t)+λ2ltmct+λ3lic
28、其中，l为总损失；lid为身份损失；lfda(v,e,t)为身份感知特征分布对齐损失；v,e,t分别为可见光特征集、额外模态特征集和红外特征集；ltmct为三模态中心三元组损失函数；lic为模态内中心损失；λ1、λ2、λ3分别为身份感知特征分布对齐损失的超参数、三模态中心三元组损失函数的超参数、模态内中心损失的超参数。
29、进一步地，所述身份损失具体如下：
30、
31、其中，n为参与计算的样本个数，yi表示样本的身份标签，表示图像被识别为其身份标签yi的预测概率输出。
32、进一步地，所述身份感知特征分布对齐损失具体如下：
33、lfda(v,e,t)＝lfda(v,t)+lfda(e,t)
34、其中，lfda(e,t)为额外模块特征集和红外特征集之间的身份感知特征分布对齐损失；
35、lfda(v,t)为可见光特征集和红外特征集之间的身份感知特征分布对齐损失；且lfda(v,t)满足以下关系式：
36、
37、其中，mmd′2(vi,ti)＝max[mmd2(vi,ti)-ρ1,0]
38、p表示每个身份的数量；mmd′2(.)指的最大均值差异损失；vi,t本文档来自技高网...
【技术保护点】
1.基于姿态特征对齐的跨模态行人重识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的跨模态行人重识别方法，其特征在于，所述S2中的ResNet50双流网络包括两个不同的零号卷积块、一号卷积块、二号卷积块、三号卷积块和四号卷积块；
3.根据权利要求1所述的跨模态行人重识别方法，其特征在于，所述S3具体包含如下步骤：
4.根据权利要求3所述的跨模态行人重识别方法，其特征在于，所述S31中通过数据增广得到一张额外模态图像具体为：
5.根据权利要求3所述的跨模态行人重识别方法，其特征在于，所述S35采用公式表示具体如下：
6.根据权利要求5所述的跨模态行人重识别方法，其特征在于，所述S4中模态特征对齐学习方法的总体损失函数具体如下：
7.根据权利要求6所述的跨模态行人重识别方法，其特征在于，所述身份损失具体如下：
8.根据权利要求7所述的跨模态行人重识别方法，其特征在于，所述身份感知特征分布对齐损失具体如下：
9.根据权利要求8所述的跨模态行人重识别方法，其特征在于，所述三模态中心
10.根据权利要求9所述的跨模态行人重识别方法，其特征在于，所述模态内中心损失具体如下：
...【技术特征摘要】
1.基于姿态特征对齐的跨模态行人重识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的跨模态行人重识别方法，其特征在于，所述s2中的resnet50双流网络包括两个不同的零号卷积块、一号卷积块、二号卷积块、三号卷积块和四号卷积块；
3.根据权利要求1所述的跨模态行人重识别方法，其特征在于，所述s3具体包含如下步骤：
4.根据权利要求3所述的跨模态行人重识别方法，其特征在于，所述s31中通过数据增广得到一张额外模态图像具体为：
5.根据权利要求3所述的跨模态行人重识别方法，其特征在于，所述s35采用...
【专利技术属性】
技术研发人员：刘敏，李若霖，孙烨清，边远，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。