【技术实现步骤摘要】
本申请方案属于行人重识别领域，特别涉及一种基于辅助特征的跨模态行人重识别模型、方法及应用。
技术介绍
1、行人重识别的目标是从数据库中检索出在不同摄像头下拍摄的同一行人的图像，即在非重叠相机视角中找到特定行人的多张照片。行人重识别（reid）作为计算机视觉领域的一项长期挑战，在智能安防和智能生活等领域具有广泛应用。随着深度学习技术的发展，相比传统的手工特征提取方法，行人重识别的准确性得到了显著提升，然而，目前的行人重识别准确率仍有提升空间。
2、为了确保摄像头在夜间也能正常工作，现代摄像头通常配备了可见光和红外光两种模式，但是大多数主流的行人重识别模型还是依赖于可见光图像的图像识别，这就导致了此类行人重识别模型无法很好对红外光模式下的图像进行识别。因此，跨模态的行人重识别任务应运而生，其目标是给定一种模态（可见光或红外光）的行人图片，在数据库中检索出另一种模态（红外光或可见光）的对应行人图片。跨模态行人重识别的主要挑战在于不同光谱相机之间的模态差异，可见光图像包含更多的颜色和细节信息，而红外光图像则提供更丰富的结构信息。此外...
【技术保护点】
1.一种基于辅助特征的跨模态行人重识别模型包括的构建方法，其特征在于，包括以下步骤：步骤S1：获取多组对应且标记同一行人类别的可见光图像和红外光图像组成的图像组作为训练集；步骤S2：将训练集输入到跨模态行人重识别框架中进行训练，直到满足训练条件得到跨模态行人重识别模型；其中跨模态行人重识别框架包括基于ResNet的深度残差网络、红外光特征提取网络、可见光特征提取网络以及全连接层，其中基于ResNet的深度残差网络包括并行的四阶段的RGB流以及IR流，对应RGB流以及IR流的第一阶段和第二阶段的提取网络的参数独立，对应RGB流以及IR流的第三阶段和第四阶段的提取网络的参...
【技术特征摘要】
1.一种基于辅助特征的跨模态行人重识别模型包括的构建方法，其特征在于，包括以下步骤：步骤s1：获取多组对应且标记同一行人类别的可见光图像和红外光图像组成的图像组作为训练集；步骤s2：将训练集输入到跨模态行人重识别框架中进行训练，直到满足训练条件得到跨模态行人重识别模型；其中跨模态行人重识别框架包括基于resnet的深度残差网络、红外光特征提取网络、可见光特征提取网络以及全连接层，其中基于resnet的深度残差网络包括并行的四阶段的rgb流以及ir流，对应rgb流以及ir流的第一阶段和第二阶段的提取网络的参数独立，对应rgb流以及ir流的第三阶段和第四阶段的提取网络的参数彼此共享，且rgb流和ir流的第二阶段的提取网络输出的特征图通过基于高斯引导的自适应模块后输入到对应的第三阶段中，rgb流和ir流的第三阶段的提取网络输出的特征图通过基于高斯引导的自适应模块后输入到对应的第四阶段中；其中红外光特征提取网络和可见光特征提取网络均包括全局特征分支和局部特征分支；将可见光图像输入到基于resnet的深度残差网络的rgb 流中得到可见光特征，将红外光图像输入到基于resnet的深度残差网络的ir流中得到红外光特征，将红外光特征输入到红外光特征提取网络的全局特征分支和局部特征分支中进行处理分别得到红外光全局特征和红外光局部特征，拼接红外光全局特征和红外光局部特征得到对应于当前行人的红外光行人特征，将可见光特征输入到可见光特征提取网络的全局特征分支和局部特征分支中进行处理分别得到可见光全局特征和可见光局部特征，拼接可见光全局特征和可见光局部特征得到对应于当前行人的可见光行人特征；将可见光行人特征和红外光行人特征输入到全连接层中分类得到重识别结果。
2.根据权利要求1所述的基于辅助特征的跨模态行人重识别模型包括的构建方法，其特征在于，基于高斯引导的自适应模块采用局部特征提取的方式获取特征图中对应身体不同部位的身份鉴别特征。
3.根据权利要求1所述的基于辅助特征的跨模态行人重识别模型包括的构建方法，其特征在于，输入基于高斯引导的自适应模块中的特征图在垂直方向上被切分为多个不重叠的局部特征块，对每一局部特征块进行空间维度的展平得到展平特征，利用三个全连接层分别对展平特征进行提取后得到嵌入特征q、嵌入特征k以及嵌入特征v，基于嵌入特征q、嵌入特征k以及嵌入特征v引入高斯权重得到加权后的加权特征，将加权特征恢复到原始空间维度得到局部加权特征块，并将所有局部加权特征块在垂直方向上进行拼接得到输出特征图。
4.根据权利要求3所述的基于辅助特征的跨模态行人重识别模型包括的构建方法，其特征在于，利用嵌入特征q和嵌入特征k进行矩阵计算和归一化操作得到第一注意力权重矩阵，根据展平特...
【专利技术属性】
技术研发人员：戚梦赞，产思贤，吴周检，孙晶晶，
申请(专利权)人：杭州像素元科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。