【技术实现步骤摘要】
一种基于人物属性辅助的跨模态行人重识别方法
[0001]本专利技术涉及一种基于人物属性辅助的跨模态行人重识别方法，具体涉及一种基于人物属性辅助的可见光
‑
红外光跨模态行人重识别方法，属于计算机视觉领域。
技术介绍
[0002]近年来，随着计算机视觉领域的快速发展，行人重识别逐渐成为一个研究热点，旨在对不同摄像机不同场景下捕捉到的行人图像进行检索和识别。由于视点、姿势、遮挡和照明等的复杂变化，使得行人重识别在真实场景中极具挑战性。尽管目前的行人重识别方法不断进步不断发展，但大多数研究是集中在可见光图像上的，却忽略了在夜晚等一些光线不足的环境下，可见光摄像机很难捕捉到人的有效信息，这些方法在特定场景下的性能大大降低。因此，能够在昏暗的夜晚捕捉行人有效图像的红外摄像机得到了广泛的应用。
[0003]但由于两种模态之间存在着巨大的差异，红外光图像相比于可见光图像缺少一些强烈的区别提示，比如颜色等。这就使得如何探索两种模态下的相同要素，减少同一行人在交叉模态下的特征差异，构建起二者之间的联系成为目前面临的重大...
【技术保护点】
【技术特征摘要】
1.一种基于人物属性辅助的跨模态行人重识别方法，其特征在于，包括：获取待识别的行人图像；对所述待识别的行人图像采用对应的基于ResNet50的主干网络进行特征提取，得到对应模态特征；将所述模态特征进行平均池化操作，得到一维特征；将所述一维特征输入训练好的跨模态行人重识别模型；根据所述跨模态行人重识别模型的输出，确定行人重识别结果；其中所述跨模态行人重识别模型的训练方法包括：S1获取跨模态行人图像数据集，对跨模态行人图像数据集进行人物属性标注，得到带人物属性标注的跨模态行人图像数据集；其中所述跨模态行人图像数据集包括可见光行人图像数据集和红外光行人图像数据集；S2对所述带人物属性标注的可见光行人图像数据集和红外光行人图像数据集采用以双流网络形式呈现的ResNet50作为主干网络进行特征提取，得到多模态共享特征；S3将所述多模态共享特征进行平均池化操作后采用多层次融合方法进行特征融合，得到融合后的一维特征数据集；S4利用所述融合后的一维特征数据集对基于ResNet50的跨模态行人重识别模型进行训练，得到训练好的跨模态行人重识别模型。2.根据权利要求1所述的基于人物属性辅助的跨模态行人重识别方法，其特征在于，获取跨模态行人图像数据集，对跨模态行人图像数据集进行人物属性标注，包括：获取SYSU
‑
MM01数据集来构建跨模态行人图像数据集，通过对可见光和红外光两种模态的图像对比分析，选取人物属性采用二值化的标签进行标注，其中所述人物属性包括性别、头发长短、戴眼镜、戴帽子、穿外套、上衣袖长、下装长度、裤子、裙子、背包、拎包、挎包。3.根据权利要求1所述的基于人物属性辅助的可见光
‑
红外跨模态行人重识别方法，其特征在于，采用以双流网络形式呈现的ResNet50作为主干网络进行特征提取，包括：将ResNet50的第一阶段和第二阶段作为特定模态的特征提取器分别对可见光图像和红外光图像单独训练，提取得到两种模态特定特征；将ResNet50的后三个阶段用于共享网络特征嵌入，通过将两种模态特定特征映射到统一特征空间来提取多模态共享特征。4.根据权利要求1所述的基于人物属性辅助的跨模态行人重识别方法，其特征在于，将所述多模态共享特征进行平均池化操作后采用多层次融合方法进行特征融合，包括：将ResNet50的第三阶段经过平均池化后的输出特征作为中层特征Mid2_fea，将ResNet50的第五阶段经过平均池化后的输出特征作为高层特征High_fea，将中层特征和高层特征进行融合得到融合特征Fea1，将融合特征Fea1经过1x1卷积层、批量归一化网络层、激活函数层获得融合后的一维特征。5.根据权利要求1所述的基于人物属性辅助的跨模态行人重识别方法，其特征在于，利用所述融合后的一维特征数据集对基于ResNet50的跨模态行人重识别模型进行训练，包括：所述跨模态行人重识别模型包括全局特征学习模块和局部特征学习模块，将属性划分
为全局属性和局部属性，全局属性注重整体，将行人身份信息和性别作为全...
【专利技术属性】
技术研发人员：刘峰，邓可欣，宋婉茹，赵峥来，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。