一种基于生成难负样本的跨模态行人重识别方法及系统技术方案

本公开提供一种基于生成难负样本的跨模态行人重识别方法及系统，其中，方法，包括：获取文本描述和文本描述对应的真实行人图像；将文本描述输入预设的跨模态生成对抗网络中，确定生成行人图像；将文本描述和文本描述匹配的真实行人图像作为正样本、文本描述和文本描述不匹配的真实行人图像以及文本描述和生成行人图像作为负样本输入预设的跨模态行人重识别网络，联合训练预设的跨模态生成对抗网络和预设的跨模态行人重识别网络，确定最优的跨模态行人重识别模型；采用最优的跨模态行人重识别模型确定待识别的文本描述的目标行人图像。通过本公开，扩充训练数据，构建联合训练架构训练跨模态行人重识别模型，提高跨模态行人重识别的准确率。

【技术实现步骤摘要】

本公开涉及计算机视觉和深度学习，具体地，涉及一种基于生成难负样本的跨模态行人重识别方法及系统。

技术介绍

1、文本到图像的行人重识别任务(text-to-image person re-identification，tireid)是计算机视觉领域的一项重要研究内容，其核心目标为根据文本描述从不同摄像头视角或不同拍摄角度获取的图像中重新识别出同一身份的行人。该技术在智能安防、城市监控、智慧交通和商业分析等多个领域具有广泛应用，其能够弥补单模态检索任务适用性不足的缺陷。

2、但是，在实际应用中，数据集的质量问题以及样本数量不足导致信息缺失，成为限制文本导图像的行人重识别技术性能提升的重要因素。同时，在跨模态任务中，文本和图像信息不对等造成的模态差异也会影响检索性能，例如，对于同一文本描述匹配到不同身份的相似图像。现有的方法在受限数据集上无法学习到更多的相似样本区分能力，导致整体跨模态检索性能较差。

技术实现思路

1、针对现有技术中的缺陷，本公开的目的是提供一种基于生成难负样本的跨模态行人重识别方法及系本文档来自技高网...

【技术保护点】

1.一种基于生成难负样本的跨模态行人重识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述文本描述输入预设的跨模态生成对抗网络中，确定生成行人图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述文本描述和所述文本描述对应的真实行人图像作为真实样本，所述文本描述和所述生成行人图像作为生成样本，所述文本描述对应的真实行人图像包括所述文本匹配的真实行人图像和所述文本不匹配的真实行人图像，所述生成行人图像包括所述文本描述匹配的生成行人图像和所述文本描述不匹配的生成行人图像。

4.根据权利要求3所述的方法，其特征在于，所述将...

【技术特征摘要】

1.一种基于生成难负样本的跨模态行人重识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述文本描述输入预设的跨模态生成对抗网络中，确定生成行人图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述文本描述和所述文本描述对应的真实行人图像作为真实样本，所述文本描述和所述生成行人图像作为生成样本，所述文本描述对应的真实行人图像包括所述文本匹配的真实行人图像和所述文本不匹配的真实行人图像，所述生成行人图像包括所述文本描述匹配的生成行人图像和所述文本描述不匹配的生成行人图像。

4.根据权利要求3所述的方法，其特征在于，所述将所述文本描述和所述文本描述匹配的真实行人图像作为正样本、所述文本描述和所述文本描述不匹配的真实行人图像以及所述文本描述和所述生成行人图像作为负样本输入预设的跨模态行人重识别网络，联合训练所述预设的跨模态生成对抗网络和所述预设的跨模态行人重识别网络，确定最优的跨模态行人重识别模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述文...

【专利技术属性】
技术研发人员：杨华，岳炜，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：