一种基于模态间共性语义学习的跨模态行人重识别方法技术

本发明专利技术公开了一种基于模态间共性语义学习的跨模态行人重识别方法，包括如下步骤：1）跨模态行人重识别数据集的预处理；2）构建文本语义聚类模块进行语义特征学习；3）构建共性语义协作模块进行语义一致性学习；4）优化基于模态间共性语义学习的跨模态行人重识别网络；5）验证过程。这种方法能有效整合行人图像和文本描述中语义信息，同时采用深入学习和利用视觉与文本间的共性语义弥补两种模态之间的异质性和不对称性对跨模态行人重识别的性能的影响，能效提高跨模态行人重识别的精度和性能。

【技术实现步骤摘要】

本专利技术涉及人工智能技术，尤其涉及跨模态行人重识别技术，具体是一种基于模态间共性语义学习的跨模态行人重识别方法。

技术介绍

1、跨模态行人重识别一直是行人重识别领域研究的热点课题，并在智能安防系统、智慧养老等公共领域有着广泛的应用。遗憾的是，在复杂的行人重识别场景中，单靠全局特征匹配和随机局部特征学习的学习范式通常难以应对模式异质性的挑战。因此，深入挖掘和理解局部语义成为了跨模态行人重识别技术的核心。

2、目前，基于全局或局部语义特征的学习方法仍有待提高，主要问题在于缺乏详尽的标注数据，这使得模型难以捕捉行人间的独特特征，例如，相似外观的不同个体由于标注不足，模型往往无法区分。因此如何在标注不充分的情况下使模型学习到足够的辨识特征是一个有待解决的挑战。此外，不精确的标注使得局部文本描述难以与图像区域匹配，进一步降低了检索的准确性，例如，错误的颜色标签会引起视觉-文本匹配错误，增加了语义歧义。因此，如何从不精确的注释中有效学习细粒度特性，成为另一个待解决的挑战。

3、为了应对上述挑战，需要有效整合图像和文本的局部特征及其上下文信息，本文档来自技高网...

【技术保护点】

1.一种基于模态间共性语义学习的跨模态行人重识别方法，其特征在于，包括如下步骤：

【技术特征摘要】

1.一种基于模态间共性语义学习的跨模态行...

【专利技术属性】
技术研发人员：张灿龙，罗赠丽，李志欣，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：