基于模态不变特征学习的文本-行人图像检索方法技术

本发明专利技术涉及基于模态不变特征学习的文本‑行人图像检索方法，属于行人重识别技术领域。本发明专利技术包括步骤：获取文本描述和行人图像数据，并对图像进行预处理；构建特征提取网络，将预处理好的文本和行人图像分别送入各自模态的特征提取网络；构建图文互翻译模块，图像和文本分别经过多层编码器向对立模态特征靠近，获得模态差距小的特征；构建特征增强模块，对单模态内的多层编码器输出特征进行特征增强；特征编码器分别提取的图像和文本特征输入图文互翻译和特征增强模块，得到图像和文本的最终特征，使用图像和文本的最终特征进行跨模态检索。本发明专利技术通过图文互翻译的方式获得模态不变特征，提升了文本‑行人图像的检索性能。

【技术实现步骤摘要】

本专利技术涉及基于模态不变特征学习的文本-行人图像检索方法，属于行人重识别。

技术介绍

1、文本-行人图像检索是指利用文本描述来检索具有特定外观的行人图像。在某些场景下，无法获取可靠的待搜索对象视觉信息，这就需要算法和模型在训练中能对文本和视觉这两种信息进行恰当地处理，以求在只有文本作为检索信息的情况下，模型能够搜索到对应的行人图像。然而，现有方法仍存在一些问题，比如不能有效地缩小文本和图像两种模态间的巨大差异。针对以上问题，提出了基于模态不变特征学习的文本-行人图像检索方法。

技术实现思路

1、为了解决现有方法的不足，本专利技术针对现有方法难以有效缩小模态间的差异，提出了基于模态不变特征学习的文本-行人图像检索方法，缓解了模态特有的身份相关信息丢失的问题，提升了文本-行人图像的检索性能。

2、本专利技术的技术方案是：基于模态不变特征学习的文本-行人图像检索方法，所述方法的具体步骤如下：

3、step1：获取行人文本描述和行人图像数据，并对图像进行预处理；

<p>4、step2：本文档来自技高网...

【技术保护点】

1.基于模态不变特征学习的文本-行人图像检索方法，其特征在于：所述方法的具体步骤如下：

2.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于：所述Step1中，将所有输入图像调整为224x224的大小，并采用随机水平翻转进行数据增强。

3.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于，所述Step2中的特征提取网络包括文本编码器和图像编码器，分别提取文本和图像原始特征。

4.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于，所述Step2中特征提取网络具体操作过程如...

【技术特征摘要】

1.基于模态不变特征学习的文本-行人图像检索方法，其特征在于：所述方法的具体步骤如下：

2.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于：所述step1中，将所有输入图像调整为224x224的大小，并采用随机水平翻转进行数据增强。

3.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于，所述step2中的特征提取网络包括文本编码器和图像编码器，分别提取文本和图像原始特征。

4.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于，所述step2中特征提取网络具体操作过程如下：

5.根据权利要求1所述的基于模态不变特征学习的文本-行人图像检索方法，其特征在于，所述step3中，图文互翻译是双向翻译路径，包括图像到文本的正向翻译路径和文本到图像的逆向翻译路径，正向...

【专利技术属性】
技术研发人员：杨社丹，吴婉银，詹均，林旭，杨延华，杨二昆，
申请(专利权)人：云南联合视觉科技有限公司，
类型：发明
国别省市：