行人再识别方法和装置、电子设备、存储介质、程序产品制造方法及图纸

本申请实施例公开了一种行人再识别方法和装置、电子设备、存储介质、程序产品，获取待识别图像和候选图像集；利用特征提取网络对待识别图像和候选图像集中各候选图像进行特征提取，获得待识别图像对应的待识别中间特征和候选图像对应的候选中间特征，特征提取网络经图像特征和语言描述跨模态训练获得；基于待识别中间特征和候选中间特征从候选图像集中获得待识别图像对应的识别结果，利用了图像与描述该图像的语言之间天然的对应关系，以短语重建的方式进一步挖掘局部图片区域与名词短语之间相关性，增强了对图像特征学习的约束，提高了行人再识别视觉特征的质量，进而提高了行人再识别的准确度。

【技术实现步骤摘要】
行人再识别方法和装置、电子设备、存储介质、程序产品
本申请涉及计算机视觉技术，尤其是一种行人再识别方法和装置、电子设备、存储介质、程序产品。
技术介绍
行人再识别是智能视频监控系统中的一项关键技术，它旨在通过对给定目标样本和后选样本之间的相似性进行度量，在大量后选样本中找出目标样本。随着深度神经网络的应用，用于行人再识别的视觉特征得到增强。为了进一步提高特征的判别能力，一些方法使用了辅助性数据；但仍存在以下问题：依赖额外的设备或模型，增加算法运行价格和时间的成本；或是对辅助数据定义复杂标注格式，增加了数据标注的人力成本。
技术实现思路
本申请实施例提供的一种行人再识别技术。根据本申请实施例的一个方面，提供的一种行人再识别方法，包括：获取待识别图像和候选图像集；利用特征提取网络对待识别图像和候选图像集中各候选图像进行特征提取，获得所述待识别图像对应的待识别中间特征和所述候选图像对应的候选中间特征，所述特征提取网络经图像特征和语言描述跨模态训练获得；基于所述待识别中间特征和所述候选中间特征从所述候选图像集中获得所述待识别图像对应的识别结果，所述识别结果包括至少一个候选图像。可选地，所述基于所述待识别中间特征和所述候选中间特征从所述候选图像集中获得所述待识别图像对应的识别结果，包括：所述待识别中间特征和所述候选中间特征分别经过平均池化层和全连接层获得待识别特征和候选特征；基于所述待识别特征和所述候选特征从所述候选图像集中获得所述待识别图像对应的识别结果。可选地，还包括：基于语言识别网络对与所述待识别图像相关的描述文字进行特征提取，获得语言特征；基于所述语言特征对所述识别结果进行筛选，获得所述待识别图像对应的更新识别结果，所述更新识别结果包括至少一个候选图像。可选地，所述基于所述语言特征对所述识别结果进行筛选，获得所述待识别图像对应的更新识别结果，包括：基于所述语言特征与所述识别结果对应的至少一个所述候选中间特征之间的距离进行筛选；获得距离小于或等于预设值的至少一个所述候选中间特征，将获得的所述候选中间特征对应的所述候选图像作为所述更新识别结果。可选地，还包括：基于所述语言识别网络对所述待识别图像相关的至少一个描述词语进行特征提取，获得词语特征，每个所述描述词语对应所述待识别图像中的至少一个部分；基于所述词语特征对所述识别结果或所述更新识别结果进行筛选，获得所述待识别图像对应的目标识别结果，所述目标识别结果包括至少一个所述候选图像。可选地，所述基于所述词语特征对所述识别结果或所述更新识别结果进行筛选，获得所述待识别图像对应的目标识别结果，包括：基于所述词语特征与所述识别结果或所述更新识别结果对应的至少一个所述候选中间特征之间的距离进行筛选；获得距离小于或等于预设值的至少一个所述候选特征，将所述获得的候选中间特征对应的候选图像作为所述目标识别结果。可选地，所述经图像特征和语言描述跨模态训练获得特征提取网络，包括：将样本图像输入所述特征提取网络，得到样本图像特征，所述样本图像包括文字描述标注；基于语言识别网络对所述文字描述标注进行特征提取，得到样本语言特征；基于所述样本语言特征和所述样本图像特征，训练所述特征提取网络。可选地，所述基于所述样本语言特征和所述样本图像特征，训练所述特征提取网络，包括：基于所述样本语言特征和所述样本图像特征，获得全局相关概率；基于所述全局相关概率和所述样本图像与所述文字描述标注的相关性，利用二元互熵损失获得全局损失；基于所述全局损失训练所述特征提取网络。可选地，所述基于所述样本语言特征和所述样本图像特征，获得全局相关概率，包括：将所述样本图像特征池化后与所述样本语言特征相减，得到差值特征；对所述差值特征进行逐元素计算平方值获得联合特征；对所述联合特征执行归一化处理，得到用于表示全局相关性的全局相关概率。可选地，所述基于所述语言识别网络对所述文字描述标注进行特征提取，得到样本语言特征之前，还包括：基于样本文字对所述语言识别网络进行预训练，所述样本文字包括标注语言特征。可选地，所述基于样本文字对所述语言识别网络进行预训练，包括：将所述样本文字输入所述语言识别网络得到第一预测样本特征；基于所述第一预测样本特征和所述标注语言特征调整所述语言识别网络的参数。可选地，还包括：基于所述语言识别网络对所述文字描述标注中至少一个短语标注进行特征提取，得到至少一个局部特征，每个所述短语标注用于描述所述样本图像中的至少一个区域；基于所述局部特征和所述样本图像特征得到局部损失；所述基于所述全局损失训练所述特征提取网络，包括：基于所述全局损失和所述局部损失训练所述特征提取网络。可选地，所述基于所述语言识别网络对所述文字描述标注中至少一个短语标注进行特征提取，得到至少一个局部特征之前，还包括：分割所述文字描述标注，得到至少一个短语标注，每个所述短语标注包括至少一个名词，所述获得的短语标注对应一个标注概率，每个概率值表示所述短语标注对应所述样本图像的概率。可选地，所述分割所述文字描述标注，得到至少一个短语标注，包括：对所述文字描述标注中的每个单词进行词性识别，得到每个所述单词对应的词性；基于所述词性结合预设的短语分块条件，将所述文字描述标注分割为至少一个短语标注。可选地，所述基于所述局部特征和所述样本图像特征确定局部损失，包括：对所述样本图像特征进行池化操作，得到全局特征图；基于所述全局特征图和所述局部特征，获得显著性权重；基于所述显著性权重和所述样本图像特征确定所述每个短语标注对应的预测概率；基于所述预测概率与所述短语标注对应的标注概率，获得所述局部损失。可选地，所述基于所述全局特征图和所述局部特征，获得显著性权重，包括：将所述全局特征图中每个位置的特征值与所述局部特征分别相减，得到局部差值特征；对所述局部差值特征中每个元素计算平方值获得局部联合特征；基于所述局部联合特征，获得显著性权重。可选地，所述基于所述局部联合特征，获得显著性权重，包括：基于全连接网络对所述局部联合特征进行处理，得到一个表达所述短语标注与所述样本图像匹配程度的匹配值；对每个所述短语标注对应的全局特征图中每一个位置的匹配值构成的向量进行归一化，得到所述每个短语标注对应的显著性权重。可选地，所述基于所述显著性权重和所述样本图像特征确定所述每个短语标注对应的预测概率，包括：将所述样本图像特征中对每一个位置的特征值与所述显著性权重相乘，得到对应每个所述短语标注的加权特征向量集合；将所述加权特征向量集合中的向量相加，得到所述短语标注对应所述样本图像中的局部视觉特征；基于所述局部视觉特征获得所述短语标注中每一个单词的预测概率；基于所述短语标注中每一个单词的预测概率确定所述短语标注对应的预测概率。可选地，所述基于所述局部视觉特征获得所述短语标注中每一个单词的预测概率，包括：将所述短语标注分解成单词序列，将所述局部视觉特征输入长短期记忆网络，确定至少一个隐变量，每个所述单词对应一个特征向量；每一个时刻，前一个时刻的隐变量与当前单词对应的特征向量通过长短期记忆网络相作用获得下一个时刻的隐变量；基于所述至少一个隐变量进行线性映射，得到每一个单词的预测向量；基于所述预测向量得到所述短语标注中每一个单词的预测概率。可选地，基于所述短语标注中每一个单词的预本文档来自技高网...

【技术保护点】
1.一种行人再识别方法，其特征在于，包括：获取待识别图像和候选图像集；利用特征提取网络对所述待识别图像和所述候选图像集中各候选图像进行特征提取，获得所述待识别图像对应的待识别中间特征和所述候选图像对应的候选中间特征，所述特征提取网络经图像特征和语言描述跨模态训练获得；基于所述待识别中间特征和所述候选中间特征从所述候选图像集中获得所述待识别图像对应的识别结果，所述识别结果包括至少一个所述候选图像。

【技术特征摘要】
1.一种行人再识别方法，其特征在于，包括：获取待识别图像和候选图像集；利用特征提取网络对所述待识别图像和所述候选图像集中各候选图像进行特征提取，获得所述待识别图像对应的待识别中间特征和所述候选图像对应的候选中间特征，所述特征提取网络经图像特征和语言描述跨模态训练获得；基于所述待识别中间特征和所述候选中间特征从所述候选图像集中获得所述待识别图像对应的识别结果，所述识别结果包括至少一个所述候选图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述待识别中间特征和所述候选中间特征从所述候选图像集中获得所述待识别图像对应的识别结果，包括：所述待识别中间特征和所述候选中间特征分别经过平均池化层和全连接层获得待识别特征和候选特征；基于所述待识别特征和所述候选特征从所述候选图像集中获得所述待识别图像对应的识别结果。3.根据权利要求1或2所述的方法，其特征在于，还包括：基于语言识别网络对与所述待识别图像相关的描述文字进行特征提取，获得语言特征；基于所述语言特征对所述识别结果进行筛选，获得所述待识别图像对应的更新识别结果，所述更新识别结果包括至少一个候选图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述语言特征对所述识别结果进行筛选，获得所述待识别图像对应的更新识别结果，包括：基于所述语言特征与所述识别结果对应的至少一个所述候选中间特征之间的距离进行筛选；获得距离小于或等于预设值的至少一个所述候选中间特征，将获得的所述候选中间特征对应的所述候选图像作为所述更新识别结果。5.根据权利要求1-4任一所述...

【专利技术属性】
技术研发人员：陈大鹏，李鸿升，刘希慧，邵静，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11