基于孪生语义自编码器和分支融合的行人重识别方法技术

本发明专利技术提供了一种基于孪生语义自编码器和分支融合的行人重识别方法，该方法步骤为：构建一个行人重识别数据集和其孪生数据集，训练一个卷积自编码器；把卷积自编码器的编码器网络作为特征提取骨干网络来提取孪生特征向量，训练一个孪生语义自编码器，并借助其编码部分网络权重构建一个语义自编码分支网络；将卷积自编码器的编码器网络作为行人重识别骨干网络，对其进行分支构建，训练得到一个完整的行人重识别网络模型；将待识别行人图像和待查询行人图像集分别输入到训练好的模型中，提取出经过多层次特征融合后的行人重识别特征，经相似度排序实现行人重识别。本发明专利技术能显著提高行人重识别网络模型的鲁棒性和行人重识别的精度。

【技术实现步骤摘要】
基于孪生语义自编码器和分支融合的行人重识别方法
本专利技术属于人工智能及计算机视觉
，具体的说是涉及一种基于孪生语义自编码器和分支融合的行人重识别方法。
技术介绍
行人重识别任务为当前计算机视觉
中应用较为广泛的一个图像识别任务，尤其在行人监控方面有着关键应用。另外，属性识别任务同样可应用于行人监控，通常作为行人重识别或者行人检测等任务的辅助任务。行人重识别的目的是从非重叠摄像画面中找到被查询的人，而属性识别的目的是预测图像中存在的属性，属性能够描述一个人的详细信息，包括性别、配饰、衣服长短颜色等，在行人重识别任务中使用属性信息作为辅助，可提高识别算法的鲁棒性，提升识别的准确率。此前的行人重识别方法，多采用ResNet等卷积神经网络作为骨干网络来进行特征提取。ZL2019105493455公开了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，该方法是利用可解释卷积神经网络通过实现对输入行人图像进行特征提取，利用注意机制对多种遮挡模式进行跨通道表示，进而提升行人检测性能，但是这种识别方式利用的卷积网络过于庞大，效率比较低，行人重识别网络模型的鲁棒性以及行人重识别的精度低，而且对于细节特征的指向性比较强，不容易聚焦全局信息，适用范围不够广。ZL2020100926087公开了一种融合行人属性的行人重识别的方法，将行人属性和行人识别分支的特征向量融合，而这里的行人属性为预测的，使用乘积的方式完成两个实行分支特征向量的融合，虽然这种识别方法的有一定的精度，但是预测值会存在误差。
技术实现思路
为了解决上述问题，本专利技术提供了一种基于孪生语义自编码器和分支融合的行人重识别方法，该方法使用卷积自编码器作为骨干网络，然后进行分支构建以及多层次特征融合。为了达到上述目的，本专利技术是通过以下技术方案实现的：本专利技术是一种基于孪生语义自编码器和分支融合的行人重识别方法，该行人重识别方法具体包括如下步骤：S1：收集行人图像，并标记行人身份标签和属性标签，构建一个行人重识别数据集；随后再对其中每张图像分别进行数据增强处理，得到该数据集的一个孪生数据集；S2：利用S1中行人重识别数据集训练一个卷积自编码器；S3：利用S2卷积自编码器的编码器网络提取行人重识别数据集和其孪生数据集中所有图像的特征向量，其中，给定一张图像和其经过数据增强后的图像，经过卷积编码器所提取出的两个特征向量可并称作孪生特征向量；S4：利用S3中提取的孪生特征向量，与相应的属性标签信息进行配合，对一个孪生语义自编码器进行预训练，保存其输入层到隐含层之间的网络权重参数，并利用该部分权重参数构建一个语义自编码分支网络，该分支网络的输出可称为语义属性特征向量；S5：将S2中卷积自编码器的编码器网络作为骨干网络，并对其进行分支构建以及多层次特征融合，构建一个完整的行人重识别网络；S6：将S1行人重识别训练数据集输入到S5中的行人重识别网络中，利用自构建的损失函数对网络进行迭代训练，最终得到一个基于孪生语义自编码器和分支融合的行人重识别网络模型；S7：将待识别行人图像和待查询行人图像集分别输入到S6中的行人重识别网络模型中，提取出所有图像的行人重识别特征向量；S8：分别逐一计算待识别行人图像的特征向量与所有待查询行人图像的特征向量之间的欧几里得相似度，即先求出特征向量之间的欧几里得距离，然后对距离值进行归一化处理从而得到特征向量之间的相似度。S9：按相似度得分从高到低对所有待查询行人图像进行排序，根据相似度得分排序得到行人重识别结果，即待识别行人图像中的行人与相似度得分最高的待查询行人图像中的行人为同一身份。其中，所述分支构建具体为：S5-1：添加S4语义自编码分支网络，输出为语义属性特征向量；S5-2：构建一个行人属性识别分支网络，输出为行人属性特征向量；S5-3：构建一个行人重识别分支网络，输出为最终的行人重识别特征向量；S5-4：在骨干网络上添加特征融合分支，输入为骨干网络每个卷积模块输出的不同尺度大小的行人特征向量，输出为经过特征融合后的行人特征向量，随后分别输入语义自编码分支网络、行人属性识别分支网络和行人重识别分支网络。其中，所述多层次特征融合具体为：S5-5：在骨干网络上进行多尺度特征融合，即将骨干网络不同卷积模块提取的不同尺度大小的中低层特征向量进行融合；S5-6：将行人属性特征与语义属性特征向量进行融合，得到的特征向量用于行人属性识别；S5-7：在行人重识别分支网络上将行人属性特征向量与行人重识别特征向量进行融合，得到的特征向量用于最终的行人重识别。本专利技术的进一步改进在于：S2中的卷积自编码器由编码器和解码器两部分组成，所述编码器由4个卷积模块组成，解码器由4个反卷积模块和1个额外的卷积层组成，所述卷积模块包括1个卷积层和1个最大池化层，反卷积模块包括1个上采样层和1个卷积层。本专利技术的进一步改进在于：所述S4包括如下步骤：S4-1：训练孪生语义自编码器：语义自编码器为三层结构，分别是：输入层、隐含层、输出层，其中输入层为图像的底层视觉特征；隐含层也称为语义属性层，包含高层语义特征，是通过对输入层数据进行编码得到的；而输出层为对编码数据按照之前的编码规则进行逆向解码得到的恢复数据，即可看作是对输入层内底层视觉特征的重构，编码、解码过程都由若干层全连接神经网络组成，利用映射矩阵在底层视觉特征和高层语义特征之间进行双向的映射变换，其中隐含层到输出层的解码过程所用映射矩阵即为输入层到隐含层的编码过程所用映射矩阵的转置。孪生语义自编码器是将两个孪生特征向量分别输入两个结构完全相同的语义自编码器，并使用同一个目标函数进行训练，得到的一种自编码器结构，其中两个语义自编码器最后得到的映射矩阵应完全相同。为了使孪生语义自编码器的输入特征与输出特征尽可能地相同，令其目标函数为：其中，X1、X2为孪生特征向量，W为映射矩阵，WT为W的转置，S为语义属性特征向量，λ1、λ2分别为约束“WX1＝S”和“WX2＝S”的权重系数。该目标函数的主要特点是利用S向量的原始数据对映射函数添加了额外的约束，使编码数据能够尽可能地恢复为原始数据；并且将两个语义自编码器联合起来进行训练，使最后得到的映射矩阵能更好地将视觉特征转换为语义特征，提高了模型的鲁棒性。在孪生语义自编码器的训练阶段，将每一对孪生特征向量分别输入到两个输入层，作为目标函数中X1、X2的输入；将行人重识别数据集中相应的属性标签信息通过Word2Vec方法转换为词向量，即语义属性特征向量，然后输入到隐含层，作为目标函数中S向量的原始数据输入。由此对孪生语义自编码器进行训练，最后得到映射矩阵W，将输入层到隐含层之间的网络权重参数保存，用于语义自编码分支网络的初始化。S4-2：构建语义自编码分支网络：利用步骤S4-1中保存的语义自编码器从输入层到隐含层之间的网络权重，构建语义自编码分支本文档来自技高网...

【技术保护点】
1.一种基于孪生语义自编码器和分支融合的行人重识别方法，其特征在于：该行人重识别方法将卷积自编码器的编码器网络作为骨干网络，并对其进行分支构建以分支融合，构建一个完整的行人重识别网络，该行人重识别方法具体包括如下步骤：/nS1：收集行人图像，构建一个行人重识别数据集，数据增强处理后得到该数据集的一个孪生数据集；/nS2：利用S1中行人重识别数据集训练一个卷积自编码器；/nS3：利用S2卷积自编码器的编码器网络提取行人重识别数据集和其孪生数据集中所有图像的特征向量；/nS4：利用S3中提取的孪生特征向量，对一个孪生语义自编码器进行预训练，构建一个语义自编码分支网络，该分支网络的输出为语义属性特征向量；/nS5：将S2中卷积自编码器的编码器网络作为骨干网络，并对其进行分支构建以及多层次特征融合，构建一个完整的行人重识别网络；/nS6：将S1行人重识别训练数据集输入到S5中的行人重识别网络中，利用损失函数对网络进行迭代训练，最终得到一个基于孪生语义自编码器和分支融合的行人重识别网络模型；/nS7：将待识别行人图像和待查询行人图像集分别输入到S6中的行人重识别网络模型中，提取出所有图像的行人重识别特征向量；/nS8：分别逐一计算待识别行人图像的特征向量与所有待查询行人图像的特征向量之间的欧几里得相似度；/nS9：按S8计算出的相似度得分排序得到行人重识别结果。/n...

【技术特征摘要】
1.一种基于孪生语义自编码器和分支融合的行人重识别方法，其特征在于：该行人重识别方法将卷积自编码器的编码器网络作为骨干网络，并对其进行分支构建以分支融合，构建一个完整的行人重识别网络，该行人重识别方法具体包括如下步骤：
S1：收集行人图像，构建一个行人重识别数据集，数据增强处理后得到该数据集的一个孪生数据集；
S2：利用S1中行人重识别数据集训练一个卷积自编码器；
S3：利用S2卷积自编码器的编码器网络提取行人重识别数据集和其孪生数据集中所有图像的特征向量；
S4：利用S3中提取的孪生特征向量，对一个孪生语义自编码器进行预训练，构建一个语义自编码分支网络，该分支网络的输出为语义属性特征向量；
S5：将S2中卷积自编码器的编码器网络作为骨干网络，并对其进行分支构建以及多层次特征融合，构建一个完整的行人重识别网络；
S6：将S1行人重识别训练数据集输入到S5中的行人重识别网络中，利用损失函数对网络进行迭代训练，最终得到一个基于孪生语义自编码器和分支融合的行人重识别网络模型；
S7：将待识别行人图像和待查询行人图像集分别输入到S6中的行人重识别网络模型中，提取出所有图像的行人重识别特征向量；
S8：分别逐一计算待识别行人图像的特征向量与所有待查询行人图像的特征向量之间的欧几里得相似度；
S9：按S8计算出的相似度得分排序得到行人重识别结果。


2.根据权利要求1所述基于孪生语义自编码器和分支融合的行人重识别方法，其特征在于：所述S5中的分支构建具体为：
S5-1：添加S4语义自编码分支网络，输出为语义属性特征向量；
S5-2：构建一个行人属性识别分支网络，输出为行人属性特征向量；
S5-3：构建一个行人重识别分支网络，输出为最终的行人重识别特征向量；
S5-4：在骨干网络上添加特征融合分支，输入为骨干网络每个卷积模块输出的不同尺度大小的行人特征向量，输出为经过特征融合后的行人特征向量，随后分别输入语义自编码分支网络、行人属性识别分支网络和行人重识别分支网络。


3.根据权利要求1所述基...

【专利技术属性】
技术研发人员：李群，张子屹，肖甫，徐鼎，周剑，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32