一种基于知识蒸馏的行人重识别方法技术

本发明专利技术涉及一种基于知识蒸馏的行人重识别方法，该方法建立结构完整行人网络和部分行人网络，以完整行人图像训练完整行人网络，以随机截取的部分图像训练部分行人网络，当损失不再下降，两个网络的训练结束；对于待预测图像，若待预测图像是完整行人图像，则输入训练好的完整行人网络中，否则输入训练好的部分行人网络中，计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像。本发明专利技术方法通过损失计算将完整行人网络和部分行人网络进行联合，提高了检测结果的鲁棒性。

【技术实现步骤摘要】
一种基于知识蒸馏的行人重识别方法
本专利技术涉及图像识别
，特别涉及基于知识蒸馏的行人重识别方法。
技术介绍
当前的部分行人重识别研究中面临的一大难题是训练数据集的缺乏，为此，一些部分行人重识别方法会利用随机裁剪的方式从完整行人图像获得部分行人图像，例如：方法1用二分类网络判断输入的图像是否是完整图像来使网络学习到关于遮挡的隐藏知识；方法2，VPM的方法，核心思路是运用自监督的方式，使模型能感知到图像区域的可见性；方法3，在网络中嵌入空间转换网络模块，来实现部分图像与完整图像的自动匹配。然而这些方法都没有考虑完整行人图像和部分行人图像在特征空间上的差异。从数据的角度上说，完整图像和部分图像服从不一样的概率分布，因此在它们之间实际上就存在着领域间隔(domaingap)的问题。在行人重识别中领域间隔问题是广泛存在的，以下几种受到较多研究者的关注：1)不同数据集之间的间隔；2)同一数据集中不同的摄像头之间的间隔；3)RGB-红外模态图像之间的间隔。值得指出的是，部分行人重识别问题也属于一种领域间隔问题，因此也可以用类似的范式加以解决。
技术实现思路
针对现有技术存在的上述问题，本专利技术的要解决的技术问题是：现有方法输出的图像特征缺少全局相关性知识而不够鲁棒。为解决上述技术问题，本专利技术采用如下技术方案：一种基于知识蒸馏的行人重识别方法，包括如下步骤：S100：建立完整行人网络和部分行人网络，所述完整行人网络和部分行人网络具有相同的网络结构。S200：从现有的公开数据集中获取多张完整行人图像构建数据库，将完整行人图像随机裁剪得到部分行人图像，初始化完整行人网络和部分行人网络的参数。对于完整行人网络，以完整行人图像作为训练样本，提取训练样本的特征进行完整行人网络训练，对于每个训练样本，计算完整行人网络输出与对应的样本真实身份标签间的损失，反向传播更新完整行人网络参数，当损失不再下降，训练结束。对于部分行人网络，以部分行人图像作为训练样本，提取训练样本的特征进行部分行人网络的训练，对于每个训练样本，计算部分行人网络输出与对应的样本真实身份标签间的损失，反向传播更新部分行人网络参数，当损失不再下降，训练结束。S300:对于待预测图像，若待预测图像是完整行人图像，则将待预测图像输入训练好的完整行人网络中，训练好的完整行人网络计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像。若待预测图像是部分行人图像，则将待预测图像输入训练好的部分行人网络中，训练好的部分行人网络计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像。作为优选，所述S100建立的完整行人网络Nh和部分行人网络Np以ResNet-50作为骨干网络，将每个图像映射到固定大小的向量表示，Rw×H×3→RD。对原始的ResNet-50做了如下修改：将原始的ResNet-50最后一个ReLU激活函数和最终的分类层均使用BNNeck层代替，将原始的ResNet-50最后一个残差块的步长从2减小到1。作为优选，所述S200中对于完整行人网络计算完整行人网络输出与对应的样本标签间的损失以及对于部分行人网络计算部分行人网络输出与对应的样本标签间的损失的方法相同，具体如下：构建整体损失，如公式(1)所示：其中，LCE为交叉熵损失，LT为三元组损失，为基于特征的损失，为基于距离的损失。其中，y表示输入图像真实的身份标签，表示完整行人网络或部分行人网络的softmax层之后的输出；总的三元组损失如公式(3)所示：LT＝LT_h+LT_p+LT_h2p+LT_p2h(3)其中，LT_h和LT_p分别表示完整行人网络和部分行人网络各自独立计算的三元组损失，和分别表示锚点样本(anchor)的正样本集和负样本集，α表示三元组损失中约束正负样本对距离差异的阈值，d表示距离函数，ha表示以完整行人图像作为锚点样本，hp表示以完整行人图像作为正样本，hn表示以完整行人图像作为负样本，pa表示以部分行人图像作为锚点样本，pp表示以部分行人图像作为正样本，pn表示以部分行人图像作为负样本；LT_h2p表示以完整行人图像作为锚点样本，以部分行人图像作为正负样本构建的三元组损失，LT_p2h表示以部分行人图像作为锚点样本，以完整行人图像作为正负样本构建三元组损失；对于一个训练批次的第i和第j个图像，计算它们的完整行人图像特征之间的距离Dh[i,j]，并且对于它们裁剪后的部分图像，计算它们的部分行人图像特征之间的距离Dp[i,j]，基于距离矩阵的损失如公式(8)所示：基于特征的损失函数最小化它们之间的均方误差，如公式(9)所示：其中，N表示一个训练批次的数据量，‖·‖2表示l2距离。相对于现有技术，本专利技术至少具有如下优点：本专利技术在训练阶段，给定同一个身份行人的完整图像和部分图像，使用完整行人网络提取完整图像的特征，用部分行人网络提取部分图像的特征，然后迫使部分行人网络的输出去模拟完整行人网络的输出，使得两个网络的特征空间一致。经过反向传播训练，全局相关性知识可以自然地从完整行人网络迁移到部分行人网络。在实验的测试阶段，将测试集中的部分行人图像输入训练好的部分行人网络提取特征，将完整行人图像输入训练好的完整行人网络提取特征，由于两个网络的特征空间趋于一致，所以可以直接计算它们之间的相似度，增加判断部分行人身份的准确率。附图说明图1为本专利技术方法基于知识蒸馏的行人重识别方法的框架图。图2为实验测试中部分图像到完整图像的测试过程框架图。具体实施方式下面对本专利技术作进一步详细说明。完整行人图像与部分行人图像之间存在着信息的不对称，增加了在它们之间进行相似性度量的难度。本专利技术提出了一种全局相关性知识蒸馏(GlobalRelationalKnowledgeDistillation,GRKD)方法，试图将从完整行人网络中学到的全局相关性知识迁移到部分行人网络。在训练阶段，给定同一个身份行人的完整图像和部分图像，使用完整行人网络提取完整图像的特征，用部分行人网络提取部分图像的特征，然后迫使部分行人网络的输出去模拟完整行人网络的输出，使得两个网络的特征空间一致。经过反向传播训练，全局相关性知识可以自然地从完整行人网络迁移到部分行人网络。GRKD方法整体框架如图1所示，首先，从原始的完整行人图像经过随机裁剪得到部分行人图像，然后建立完整行人网络Nh，部分行人网络Np，分别以完整行人图像和与其对应的部分行人图像作为训练输入，最后通过损失函数的约束实现全局相关性知识从完整行人网络Nh到部分行人网络Np的传递，使得输出特征具有跨域的判别性。参见图1，一种基于知识蒸馏的行人重识别方法本文档来自技高网...

【技术保护点】
1.一种基于知识蒸馏的行人重识别方法，其特征在于，包括如下步骤：/nS100：建立完整行人网络和部分行人网络，所述完整行人网络和部分行人网络具有相同的网络结构；/nS200：从现有的公开数据集中获取多张完整行人图像构建数据库，将完整行人图像随机裁剪得到部分行人图像，初始化完整行人网络和部分行人网络的参数；/n对于完整行人网络，以完整行人图像作为训练样本，提取训练样本的特征进行完整行人网络训练，对于每个训练样本，计算完整行人网络输出与对应的样本真实身份标签间的损失，反向传播更新完整行人网络参数，当损失不再下降，训练结束；/n对于部分行人网络，以部分行人图像作为训练样本，提取训练样本的特征进行部分行人网络的训练，对于每个训练样本，计算部分行人网络输出与对应的样本真实身份标签间的损失，反向传播更新部分行人网络参数，当损失不再下降，训练结束；/nS300：对于待预测图像，若待预测图像是完整行人图像，则将待预测图像输入训练好的完整行人网络中，训练好的完整行人网络计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像；/n若待预测图像是部分行人图像，则将待预测图像输入训练好的部分行人网络中，训练好的部分行人网络计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像。/n...

【技术特征摘要】
1.一种基于知识蒸馏的行人重识别方法，其特征在于，包括如下步骤：
S100：建立完整行人网络和部分行人网络，所述完整行人网络和部分行人网络具有相同的网络结构；
S200：从现有的公开数据集中获取多张完整行人图像构建数据库，将完整行人图像随机裁剪得到部分行人图像，初始化完整行人网络和部分行人网络的参数；
对于完整行人网络，以完整行人图像作为训练样本，提取训练样本的特征进行完整行人网络训练，对于每个训练样本，计算完整行人网络输出与对应的样本真实身份标签间的损失，反向传播更新完整行人网络参数，当损失不再下降，训练结束；
对于部分行人网络，以部分行人图像作为训练样本，提取训练样本的特征进行部分行人网络的训练，对于每个训练样本，计算部分行人网络输出与对应的样本真实身份标签间的损失，反向传播更新部分行人网络参数，当损失不再下降，训练结束；
S300：对于待预测图像，若待预测图像是完整行人图像，则将待预测图像输入训练好的完整行人网络中，训练好的完整行人网络计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像；
若待预测图像是部分行人图像，则将待预测图像输入训练好的部分行人网络中，训练好的部分行人网络计算待预测图像的特征与数据库中各图像的特征之间的距离，根据距离由大到小的顺序输出与待预测图像的特征之间距离排在前M的图像。


2.如权利要求1所述的基于知识蒸馏的行人重识别方法，其特征在于，所述S100建立的完整行人网络Nh和部分行人网络Np以ResNet-50作为骨干网络，将每个图像映射到固定大小的向量表示，Rw×H×3→RD；
对原始的ResNet-50做了如下修改：将原始的ResNet-50最后一个ReLU激活函数和最终的分类层均使用BNNeck层代替，将原始的ResNet-50最后一个残差块的步长从2减小到1。


3.如权利要求...

【专利技术属性】
技术研发人员：葛永新，谢佳宏，李文鑫，郭帧廷，张俊银，华博誉，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50