基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法技术

本发明专利技术公开了一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：首先采集行人图像构建候选行人库，并构建行人再识别模型，该模型包括图像缩放和增强模块，两个特征提取模块和相似度计算模块；通过图像缩放和增强模块将候选样本缩放到与待查询样本相同的尺寸，然后将缩放后的图像作增强处理；将待查询样本和作增强处理后的候选样本输入到两个特征提取模块中，得到两个样本的特征图；最后将两个样本的特征图输入到相似度计算模块中，输出待查样本与候选样本是否具有相同身份标签的判断。本发明专利技术对行人图像进行缩放和增强处理，改善输入到伪孪生卷积神经网络的样本的视觉表现，从而提升再识别模型的性能。

Pedestrian recognition method based on the combination of image enhancement and pseudo twin convolution neural network based on deep learning

【技术实现步骤摘要】
基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法。
技术介绍
行人再识别是指以多个摄像机采集的视频为输入，利用计算机视觉技术自动确认不同位置的摄像机在不同时刻拍摄到的多个行人目标是否属于同一个人的技术。行人再识别在公共安全和刑侦工作及图像检索等领域具有很高的应用价值，因此，一直受到学术界和产业界的广泛关注。近年来，基于深度学习的方法逐渐取代以手工方式设计特征和分类器的传统方法，成为行人再识别的主流方法。中国专利201710780179.0采用两个神经网络，分别以原始的全身图像和从全身图像提取的人体部位图像作为输入，组合两个网络的输出作为总的特征加以识别；中国专利201811168809.X训练了行人姿态模型过滤行人姿态，背景分割模型去除图像中的背景部分，特征提取模型提取行人特征，最后通过特征匹配完成行人再识别。需要指出的是，现有的技术大多假设所有行人图像具有一致的大小，并且其分辨率足够满足再识别模型对图像分辨率的要求。很少考虑在不同摄像机采集的视频中，行人所占的图像区域大小不一，而且许多时候表现为较小的尺寸，对于深度神经网络而言，无法有效地提取行人区域所蕴含的可分性特征。进一步地，若以简单的插值算法缩放图像到合适的尺寸，则难免引入图像模糊，影响再识别模型的性能。本专利技术提供一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，在将经过缩放的行人图像输入到孪生卷积神经网络之前引入了一个基于深度学习的增强模块，以改善图像插值后的视觉表现，从而有助于提升再识别模型的性能。
技术实现思路
本专利技术目的在于针对现有技术的不足，提出一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法。本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：(1)采集Np个行人的Nx幅图像构建候选行人库，记作其中xi代表第i个候选样本图像，为对应xi的行人身份标签；设待查询样本的图像为xq；(2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f1,f2,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f1和f2为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f1和f2为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层；(3)通过图像缩放和增强模块M将候选样本xi缩放到与待查询样本xq相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理；(4)将待查询样本xq输入到f1中，提取待查询样本xq的特征，得到待查询样本xq的特征图；并将作增强处理后的候选样本xi输入到f2中，提取候选样本xi的特征，得到候选样本xi的特征图；(5)将步骤(4)中得到的待查询样本xq的特征图和候选样本xi的特征图，同时输入到相似度计算模块S中，输出待查样本xq与候选样本xi是否具有相同身份标签的判断。具体计算步骤包括：设F1为特征提取模块f1输出的特征图，F2为特征提取模块f2输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图Fs：Fs＝(F1-F2)2；其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以Fs为输入，输出一个二维向量(q1,q2)，其中以q1作为xq与xi具有相同身份标签的概率，q2作为xq与xi具有不同身份标签的概率，根据二维向量(q1,q2)的值判断待查询样本xq与xi是否具有相同的身份标签。进一步地，所述步骤(3)中的深度卷积神经网络对缩放后的图像作增强处理，具体为：设待查询样本xq的大小为Hq×Wq，当前参与识别的候选样本xi的大小为Hi×Wi，则首先以双三次插值算法将候选样本缩放为Hq×Wq大小的图像，记作所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将输入到所述深度卷积网络，若最后一层的输出为按下式与输入样本融合后作为与对应的增强后的样本：所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。进一步地，所述步骤(4)中特征提取模块f1和f2具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f1中的额外卷积层为Conv_E01，添加在在f2中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f1和f2中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。进一步地，所述步骤(5)中所述特征提取模块f1输出的特征图为f1的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f2输出的特征图为f2的残差网络ResNet-50中最后一个残差块输出的特征图。进一步地，所述图像缩放和增强模块以一个深度卷积神经网络对缩放后的图像作增强处理，所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：步骤a：准备训练样本，设xk为一个参与训练的图像，其大小为Hk×Wk，取缩放系数r为符合r∈[1.5,4]的实数，将xk缩小为Hk/r×Wk/r大小后，以双三次插值算法放大为具有Hk×Wk大小的图像，且记作以构成一对训练样本，记训练样本集为其中N为集合中样本的数目；步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数EV：其中代表以为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。进一步地，所述特征提取模块f1、f2和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自NT个行人的NS个样本，表示为其中xi代表第i个样本，为对应xi的行人身份标签，第一阶段训练仅针对f1和f2模块中各个层次的参数，包括如下步骤：步骤A：从训练样本集中随机选取两个样本(xm,ym)和(xn,yn)，若xm的尺寸大于xn，则以(xm,ym)作为f1的输入，xn以双三次插值算本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，该方法包括以下步骤：/n(1)采集N

【技术特征摘要】
1.一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，该方法包括以下步骤：
(1)采集Np个行人的Nx幅图像构建候选行人库，记作其中xi代表第i个候选样本图像，为对应xi的行人身份标签；设待查询样本的图像为xq。
(2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f1,f2,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f1和f2为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f1和f2为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层。
(3)通过图像缩放和增强模块M将候选样本xi缩放到与待查询样本xq相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理。
(4)将待查询样本xq输入到f1中，提取待查询样本xq的特征，得到待查询样本xq的特征图；并将作增强处理后的候选样本xi输入到f2中，提取候选样本xi的特征，得到候选样本xi的特征图。
(5)将步骤(4)中得到的待查询样本xq的特征图和候选样本xi的特征图，同时输入到相似度计算模块S中，输出待查样本xq与候选样本xi是否具有相同身份标签的判断。具体计算步骤包括：设F1为特征提取模块f1输出的特征图，F2为特征提取模块f2输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图Fs：
Fs＝(F1-F2)2；
其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以Fs为输入，输出一个二维向量(q1,q2)，其中以q1作为xq与xi具有相同身份标签的概率，q2作为xq与xi具有不同身份标签的概率，根据二维向量(q1,q2)的值判断待查询样本xq与xi是否具有相同的身份标签。


2.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(3)中的深度卷积神经网络对缩放后的图像作增强处理，具体为：设待查询样本xq的大小为Hq×Wq，当前参与识别的候选样本xi的大小为Hi×Wi，则首先以双三次插值算法将候选样本缩放为Hq×Wq大小的图像，记作所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将输入到所述深度卷积网络，若最后一层的输出为按下式与输入样本融合后作为与对应的增强后的样本：



所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。


3.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(4)中特征提取模块f1和f2具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f1中的额外卷积层为Conv_E01，添加在在f2中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f1和f2中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。


4.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，...

【专利技术属性】
技术研发人员：陈卫刚，曹碧莲，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：浙江;33