基于多任务学习残差神经网络的行人重识别方法和系统技术方案

一种基于多任务学习残差神经网络的行人重识别方法，包括：从公开数据集中获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；构建多任务学习残差神经网络；构建“分类

【技术实现步骤摘要】
联合损失函数，得到训练好的多任务学习残差神经网络和训练好的“分类
‑
检索
‑
二元分类”联合损失函数；
[0011]S5、基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；
[0012]S6、基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。
[0013]进一步的，所属步骤S1中的公开数据集为TGRDB数据集，其数据包含训练集、验证集、录入样本库与待检索行人图片库。
[0014]进一步，步骤S2所述的Average Pooling层是指平均池化层，deconv层是指反卷积层。
[0015]进一步的，所述步骤S2中，多任务学习残差神经网络依次包括输入层和五个卷积层，其中输入层图像大小为224
×
224
×
3，第一层包括一个卷积核，一个批归一化层，一个激活层，第二层包括一个最大池化层，与2组重复的第二卷积层，第三层包括2组重复的第三卷积层，第四层包括2组重复的第四卷积层，第五层包括2组重复的第五卷积层，第一层的卷积核为一个7
×
7卷积核，通道数为64，步长为2，填充为3，第二卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为64，步长为1，第三卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为128，步长为1，第四卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为256，步长为1，第五卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为512，步长为1，多任务头中deconv层是一个2
×
2的反卷积核，步长为2，降维卷积层是一个1
×
1的卷积核，步长为1。
[0016]进一步的，所述步骤S2中，多任务学习残差神经网络实现过程如下：
[0017]S2.1、将图片输入到骨干网络中，获得特征向量；
[0018]S2.2、将特征向量输入到一个全连接网络层后，输出结果使用softmax归一化后，获得分类向量预测结果，输入到分类损失函数中；
[0019]S2.3、将特征向量直接输入到检索损失函数；
[0020]S2.4、将特征向量输入到反卷积层中扩大特征尺寸，然后输入到降维卷积层，生成单层的头肩掩膜预测输出；
[0021]S2.5、将头肩框的位置转化成头肩掩膜，并缩放尺寸到与头肩掩膜预测相同的尺寸，并与头肩掩膜预测一同输入到二元分类损失函数中进行计算。
[0022]进一步的，所述步骤S3的具体步骤为：
[0023]S3.1、构建一个交叉熵损失函数分类损失函数，表示如下：
[0024][0025]其中N表示每个批量中的图片数量，g表示独热的人物身份真值向量，f表示从骨干网络输出的特征向量，特征向量输入到全连接层，W和b表示全连接层的权重和偏差。
[0026]S3.2、构建一个三元组损失函数作为检索损失函数，表示如下：
[0027][0028]其中f
a
,f
p
,f
n
,分别为锚特征向量，正样本特征向量，负样本特征向量。d(a,b)表示特征向量a与b的欧式距离，m表示f
a
与f
n
之间的距离和f
a
与f
p
之间的距离之间有一个最小的间隔。
[0029]S3.3、构建一个二元交叉熵损失函数作为二元分类函数，表示如下：
[0030][0031]其中H和W表示特征的高和宽，t
ij
表示真值特征上第i行，第j列的像素，值为0或1，o
ij
表示预测特征上第i行，第j列的像素，其值在[0,1]范围内。
[0032]S3.4、总损失函数表示如下：
[0033]Loss＝l
CE
+l
Tri
+γl
BCE
ꢀꢀꢀꢀ
(4)
[0034]其中γ表示二元交叉熵损失的权重。
[0035]进一步的，所述步骤S4的具体步骤为：
[0036]多任务学习残差神经网络在训练阶段优化交叉熵损失函数、三元组损失函数和二元交叉熵损失函数。
[0037]本专利技术还包括一种基于多任务学习残差神经网络的行人重识别系统，包括：
[0038]数据集构建模块，用于构建数据集，即从公开数据集中，获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；
[0039]多任务学习残差神经网络构建模块，用于构建多任务学习残差神经网络，网络中包含骨干网络与多任务头，骨干网络即为残差神经网络，其各个网络层依次包括不同参数的残差块层，Average Pooling层，Average Pooling层是指平均池化层，多任务头包含deconv层、降维卷积层，deconv层是指反卷积层；
[0040]“分类
‑
检索
‑
二元分类”联合损失函数构建模块，用于构建多任务学习残差神经网络后，构建“分类
‑
检索
‑
二元分类”联合损失函数；
[0041]多任务学习残差神经网络“分类
‑
检索
‑
二元分类”联合损失函数获取模块，用于基于数据集训练构建好的多任务学习残差神经网络和“分类
‑
检索
‑
二元分类”联合损失函数，得到训练好的多任务学习残差神经网络和训练好的“分类
‑
检索
‑
二元分类”联合损失函数；
[0042]人物视觉特征向量获得模块，用于基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；
[0043]人物在人物库中对应的人物信息获取模块，用于基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。
[0044]本专利技术还包括一种基于多任务学习残差神经网络的行人重识别装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本专利技术的一种基于多任务学习残差神经网络的行人重识别方法。
[0045]本专利技术还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本专利技术的一种基于多任务学习残差神经网络的行人重识别方法。
[0046]本专利技术同现有技术相比，其有益效果表现在：
[0047]一、本专利技术通过使用头肩信息在训练过程中引导模型找到人物的头部位置，能更
高效地利用人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，包括如下步骤：S1、构建数据集，即从公开数据集中，获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；S2、构建多任务学习残差神经网络，网络中包含骨干网络与多任务头，骨干网络即为残差神经网络，其各个网络层依次包括不同参数的残差块层，Average Pooling层，Average Pooling层是指平均池化层，多任务头包含deconv层、降维卷积层，deconv层是指反卷积层；S3、构建多任务学习残差神经网络后，构建“分类
‑
检索
‑
二元分类”联合损失函数；S4、基于数据集训练构建好的多任务学习残差神经网络和“分类
‑
检索
‑
二元分类”联合损失函数，得到训练好的多任务学习残差神经网络和训练好的“分类
‑
检索
‑
二元分类”联合损失函数；S5、基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；S6、基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。2.根据权利要求1所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，所属步骤S1中的公开数据集为TGRDB数据集，其数据包含训练集、验证集、录入样本库与待检索行人图片库。3.根据权利要求1所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，步骤S2所述的Average Pooling层是指平均池化层，deconv层是指反卷积层。4.根据权利要求3所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，所述步骤S2中，多任务学习残差神经网络依次包括输入层和五个卷积层，其中输入层图像大小为224
×
224
×
3，第一层包括一个卷积核，一个批归一化层，一个激活层，第二层包括一个最大池化层，滤波器尺寸为3
×
3，步长为2，与2组重复的第二卷积层，第三层包括2组重复的第三卷积层，第四层包括2组重复的第四卷积层，第五层包括2组重复的第五卷积层，第一层的卷积核为一个7
×
7卷积核，通道数为64，步长为2，填充为3，第二卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为64，步长为1，第三卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为128，步长为1，第四卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为256，步长为1，第五卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3
×
3，通道数为512，步长为1，多任务头中deconv层是一个2
×
2的反卷积核，步长为2，降维卷积层是一个1
×
1的卷积核，步长为1。5.根据权利要求3所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，所述步骤S2中，多任务学习残差神经网络实现过程如下：S2.1、将图片输入到骨干网络中，获得特征向量；S2.2、将特征向量输入到一个全连接网络层后，输出结果使用softmax归一化后，获得分类向量预测结果，输入到分类损失函数中；S2.3、将特征向量直接输入到检索损失函数；
S2.4、将特征向量输入到反卷积层中扩大特征尺寸，然后输入到降维卷积层，生成单层的头肩掩膜预测输出；S2.5、将头肩框的位置转化成头肩掩膜，并缩放尺寸到与头肩掩膜预测相...

【专利技术属性】
技术研发人员：朱世强，林哲远，张春龙，宛敏红，李特，王文，黄敏，
申请(专利权)人：之江实验室，
类型：发明
国别省市：