一种高空视域下行人重识别网络制造技术

本发明专利技术公开了一种高空视域下行人重识别网络，其特征在于，包括全局分支和局部分支的多分支网络；所述全局分支以ResNet50的{R2，R3，R4，R5}四个阶段的输出构建特征金字塔，用于获得ResNet50的各个阶段中的特征语义信息；所述局部分支将R4阶段的Conv4_1输出的特征向量均匀划分为五个部分，并对这五个部分采取不同的组合策略构建特征提取分支，用于学习到粗细粒度不同的局部语义特征。本发明专利技术使用交叉熵和三元组损失函数共同优化多分支网络，将两者的优点结合，保证网络特征提取效果的同时，降低类内间距，提高类间间距。提高类间间距。提高类间间距。

【技术实现步骤摘要】
一种高空视域下行人重识别网络


[0001]本专利技术涉及行人重识别技术，具体涉及一种高空视域下行人重识别网络。

技术介绍

[0002]行人重识别的任务目标是给定一张目标图像，如一张行人图像，通过算法系统，在候选图像集中查找与这张图像属于同一行人的多张图片。重识别技术在智能安防领域中具有极高的应用价值，尤其是利用无人机的高空优势建立视觉监控、跟踪平台。目前无人机在智慧城市、高空监测等领域已经得到广泛应用，在高空视域下进行重识别研究是稀少的，但利用无人机在高空的优势建立的视觉监控、跟踪平台又是目前市场急需的技术。
[0003]在高空下进行行人重识别，主要对无人机采集的数据集进行研究，但由于无人机的不定性导致拍摄行人姿势变化和摄相机视角变化等差异，导致难以在行人图片中提取不变性的特征。近几年的研究重点是如何提取具有表征能力的局部特征，以便辅助全局特征。
[0004]有提出了利用行人图片对称性来获取角度不变性特征的SDALF方法。
[0005]有提出局部特征和融合全局特征的方法，具体来说，一张行人图片按照人不同部位通过空间变换网络归一化到一张身体部位图中，再将它和全身图一起作为输入数据，输入到共享卷积神经网络。
[0006]有通过应用人体部件模型和图形结构建立空间对应关系来处理行人的姿势变化。
[0007]有基于Gabor滤波器和协方差算子提出了Bi
‑
Cov算子来处理光照和背景变化带来的干扰。
[0008]有使用偏最小二乘法对每一个特征进行赋予权重值。/>[0009]目前主流的行人重识别研究都集中在固定拍摄设备、高分辨率、尺寸标准的数据集上(如Market1501、DukeMTMC
‑
reID、MSMT17)，但在高空视域下通过无人机采集的图像数据集PRAI
‑
1581中，天然存在奇特视角、低分辨率、尺寸不统一等问题，主流的网络模型在地面高分辨率、尺寸标准的数据集上识别效果已经有较好的识别效果，但在无人机拍摄的PRAI
‑
1581数据集上缺少对图像全局和局部特征的自适应性，识别效果远低于在Market1501等数据集的效果，无法满足高空视域场景下。
[0010]同时现阶段广泛用于图像分类的损失函数有交叉熵损失、对比损失、三元组损失等，但目前的重识别网络中仍使用单一的损失函数，不能良好的结合用不同损失函数的优点。

技术实现思路

[0011]本专利技术的主要目的在于提供一种高空视域下行人重识别网络，针对高空视域下图像存在奇特视角、目标低分辨率、尺寸不统一等问题，提出多分支网络模型以适应高空视域下的行人重识别，该模型以ResNet50骨干网络建立多分支网络。其中全局分支用于提取全局特征表达的信息，局部分支用于提取粒度不同的局部特征信息；另一方面使用交叉熵和三元组损失函数共同优化多分支网络，将两者的优点结合，保证网络特征提取效果的同时，
降低类内间距，提高类间间距。共同提高模型识别性能。
[0012]本专利技术采用的技术方案是：一种高空视域下行人重识别网络，其特征在于，包括全局分支和局部分支的多分支网络；所述全局分支以ResNet50的{R2，R3，R4，R5}四个阶段的输出构建特征金字塔，用于获得ResNet50的各个阶段中的特征语义信息；
[0013]所述局部分支将R4阶段的Conv4_1输出的特征向量均匀划分为五个部分，并对这五个部分采取不同的组合策略构建特征提取分支，用于学习到粗细粒度不同的局部语义特征。
[0014]进一步地，所述全局分支的全局特征是由ResNet50的后四个阶段{R2，R3，R4，R5}的残差块输出{C2，C3，C4，C5}构建，其中不包含C1的是因为图像仅仅经过R1阶段的一个卷积层，卷积次数不多，并不包含太多强特征信息，后四个阶段包含多个卷积层，特征信息表达强的已经被提取；
[0015]将深层提取到的特征通过上采样与上一层的特征图进行合并，从而构建特征金字塔。
[0016]更进一步地，所述局部分支将ResNet50的R4阶段的conv4_1全局最大池化然后均匀水平划分为5个基础的特征块，这5个特征块使用不同的策略得到分支branch1、branch2和branch3；
[0017]其中分支branch1中直接包含这5个特征块，branch1倾向于提取最好的局部特征信息；
[0018]分支branch2中，对每相邻的两个块进行合并，得到4个较大的块，由于图像中数据集中的问题，一个身体部位可能在不同的块中，合并相邻的特征能解决部件对齐的问题；
[0019]在分支branch3中，对每相邻的三个块进行合并，合并为三个较大的块；
[0020]最后从branch1、branch2和branch3中一共得到12个特征块，作为局部特征。
[0021]更进一步地，所述多分支网络中提取到的特征进行三元组损失和交叉熵损失计算，其中构建三元组的方式遵循Alexander等人的硬批次三元组，也就是当前批次中每一张图片都有唯一确定三元组，对所有特征块单独计算三元组损失，然后取平均值作为当前网络的三元组损失值；
[0022]从全局分支网络和局部分支网络中提取到的所有特征块再经过全连接层处理计算交叉熵损失，需要对所有特征块单独计算取平均值作为网络的交叉熵损失值；
[0023]其中要计算交叉熵损失，首先要得到当前图片属于各个类别的概率，其计算方法如公式(1)所示：
[0024][0025]式中：i代表类别标签；W
i
和bi分别表示全连接层中特征在第i个输出上的权重和偏置；x代表特征值；p
i
表示当前图片的特征属于第i类别的概率；
[0026]计算出属于各个类别的概率后，再计算交叉熵损失，函数表达式如公式(2)所示：
[0027][0028]式中：i代表样本图片的标号；y
i
代表第i个样本图片的标签；N代表样本总数；
[0029]硬批次三元组损失函数表达式如公式(3)所示：
[0030][0031]式中：P表示当前批次行人的类别数；K表示每个行人拥有的图像数；xa表示选取的锚点图片；xp表示选取的正样本图片；xn表示选取的负样本图片；α表示正负样本对之间距离的阀值；是正样本对图片在特征空间中的欧几里得距离，
[0032]f(
·
)为嵌入函数表示特征提取网络；是负样本对图片在特征空间中的欧几里得距离，
[0033][0034]综上，对提取到的特征块计算硬批次三元组损失和交叉熵损失的平均值，最后求和作为网络总损失，计算过程如公式(4)所示：
[0035][0036]其中，f
i
表示i块特征；num表示网络提取到特征块的个数。
[0037]更进一步地，测试阶段将全局和局部分支中获得的所有特征统一尺寸并串联在一起作为图像的最终特征，度量距离函数使用欧式距离，将串接后的特征向量与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高空视域下行人重识别网络，其特征在于，包括全局分支和局部分支的多分支网络；所述全局分支以ResNet50的{R2，R3，R4，R5}四个阶段的输出构建特征金字塔，用于获得ResNet50的各个阶段中的特征语义信息；所述局部分支将R4阶段的Conv4_1输出的特征向量均匀划分为五个部分，并对这五个部分采取不同的组合策略构建特征提取分支，用于学习到粗细粒度不同的局部语义特征。2.根据权利要求1所述的高空视域下行人重识别网络，其特征在于，所述全局分支的全局特征是由ResNet50的后四个阶段{R2，R3，R4，R5}的残差块输出{C2，C3，C4，C5}构建，其中不包含C1的是因为图像仅仅经过R1阶段的一个卷积层，卷积次数不多，并不包含太多强特征信息，后四个阶段包含多个卷积层，特征信息表达强的已经被提取；将深层提取到的特征通过上采样与上一层的特征图进行合并，从而构建特征金字塔。3.根据权利要求1所述的高空视域下行人重识别网络，其特征在于，所述局部分支将ResNet50的R4阶段的conv4_1全局最大池化然后均匀水平划分为5个基础的特征块，这5个特征块使用不同的策略得到分支branch1、branch2和branch3；其中分支branch1中直接包含这5个特征块，branch1倾向于提取最好的局部特征信息；分支branch2中，对每相邻的两个块进行合并，得到4个较大的块，由于图像中数据集中的问题，一个身体部位可能在不同的块中，合并相邻的特征能解决部件对齐的问题；在分支branch3中，对每相邻的三个块进行合并，合并为三个较大的块；最后从branch1、branch2和branch3中一共得到12个特征块，作为局部特征。4.根据权利要求1所述的高空视域下行人重识别网络，其特征在于，所述多分支网络中提取到的特征进行三元组损失和交叉熵损失计算，其中构建三元组的方...

【专利技术属性】
技术研发人员：赵源，范晓博，魏倩茹，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：