一种基于多层融合与对齐划分的行人重识别方法技术

本发明专利技术公开了一种基于多层融合与对齐划分的行人重识别方法，包括以下步骤，构建行人重识别网络模型并训练；利用所述网络模型中多层融合模块将不同层次的特征图与最后一层的特征图进行融合，得到最终包含浅层特征信息的多层融合特征；利用所述网络模型中对齐划分模块提取行人的中心位置，然后将所述中心位置向两边扩展，得到行人精确分割局部区域的局部特征；将所述多层融合特征、所述局部特征和全局特征按照通道维度连接，得到最终的行人判别特征完成行人重识别。本发明专利技术的有益效果：提出的融合模块可以融合不同层次的特征图所携带的信息，在此基础上提取出多层融合特征加入到最终的判别特征中进行辅助识别，从而有效地提升了重识别的性能。

【技术实现步骤摘要】
一种基于多层融合与对齐划分的行人重识别方法
本专利技术涉及行人重识别的
，尤其涉及一种基于多层融合与对齐划分的行人重识别方法。
技术介绍
近年来，深度学习方法广泛应用于行人重识别任务，主流的方法就是通过深度网络提取含有高级语义信息的特征，以此来进行识别。然而单纯的利用深度特征所含有的高级语义信息(对象或部件)往往会忽略浅层网络特征所携带的信息(颜色、纹理等)，这对于识别是不利的，比如对于一些衣着较为鲜艳，穿着突出的行人，即使在图像分辨率很低的情况下也可以辨认，浅层信息对于识别这种图像是很有效果的。而对于那些特征不太明显的图像，使用深度网络提取高级语义(身体的某些突出形象)是很有必要的。目前的基于深度学习的方法大多都只是采用深层的特征，而忽略了浅层特征的实用价值。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的技术问题是：提出一种基于多层融合与对齐划分的行人重识别方法，使深层特征可以携带浅层信息以及使划分的局部特征很好的对齐。为解决上述技术问题，本专利技术提供如下技术方案：一种基于多层融合与对齐划分的行人重识别方法，包括以下步骤，构建行人重识别网络模型并训练；利用所述网络模型中多层融合模块将不同层次的特征图与最后一层的特征图进行融合，得到最终包含浅层特征信息的多层融合特征；利用所述网络模型中对齐划分模块提取行人的中心位置，然后将所述中心位置向两边扩展，得到行人精确分割局部区域的局部特征；将所述多层融合特征、所述局部特征和全局特征按照通道维度连接，得到最终的行人判别特征完成行人重识别。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述多层融合模块包括，采用改进的Non-local模块；所述Non-local模块给定特征图F∈RC×H×W，其中C是特征图的通道数、H×W表示特征图的大小；将F分为双路通过卷积后计算得到空间特征相关矩阵X∈RN×N，其中N＝H×W，使用EmbeddedGaussian函数来计算X：其中xi与xj分别表示空间位置i与j处的特征值、xij表示空间位置i与j之间的相关性；将所得的相关矩阵X与F相乘,得到的特征图F′为作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述多层融合模块包括融合步骤，给定两个不同层次的特征图与其中C1，C2分别是两个特征图的通道数、H1×W1与H2×W2表示特征图的大小；将较浅层的特征图经过1×1的卷积层得到使其通道数C′1＝C2；然后通过使用Non-local模块的模型，计算两个不同的特征图的空间特征相关矩阵其中N1＝H1×W1、N2＝H2×W2；得到如下：其中yi表示特征图F2的空间位置i处的特征值，yj表示特征图F′1的空间位置j处的特征值，yij表示两个特征图中相应的i，j位置的相关性；将Y与F′1进行矩阵相乘：得到的特征图F′2中的每一个像素位置都相当于通过其与特征图F1的相关性，携带其中每一个位置的信息，实现了两个层次特征的融合。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述对齐划分模块包括，采用STN作为基础网络架构，并生成三维张量；将所述三维张量送入STN学习行人在图像中的中心位置，生成仿射变换的转换矩阵：固定tx，并根据需要划分的区域大小直接固定尺度参数(sx,sy)；利用学习得到ty值并向Y轴方向两边扩展，即对ty加上或减去划分区域在Y轴方向的边长sy，得到其他的切分区域的Y轴中心；设置限定条件：所述限定条件表示当采样区域超出了特征图的边界时，就以上边界或下边界作为一条边开始向内采样一个区域大小。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：行人重识别的网络模型包括，所述网络模型基础架构采用Resnet-50；将网络在res_layer4处划分为3个分支，分为一个全局特征分支与两个分别划分为2、3块的局部特征分支；在所述全局特征分支上使用多层融合，分别将res_layer1、res_layer2、res_layer3处的特征图经过多层融合模块与网络最深层res_layer4的特征图进行融合；将三个特征图进行逐元素相加得到多层融合特征图。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述局部特征分支包括，当两个局部特征分支分别经过各自的res_layer4得到特征图后；将特征图送入到STN子网络进行学习，并利用所述对齐划分模块分别将两个分支的特征图划分为2、3块局部特征图；对每个得到的局部特征图使用GMP，将所得通过相应的降维层得到各个256维的局部特征；将多层融合特征、全局特征以及局部特征按照通道维度连接得到最终的行人判别特征。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述网络模型的训练包括，采用交叉熵损失与难样本采样三元组损失训练模型；对所有的特征使用交叉熵损失来优化分类任务，将来自同一特征图的局部特征进行连接得到局部连接特征；对多层融合特征、全局特征和局部连接特征使用三元组损失来进行度量学习，使用的最终损失函数为：其中表示所有特征的交叉熵损失的和、表示三元组损失的和、β1和β2为平衡参数,实验中分别设置为β1＝2和β2＝1。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述STN包括两个卷积层与池化层；通过一个全连接层得到ty，所述STN通过学习到的ty与其他固定的参数相结合得到相应的仿射变换矩阵，能够在原特征图中采样得到行人的中心区域，即划分的第一块局部区域。作为本专利技术所述的基于多层融合与对齐划分的行人重识别方法的一种优选方案，其中：所述多层融合特征图包括，使用GAP分别处理多层融合特征图与res_layer4层的特征图；将处理所得再分别经过包含1×1conv、batchnormalisation与ReLU激活的降维层，得到256维的多层融合特征以及全局特征。本专利技术的有益效果：提出的多层融合模块可以融合不同层次的特征图所携带的信息，在此基础上提取出多层融合特征加入到最终的判别特征中进行辅助识别，从而有效地提升了重识别的性能；对齐划分模块在不引入额外监督的情况下，对现存的暴力划分方法进行较好的优化，将一些因为相机视角问题产生的难以对齐的局部区域进行准确的对齐。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一本文档来自技高网...

【技术保护点】
1.一种基于多层融合与对齐划分的行人重识别方法，其特征在于：包括以下步骤，/n构建行人重识别网络模型并训练；/n利用所述网络模型中多层融合模块将不同层次的特征图与最后一层的特征图进行融合，得到最终包含浅层特征信息的多层融合特征；/n利用所述网络模型中对齐划分模块提取行人的中心位置，然后将所述中心位置向两边扩展，得到行人精确分割局部区域的局部特征；/n将所述多层融合特征、所述局部特征和全局特征按照通道维度连接，得到最终的行人判别特征完成行人重识别。/n

【技术特征摘要】
1.一种基于多层融合与对齐划分的行人重识别方法，其特征在于：包括以下步骤，
构建行人重识别网络模型并训练；
利用所述网络模型中多层融合模块将不同层次的特征图与最后一层的特征图进行融合，得到最终包含浅层特征信息的多层融合特征；
利用所述网络模型中对齐划分模块提取行人的中心位置，然后将所述中心位置向两边扩展，得到行人精确分割局部区域的局部特征；
将所述多层融合特征、所述局部特征和全局特征按照通道维度连接，得到最终的行人判别特征完成行人重识别。


2.如权利要求1所述的基于多层融合与对齐划分的行人重识别方法，其特征在于：所述多层融合模块包括，
采用改进的Non-local模块；
所述Non-local模块给定特征图F∈RC×H×W，其中C是特征图的通道数、H×W表示特征图的大小；
将F分为双路通过卷积后计算得到空间特征相关矩阵X∈RN×N，其中N＝H×W，使用EmbeddedGaussian函数来计算X：



其中xi与xj分别表示空间位置i与j处的特征值、xij表示空间位置i与j之间的相关性；
将所得的相关矩阵X与F相乘,得到的特征图F′为


3.如权利要求1或2所述的基于多层融合与对齐划分的行人重识别方法，其特征在于：所述多层融合模块包括融合步骤，
给定两个不同层次的特征图与其中C1，C2分别是两个特征图的通道数、H1×W1与H2×W2表示特征图的大小；
将较浅层的特征图经过1×1的卷积层得到使其通道数C′1＝C2；
然后通过使用Non-local模块的模型，计算两个不同的特征图的空间特征相关矩阵其中N1＝H1×W1、N2＝H2×W2；
得到如下：



其中yi表示特征图F2的空间位置i处的特征值，yj表示特征图F1′的空间位置j处的特征值，yij表示两个特征图中相应的i，j位置的相关性；
将Y与F1′进行矩阵相乘：
得到的特征图F′2中的每一个像素位置都相当于通过其与特征图F1的相关性，携带其中每一个位置的信息，实现了两个层次特征的融合。


4.如权利要求3所述的基于多层融合与对齐划分的行人重识别方法，其特征在于：所述对齐划分模块包括，
采用STN作为基础网络架构，并生成三维张量；
将所述三维张量送入STN学习行人在图像中的中心位置，生成仿射变换的转换矩阵：



固定tx，并根据需要划分的区域大小直接固定尺度参数(sx,sy)；
利用学习得到ty值并向Y轴方向两边扩展，即对ty加上或减去划分区域在Y轴方向的边长sy，得到其他的切分区域的Y轴中心；
根据ST...

【专利技术属性】
技术研发人员：宋晓宁，王鹏，冯振华，
申请(专利权)人：上海蠡图信息科技有限公司，
类型：发明
国别省市：上海;31