一种基于局部特征关系融合的行人重识别方法技术

本发明专利技术公开了一种基于局部特征关系融合的行人重识别方法，行人重识别作为视频监控中的热门领域，可以在仅有单张行人照片的情况下在图像库中检索不同视角，姿态，光照条件下的该行人其余图片，随着天网等智能监控工程的推进，行人重识别将会发挥越来越重要的作用。本发明专利技术提出了一种基于局部特征关系融合的行人重识别方法，使用CNN的局部感受野在原始图片中寻找行人的身体部位并进行区域上的聚类，随后对所提取的局部特征和全局特征在注意力机制的帮助下进行最终的关系融合以获得行人特征表示。在Market1501数据集上的实验表明了本发明专利技术的有效性和简便性。发明专利技术的有效性和简便性。发明专利技术的有效性和简便性。

【技术实现步骤摘要】
一种基于局部特征关系融合的行人重识别方法


[0001]本专利技术涉及视频监控领域，首次将局部特征关系应用于视频监控中的人员检测。

技术介绍

[0002]行人重识别的主要目的是在图像库中自动地寻找符合给定行人身份的行人图片。对于视频监控而言，行人重识别技术能帮助我们在不同的摄像头中自动的寻找对应的行人，而避免监控人员的大量人工操作，可以大大提升效率。采用行人重识别技术，只需要给定特定行人的完整身体部位，即可以在摄像头所拍摄的图像库中寻找该行人的其他照片，因此可以加快寻找速度，减少人工操作。

技术实现思路

[0003]本专利技术的目的是为了解决在视频监控中寻找给定行人时，人工方法费时费力的问题。
[0004]本专利技术采用以下的技术方案实现的：
[0005]一种基于局部特征关系融合的行人重识别方法，其特征在于包含以下步骤：
[0006](1)使用改进版的ResNet
‑
50网络对输入图片提取原始特征图；
[0007](2)使用K
‑
Means聚类算法来对兴趣点进行空间聚类；
[0008](3)对聚类后的区域提取局部特征和全局特征；
[0009](4)使用注意力算法对局部特征进行融合；
[0010](5)使用多阶段训练方法对整体模型进行训练。
[0011]前述基于局部特征关系的行人重识别方法，其特征在于通过区域聚类和特征融合方式获得行人的自重特征表示。
[0012]S1前述基于局部特征关系的行人重识别方法，其特征在于使用改进版的ResNet
‑
50网络对输入图片提取原始特征图的具体算法是：
[0013]1、本方法使用ResNet
‑
50网络结构的变体作为基线网络的特征提取部分。相较于原始网络，在第3个layer处进行了通道维数的修改，将通道变为1024维，此外在第四个layer后的全连接层也被修改为全局平均池化层。
[0014]2、将图片送入本方法所改进的ResNet变体网络中，并在第三个layer处进行截断，此时网络的输出即是所提取的原始特征图。
[0015]S2前述基于局部特征关系的行人重识别方法，其特征在于使用K
‑
Means聚类算法来对兴趣点进行空间聚类的具体算法是：
[0016]1、传统寻找空间兴趣点的方法多为角点检测等，然而此类方法多受困于背景噪声的困扰。本专利为了排除背景噪声的干扰，使用了更为巧妙的深度学习方法。其思想在于：卷积神经网络的局部感受野提取图片的低级特征，对行人重识别而言，其行人区域显然是神经神经网络中最关注的地方，这可以表现为特征图中的激活度也相对较高。提取激活度高的区域大概率将归属于行人区域，对于少量的背景噪声，虽然其可能在某一个通道表现
出了较高的激活度，但由于其只占据了图中的少部分内容，因此可以使用连通域来对其进行判断和排除。对于S1所获得的特征图，在每个通道中提取其激活度最高的兴趣点的空间坐标。
[0017][0018]2、对所有的特征图进行如上操作后，取得了1024个兴趣点的空间坐标，首先检测其在空间上的连通度，将与主体分离的孤立点予以剔除，进而获得图像的主体部位。处理完毕后的特征点将会使用K
‑
Means聚类算法进行聚类。聚类完毕后将得到p个类，取其坐标的外接矩形，并认为该外接矩形即是我们提取的局部区域。
[0019]S3前述基于局部特征关系的行人重识别方法，其特征在于对聚类后的区域提取局部特征和全局特征的具体算法是：
[0020]1、随后对每类中的特征图，均做类内保留，类外清0以保留其在空间上的信息，其具体计算如下：
[0021][0022]2、将其继续送入ResNet的剩余部分，并在第4个残差块后将原先ResNet后面接的全连接层改为全局平均池化层，此时全局平均池化后的输出即为局部特征。而对于原先产生的全连接层的原始特征图，使用同一网络架构对进行处理，以得到全局特征。经过上述处理，我们即得到了维度为1024的p个局部特征向量与维度为1024的1个全局特征向量。
[0023]S4前述基于局部特征关系的行人重识别方法，其特征在于使用注意力算法对局部特征进行融合的具体算法是：
[0024]1、设计了一个全连接层进行全局特征与局部特征的融合，进而使得每个组合特征都能动态的更改全局特征和局部特征之间权重占比。在此基础上，使用sigmoid激活函数来进行注意力的计算，其具体如下：
[0025][0026]Z
i
＝[F
i
,F
g
][0027]上式中，Z
i
代表之前拼接的第i个组合特征，其由第i个局部特征和全局特征拼接得到(如公式4所示)，f代表sigmoid函数，q代表全连接层的参数，α
i
代表第i个组合特征的注意力权重。
[0028]2、得到了注意力权重后，采用加权的方式将其整合得到行人图片的最终特征表示，其计算如下所示：
[0029][0030]在最终的特征表示中，由于每个组成部分都由局部特征和全局特征组成，因此不必再计算两者的权重占比，注意力算法将会帮我们自适应地调整其权重。
[0031]S5前述基于局部特征关系的行人重识别方法，其特征在于使用多阶段训练方法对整体模型进行训练的具体算法是：
[0032]1、在方法中，局部特征的精确度直接影响所提出模型的精确度，然而当前并无具
体的衡量指标来衡量局部特征的有效性。为了保证所提取的局部特征的正确性，我们设计了基于局部特征的损失函数。对部分损失而言，只通过局部特征来进行行人图片的匹配，进而对每个局部都特征进行分类，并合并到交叉熵损失函数中，具体计算如下：
[0033][0034]在上式中，代表以第k个局部特征基础的第i张图片的行人预测得分。在训练部分损失函数时，我们使用正常的分类算法来进行行人的分类以获得预测得分。部分损失函数利用了所有提取的局部特征来综合预测行人的匹配度，因此能加强局部特征的准确性以夯实上下文关系的基础。
[0035]2、与传统的分类任务不同，行人重识别的目标在于使相同行人的图片特征距离较小，不同行人的图片特征距离较大。三元损失函数有助于该目标的实现，其具体介绍如下：对于一张给定的图片I
q
，计算其最终表示为其正样本(即与该行人身份一致的图片)为I
p
，最终表示为其负样本(即与该行人身份不一致的图片)为I
n
，最终表示为希望最大化给定样本和负样本之间的距离，并于此同时最小化给定样本和正样本之间的距离，其具体计算如下：
[0036][0037]其中，使用欧几里得距离来计算和三元损失函数促使负对之间的距离差距大于正对之间的距离，并且使用了一种软间隔的方式来允许一定的特例存在，即只要差值不超过α，负对之间的距离也可小于正对，在本文中我们设定α为0.3。
[0038]3、部分损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部特征关系融合的行人重识别方法，其特征在于，该方法包括以下步骤：步骤一：使用改进版的ResNet
‑
50网络对输入图片提取原始特征图；步骤二：使用K
‑
Means聚类算法来对兴趣点进行空间聚类；步骤三：对聚类后的区域提取局部特征和全局特征；步骤四：使用注意力算法对局部特征进行融合；步骤五：使用多阶段训练方法对整体模型进行训练。2.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用改进版的ResNet
‑
50网络对输入图片提取原始特征图包括如下步骤：步骤一：首先对ResNet
‑
50网络进行修改，相较于原始网络，在第3个layer处进行了通道维数的修改，将通道变为1024维，此外在第四个layer后的全连接层也被修改为全局平均池化层。随后将图片送入改进的ResNet变体网络中，并在第三个layer处进行截断，此时网络的输出即是所提取的原始特征图。3.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用K
‑
Means聚类算法来对兴趣点进行空间聚类的具体算法是：步骤一：对所取得的原始特征图而言，其大小为32
×
16
×
1024维的张量。由于CNN会使得其特征图关注于最具备辨别能力的区域，而对于行人重识别的分类任务而言，显然身体区域相较于背景会得到更大的权重，因此本方法采纳了特征图中激活度最高的点作为空间上的兴趣点，并在每个通道上都提取之。步骤二：在每个通道上都获得兴趣点后，其构成了在空间上的散点图。为了进一步保证其在身体区域上并减少噪声的影响，本方法在散点图的基础上对其联通域进行了判断，对于离主体区域超过(即大于等于)2像素的孤立点进行排除，以获得优化后的兴趣点空间散点。步骤三：对于未被排除的空间上的点而言，其组成了一个点集。随后我们使用K
‑
Means聚类方法将点集中的兴趣点分为4类，即获得4个点集。对于每个点集，取其空间上的外接矩形，即得到本方法所需的局部区域。每个局部区域均在原始的特征图中做类内保留参数，对于局部区域外的则做清0操作，每个局部区域均得到与原始特征图相同大小的32
×
16
×
1024维的张量。4.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的对聚类后的区域提取局部特征和全局特征具体算法是：步骤一：对上一步得到的局部区域张量提取局部特征，对第一步得到的特征图张量提取全局特征。使用第一步所改变的ResNet
‑
50变体网络中的后半部分，将32
×
16
×
1024维的张量输入该网络，并经过一个残差块和一个全局平均池化层以得到4个1024维的局部特征和1个1024维的全局特征。5.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用注意力算法对局部特征进行融合具体算法是：步骤一：在我们设计的局部特征和全局特征融合模块中，我们将全局特征和局部特征直接拼合在一起，其理由如下：我们的局部...

【专利技术属性】
技术研发人员：朱佳辉，夏利民，
申请(专利权)人：中南大学，
类型：发明
国别省市：