基于图模型和可变形卷积的遮挡行人重识别方法技术

本发明专利技术公开了基于图模型和可变形卷积的遮挡行人重识别方法,包括以下步骤：根据人体关键点信息获取行人的局部特征，并根据人体对称性特点通过可变形卷积网络提取行人关键特征；基于自适应邻接矩阵的图卷积网络融合所述局部特征，获得更高阶的信息；根据人体拓扑结构将所述更高阶的信息进行匹配，获得遮挡图像相似度计算，完成遮挡行人重识别。本发明专利技术能够很好地提取行人特征，有效解决遮挡行人图像识别精度问题，提高了遮挡行人重识别任务的性能。能。能。

【技术实现步骤摘要】
基于图模型和可变形卷积的遮挡行人重识别方法


[0001]本专利技术属于遮挡行人重识别
，尤其涉及基于图模型和可变形卷积的遮挡行人重识别方法。

技术介绍

[0002]行人重识别(Person Re
‑
identification，Person ReID)，是利用计算机视觉技术对跨摄像头的人员图像进行特征提取，从而进行人员匹配的技术，广泛应用于智慧安防、智慧零售等领域，是人工智能技术与产业结合的重要支点。但是由于摄像机的视角、行人的姿势、光照变化等因素的影响，会导致行人被遮挡以及行人图片模糊等问题，这对行人重识别的效果产生了很大的影响，因此，遮挡行人重识别技术是该领域的研究热点，旨在使行人重识别模型对产生遮挡的图像也能有比较好的识别效果。
[0003]与面向无遮挡的行人图像的重识别技术相比，遮挡行人重识别具有更多的挑战：1)无遮挡的行人图像中包含完整的行人信息，而遮挡的行人图像可能造成行人关键特征的丢失，如果不能判别被遮挡的区域就进行特征提取会造成特征识别的干扰，则导致行人识别的精度下降；2)在传统的局部特征匹配的结构中提取图像特征之后进行一对一的严格匹配，但是如果存在过多的遮挡区域则会导致匹配效果下降。3)对于标准的卷积，卷积核所采样的位置是比较固定的，其无法考虑到不同目标的外形和大小不同等问题，从而不能从复杂结构的图像中有效地提取特征，那么在遮挡比较严重的区域特征提取更加困难。
[0004]基于上述分析，为了有效地提取被遮挡图像中的目标信息并能准确识别，本专利技术提出了一种基于图模型和可变形卷积的遮挡行人重识别的方法，利用图模型对人体结构进行建模，然后挖掘更重要的行人特征。首先通过骨干网络进行图像全局特征的提取，并且利用预训练好的人体姿态估计模型获取行人图像的人体关键点，然后将具有对称性特点的关键点信息与全局特征进行融合得到行人特征信息表示，然后通过可变形卷积根据行人图像的具体情况来动态地调整感受野的尺寸，更好地提取行人关键信息。其次，上述特征提取阶段得到的关键点可能受到遮挡，从而得到错误的行人信息，为了解决这一问题，本专利技术使用图卷积网络在人体关键点之间传递其关联信息并且抑制遮挡部位的错误特征信息，对关键点信息与全局信息进行融合得到更好的行人特征。另外，对齐阶段使用图匹配的算法来修复由于遮挡而导致的错误信息和行人图像之间的相似度的度量。

技术实现思路

[0005]本专利技术的目的在于提出一种基于图模型和可变形卷积的遮挡行人重识别方法，能够很好地提取行人特征，有效解决遮挡行人图像识别精度问题，提高了遮挡行人重识别任务的性能。
[0006]为实现上述目的，本专利技术提供了一种基于图模型和可变形卷积的遮挡行人重识别方法，包括以下步骤：
[0007]根据人体关键点信息获取行人的局部特征，并根据人体对称性特点通过可变形卷
积网络提取行人关键特征；
[0008]基于自适应邻接矩阵的图卷积网络融合所述局部特征，获得更高阶的信息；
[0009]根据人体拓扑结构将所述更高阶的信息进行匹配，获得遮挡图像相似度计算，完成遮挡行人重识别。
[0010]可选的，所述人体关键点信息包括：头、左右两边的肩、肘、腕、臀、膝和脚踝。
[0011]可选的，获取所述人体关键点信息包括：
[0012]获取初始的行人图像，构建人体姿态估计模型，将所述初始的行人图像输入训练好的所述人体姿态估计模型中对行人图像进行检查，获得所述人体关键点信息。
[0013]可选的，根据所述人体关键点信息，通过骨干网络提取行人图像中关键点的全部特征和局部特征包括：
[0014][0015][0016]其中，m
g
为全局特征图，m
kp
为关键点特征图，为外积，g(
·
)全局平均池化，为关键点的局部特征，为关键点的全局特征，K为表示人体关键点的个数。
[0017]可选的，将行人图像中关键点的全部特征和局部特征输入可变形卷积网络提取行人关键特征包括：
[0018]R＝{(
‑
1,1),(
‑
1,0),
…
,(0,1),(1,1)}
[0019][0020][0021]其中，R为感受野尺寸和扩张，w为卷积核权重，x为输入特征图,y为输出特征图，t0为输出特征图上的各个位置，t
n
为网格上的n个点，
△
t
n
为偏移矩阵，损失函数L
a
包括三元组损失L
t
和分类损失L
c
，β
j
为第j个关键点的置信度，a和p是相同的人，a和n是不同的人，为a和p之间的相似度，为a与n之间的相似度，α为和最小间隔，为特征分类正确的概率。
[0022]可选的，基于自适应邻接矩阵的图卷积网络融合所述局部特征，获得更高阶的信息包括：
[0023]根据行人图像中关键点的全部特征和局部特征与所述人体关键点信息输入所述自适应邻接矩阵的图卷积网格；
[0024]计算所述全部特征和所述局部特征之间的相似度，所述全局特征和所述局部特征之间的差异来更新人体拓扑图中各个关键点之间关系的权重，并进行融合操作获得更高阶的信息。
[0025]可选的，所述融合操作包括：
[0026][0027]其中，gc(
·
)为图卷积层，concat(
·
)为特征融合操作，f(.)为全连接层，V
in
包括和
[0028]可选的，将人体拓扑结构与所述更高阶的信息进行匹配，获得遮挡图像相似度计算包括：
[0029]将两张不同的行人图像对应的高阶特征作为行人特征匹配模块的输入，然后利用融合图匹配对行人图像进行相似性的度量，获得一个相似度矩阵，再采用相似度预测的交叉过程，分别交叉获得遮挡图像相似度计算。
[0030]本专利技术技术效果：本专利技术公开了一种基于图模型和可变形卷积的遮挡行人重识别方法，利用具有对称性的人体拓扑结构信息进行特征学习和匹配，并且加入可变形卷积方法，灵活定位行人特征，同时使用基于自适应邻接矩阵的图卷积方法，从而获取更有效的行人特征信息，使得模型取得了更好的性能。
附图说明
[0031]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0032]图1为本专利技术实施例基于图模型和可变形卷积的遮挡行人重识别方法的流程示意图；
[0033]图2为本专利技术实施例可视化人体关键点示意图；
[0034]图3为本专利技术实施例可变形卷积结构图示意图；
[0035]图4为本专利技术实施例可变形卷结果可视化示意图；
[0036]图5为本专利技术实施例自适应方向图卷积示意图；
[0037]图6为本专利技术实施例图匹配操作流程示意图；
[0038]图7本专利技术实施例不同γ时对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图模型和可变形卷积的遮挡行人重识别方法，其特征在于，包括以下步骤：根据人体关键点信息获取行人的局部特征，并根据人体对称性特点通过可变形卷积网络提取行人关键特征；基于自适应邻接矩阵的图卷积网络融合所述局部特征，获得更高阶的信息；根据人体拓扑结构将所述更高阶的信息进行匹配，获得遮挡图像相似度计算，完成遮挡行人重识别。2.如权利要求1所述的基于图模型和可变形卷积的遮挡行人重识别方法，其特征在于，所述人体关键点信息包括：头、左右两边的肩、肘、腕、臀、膝和脚踝。3.如权利要求2所述的基于图模型和可变形卷积的遮挡行人重识别方法，其特征在于，获取所述人体关键点信息包括：获取初始的行人图像，构建人体姿态估计模型，将所述初始的行人图像输入训练好的所述人体姿态估计模型中对行人图像进行检查，获得所述人体关键点信息。4.如权利要求3所述的基于图模型和可变形卷积的遮挡行人重识别方法，其特征在于，根据所述人体关键点信息，通过骨干网络提取行人图像中关键点的全部特征和局部特征包括：括：其中，m
g
为全局特征图，m
kp
为关键点特征图，为外积，g(
·
)全局平均池化，为关键点的局部特征，为关键点的全局特征，K为表示人体关键点的个数。5.如权利要求4所述的基于图模型和可变形卷积的遮挡行人重识别方法，其特征在于，将行人图像中关键点的全部特征和局部特征输入可变形卷积网络提取行人关键特征包括：R＝{(
‑
1,1),(
‑
1,0),
…
,(0,1),(1,1)},(0,1),(1,1)}其中，R为感受野尺寸和扩张，w为卷积核权重，x为输入特征图,y为输出特征...

【专利技术属性】
技术研发人员：周慧敏，朱敏玲，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：