一种基于Transformer的步态重识别方法技术

本发明专利技术公开了一种基于Transformer的步态重识别方法，该方法包括如下步骤：使用预训练好的实例分割模型对画面中的行人进行分割，再使用跟踪算法，得到每个行人的剪影图序列；对于剪影图序列中的每张图从高度维度均分，得到剪影分部图集合；将剪影分部图送入Flatten网络层进行拉伸，得到特征；用H

【技术实现步骤摘要】
一种基于Transformer的步态重识别方法


[0001]本专利技术涉及图像识别研究领域，具体涉及一种基于Transformer的步态重识别方法。

技术介绍

[0002]图像重识别是根据摄像机获取的图像判断两个人是否属于同一个人的技术，广泛应用于监控、安防等场景下特定人物搜索。并且目前重识别技术主要是人脸重识别、行人重识别，而这些都对摄像机的距离、像素有着极高的要求，对摄像机的安装带来了困难。步态识别是行人重识别的一种特例。步态是一种极具潜质的生物特征，它反映了行人的行走模式。由于存在运动差异和体型差异，每个人的步态都是唯一的，利用步态可以唯一识别视频中的目标行人。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种基于Transformer的步态重识别方法，通过使用Transformer提取步态特征，先跨时间分部提取特征，再合并分部特征，提高了识别精度。技术方案如下：
[0004]本专利技术提供了一种基于Transformer的步态重识别方法，该方法包括如下步骤：
[0005]步骤1，通过摄像机采集步态的视频连续帧，使用预训练好的实例分割模型对画面中的行人进行分割，再使用跟踪算法，得到每个行人的剪影图序列，将剪影图序列的每张图片都对齐到方形图中心，并缩放到统一大小，将对齐后的剪影图序列记为S＝{S
i
}(i＝1,2,
…
,N)，N为序列长度。
[0006]步骤2，对于剪影图序列S中的每张图S
i
从高度维度分为M等分，得到剪影分部图集合P
i
＝{P
ij
}(j＝1,2,
…
,M)，P
ij
表示第i张图的第j个部分图，
[0007]步骤3，将剪影分部图转化为特征，将P
ij
送入Flatten网络层进行拉伸，得到特征F
ij
(i＝1,2,
…
,N，j＝1,2,
…
,M)；
[0008]F
ij
＝Flatten(P
ij
)。
[0009]步骤4，对于每个j(j＝1,2,
…
,M)，使用H
‑
Trans网络模型提取步态每个部分的跨时间特征HF，HF＝{HF
j
}，HF
j
＝H
‑
Trans(F
1j
,F
2j
,
…
,F
Nj
)；
[0010]步骤5，将跨时间特征HF送入合并特征提取模型G
‑
Trans网络模型中提取最终步态特征GF，GF＝G
‑
Trans(HF1,HF2,
…
,HF
M
)；
[0011]步骤6，在训练阶段，将最终步态特征GF送入全连接层FC中，得到目标人员的类别Z，并使用大间隔余弦损失函数计算损失L，进行模型训练，Z＝FC(GF)；
[0012]步骤7，将训练数据集使用反向传播算法，通过步骤1～6得到损失进行训练，得到训练好的模型M；
[0013]对于每个底库人员g，使用模型M经过步骤1～5提取特征GF
g
，对于输入的检测视频流，使用模型M经过步骤1～5提取每个行人t的特征GF
qt
，然后使用余弦距离对每个底库人员
g的特征计算相似度sim
g
，最后寻找最大的相似度对应的底库人员G，G＝arg max
g
sim
g
；如果sim
G
大于预设的相似度阈值，则判定识别到地库人员G，否则为未知人员。
[0014]优选的，步骤1将剪影图序列的每张图片都对齐到方形图中心，并缩放到统一的64
×
64大小。
[0015]优选的，步骤1中预训练好的实例分割模型为Mask RCNN。
[0016]优选的，步骤2中M等分为8等分。
[0017]优选的，步骤6中使用大间隔余弦损失函数计算损失L，具体为:
[0018][0019]其中B表示训练时的批大小，b表示一个样本，b＝1,2,
…
,B，GF
b
表示样本b归一化后的步态特征，对于样本b所在的类别k，y
b
表示FC的权重矩阵W中第k行权重归一化后的向量。
[0020]优选的，步骤7相似度sim
g
具体为：
[0021][0022]与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：通过将同一部分不同时间的图像放到一起，利用Transformer的综合信息的能力提取步态特征，使得网络能够充分提取到身体每个部分的语义信息；通过将这些特征送到Transformer模块中合并信息，可以综合所有部分的特征，使得最终识别的精度更高。
附图说明
[0023]图1为本公开实施例提供的一种对齐后剪影图示例图；
[0024]图2为本公开实施例提供的一种H
‑
Trans网络结构示意图；
[0025]图3为本公开实施例提供的一种G
‑
Trans网络结构示意图。
具体实施方式
[0026]为了阐明本专利技术的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0027]本申请的说明书和权利要求书及上述附图中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。
[0028]第一方面：本公开实施例提供了一种基于Transformer的步态重识别方法，该方法包括如下步骤：
[0029]步骤1，通过摄像机采集步态的视频连续帧，使用预训练好的实例分割模型(例如Mask RCNN)对画面中的行人进行分割，再使用跟踪算法，得到每个行人的剪影图序列，将剪影图序列的每张图片都对齐到方形图中心，并缩放到统一大小，例如64
×
64，如附图1所示，将对齐后的剪影图序列记为S＝{S
i
}(i＝1,2,
…
,N)，N为序列长度。
[0030]步骤2，对于剪影图序列S中的每张图S
i
从高度维度分为M等分，得到剪影分部图集合P
i
＝{P
ij
}(j＝1,2,
…
,M)，P
ij
表示第i张图的第j个部分图，优选的M＝8；因为行人行走过程中，身体每一个部分的特征都不相同，所以从高度维度分部提取特征，使得最终特征更加丰富。...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的步态重识别方法，其特征在于，该方法包括如下步骤：步骤1，通过摄像机采集步态的视频连续帧，使用预训练好的实例分割模型对画面中的行人进行分割，再使用跟踪算法，得到每个行人的剪影图序列，将剪影图序列的每张图片都对齐到方形图中心，并缩放到统一大小，将对齐后的剪影图序列记为S＝{S
i
}(i＝1,2,
…
,N)，N为序列长度；步骤2，对于剪影图序列S中的每张图S
i
从高度维度分为M等分，得到剪影分部图集合P
i
＝{P
ij
}(j＝1,2,
…
,M)，P
ij
表示第i张图的第j个部分图，步骤3，将剪影分部图转化为特征，将P
ij
送入Flatten网络层进行拉伸，得到特征F
ij
(i＝1,2,
…
,N，j＝1,2,
…
,M)；F
ij
＝Flatten(P
ij
)；步骤4，对于每个j(j＝1,2,
…
,M)，使用H
‑
Trans网络模型提取步态每个部分的跨时间特征HF，HF＝{HF
j
}，HF
j
＝H
‑
Trans(F
1j
,F
2j
,
…
,F
Nj
)；步骤5，将跨时间特征HF送入合并特征提取模型G
‑
Trans网络模型中提取最终步态特征GF，GF＝G
‑
Trans(HF1,HF2,
…
,HF
M
)；步骤6，在训练阶段，将最...

【专利技术属性】
技术研发人员：王乾宇，周金明，
申请(专利权)人：南京视察者智能科技有限公司，
类型：发明
国别省市：