一种基于局部特征和图卷积的行人重识别方法及系统技术方案

本发明专利技术涉及一种基于局部特征和图卷积的行人重识别方法及系统，所述方法包括如下步骤：获取待识别视频序列的N帧图片；分别对每帧的图片进行分块，并分别对每个图像块的特征进行平均池化处理，得到第一特征矩阵；对所述第一特征矩阵进行空间特征提取，获得空间特征；采用图卷积的方式，对第一特征矩阵进行时间特征提取，获得时间特征；将待识别视频序列的时间特征和空间特征进行拼接，获得所述待识别视频序列的拼接特征；根据拼接特征待识别视频序列中的行人。本发明专利技术通过进行分块处理，实现局部特征的区分，采用图卷积关注每个图像块中变化的特征，将时间变化特征和每个局部空间特征进行结合识别，提高了行人重识别的区分度。提高了行人重识别的区分度。提高了行人重识别的区分度。

【技术实现步骤摘要】
一种基于局部特征和图卷积的行人重识别方法及系统


[0001]本专利技术涉及行人重识别
，特别是涉及一种基于局部特征和图卷积的行人重识别方法及系统。

技术介绍

[0002]行人重识别也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人视频图像，检索跨设备下的该行人的视频图像。旨在弥补固定的摄像头的视觉局限。
[0003]行人重识别的研究起始于二十世纪九十年代中期。研究者们借鉴、引入了一些图像处理、模式识别领域的成熟方法，侧重研究了行人的可用特征、简单分类算法。自2014年以来，行人重识别技术的训练库趋于大规模化，广泛采用深度学习框架。随着高校、研究所以及一些厂商的研究持续深入，行人重识别技术得到了飞速的发展。
[0004]随着社会上各种视频监控的数量越来越多，各种深度学习的技术被广泛的应用于刑事侦查、危险预警、无人超市、走失救助等领域，例如人脸识别技术已经相对的成熟，商业化也非常的成功，行人重识别主要应用于安防领域，与人脸识别相比，它的难度更加的大，环境干扰因素也更加的多，行人重识别所获取的图像往往距离较远，人的像素很低，识别困难，同时在行人运动过程中会出现遮挡、姿态变化、光照变化、视角变化等情况，给识别增加了更多的困难。
[0005]如何提高行人重识别的区分度，克服因遮挡、姿态变化、光照变化、视角变化造成的识别困难的技术难题，成为一个亟待解决的技术问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于局部特征和图卷积的行人重识别方法及系统，以提高行人重识别的区分度，克服因遮挡、姿态变化、光照变化、视角变化造成的识别困难的技术难题。
[0007]为实现上述目的，本专利技术提供了如下方案：
[0008]一种基于局部特征和图卷积的行人重识别方法，所述方法包括如下步骤：
[0009]获取待识别视频序列的N帧图片；
[0010]分别对每帧的图片进行分块，并分别对分块得到的每个图像块的特征进行平均池化处理，得到每个图像块的特征向量，组成第一特征矩阵；
[0011]对所述第一特征矩阵进行空间特征提取，获得所述待识别视频序列的空间特征；
[0012]采用图卷积的方式，对所述第一特征矩阵进行时间特征提取，获得所述待识别视频序列的时间特征；
[0013]将所述待识别视频序列的时间特征和空间特征进行拼接，获得所述待识别视频序列的拼接特征；
[0014]将所述待识别视频序列的拼接特征与数据库中带有行人ID标签的视频序列的拼
接特征进行比较，确定所述待识别视频序列中的行人的ID。其中，数据库中带有行人ID标签的视频序列的拼接特征的获取方式与待识别视频序列的拼接特征的获取方式相同。
[0015]可选的，所述分别对每帧的图片进行分块，并分别对分块得到的每个图像块的特征进行平均池化处理，得到每个图像块的特征向量，组成第一特征矩阵，具体包括：
[0016]将N帧所述图片输入Resnet50卷积网络进行卷积和池化操作，获得每帧图片的初步特征；
[0017]分别对每帧图片的初步特征进行分块，获得每个图像块的初步特征；
[0018]对每个图像块的初步特征进行平均池化操作，获得每个图像块的特征向量，组成第一特征矩阵。
[0019]可选的，所述对所述第一特征矩阵进行空间特征提取，获得所述待识别视频序列的空间特征，具体包括：
[0020]对所述第一特征矩阵在第一维度上进行最大池化操作，获得所述待识别视频序列的空间特征。
[0021]可选的，对所述第一特征矩阵在第一维度上进行最大池化操作，获得所述待识别视频序列的空间特征，之后还包括：
[0022]将待识别视频序列的空间特征扩展至预设维度。
[0023]可选的，所述采用图卷积的方式，对所述第一特征矩阵进行时间特征提取，获得所述待识别视频序列的时间特征，具体包括：
[0024]将所述第一特征矩阵按照N帧图片的时间顺序分成S个第二特征矩阵；
[0025]分别对每个所述第二特征矩阵分别进行最大池化操作，获得S个最大池化后的特征向量，组成第三特征矩阵；
[0026]将所述第三特征矩阵按照图像块进行分割，获得P个第四特征矩阵；其中，P表示图像块的数量，每个所述第四特征矩阵中包含S个最大池化后的特征；
[0027]分别对每个所述第四特征矩阵进行多次图卷积操作，得到P个图卷积结果；
[0028]分别对每个所述图卷积结果进行最大池化操作，获得待识别视频序列的时间特征。
[0029]可选的，所述分别对每个所述第四特征矩阵进行多次图卷积操作，得到P个图卷积结果，之前还包括：
[0030]构建邻接矩阵：
[0031]其中，A表示邻接矩阵，D表示对角特征矩阵，D
(i,i)
表示D中的第(i，i)个元素，A2表示自循环邻接矩阵，A2＝A1+E，A1表示特征关系矩阵，E表示单位矩阵，表示特征关系矩阵，E表示单位矩阵，表示A1中的第(i，j)个元素，表示A2中的第(i，j)个元素，x
i
和x
j
分别表示第四特征矩阵中第i个和第j个元素，表示x
i
和x
j
的关系的函数，S为参与图卷积的特征数量。
[0032]可选的，每个所述第三特征矩阵进行图卷积操作的公式为：可选的，每个所述第三特征矩阵进行图卷积操作的公式为：
[0033]其中，表示对第p个第四特征矩阵进行k次图卷积操作得到的结果；表示对第p个第四特征矩阵进行k
‑
1次图卷积操作得到的结果，W
k
表示第k次图卷积的参数矩阵，A表示邻接矩阵。
[0034]可选的，所述分别对每个所述图卷积结果进行最大池化操作，获得待识别视频序列的时间特征，之后还包括：
[0035]将待识别视频序列的时间特征扩展至预设维度。
[0036]一种基于局部特征和图卷积的行人重识别系统，所述系统包括：
[0037]图片获取模块，用于获取待识别视频序列的N帧图片；
[0038]图片分块模块，用于分别对每帧的图片进行分块，并分别对分块得到的每个图像块的特征进行平均池化处理，得到每个图像块的特征向量，组成第一特征矩阵；
[0039]空间特征提取模块，用于对所述第一特征矩阵进行空间特征提取，获得所述待识别视频序列的空间特征；
[0040]时间特征提取模块，用于采用图卷积的方式，对所述第一特征矩阵进行时间特征提取，获得所述待识别视频序列的时间特征；
[0041]特征拼接模块，用于将所述待识别视频序列的时间特征和空间特征进行拼接，获得所述待识别视频序列的拼接特征；
[0042]识别模块，用于将所述待识别视频序列的拼接特征与数据库中带有行人ID标签的视频序列的拼接特征进行比较，确定所述待识别视频序列中的行人的ID。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部特征和图卷积的行人重识别方法，其特征在于，所述方法包括如下步骤：获取待识别视频序列的N帧图片；分别对每帧的图片进行分块，并分别对分块得到的每个图像块的特征进行平均池化处理，得到每个图像块的特征向量，组成第一特征矩阵；对所述第一特征矩阵进行空间特征提取，获得所述待识别视频序列的空间特征；采用图卷积的方式，对所述第一特征矩阵进行时间特征提取，获得所述待识别视频序列的时间特征；将所述待识别视频序列的时间特征和空间特征进行拼接，获得所述待识别视频序列的拼接特征；将所述待识别视频序列的拼接特征与数据库中带有行人ID标签的视频序列的拼接特征进行比较，确定所述待识别视频序列中的行人的ID。2.根据权利要求1所述的基于局部特征和图卷积的行人重识别方法，其特征在于，所述分别对每帧的图片进行分块，并分别对分块得到的每个图像块的特征进行平均池化处理，得到每个图像块的特征向量，组成第一特征矩阵，具体包括：将N帧所述图片输入Resnet50卷积网络进行卷积和池化操作，获得每帧图片的初步特征；分别对每帧图片的初步特征进行分块，获得每个图像块的初步特征；对每个图像块的初步特征进行平均池化操作，获得每个图像块的特征向量，组成第一特征矩阵。3.根据权利要求1所述的基于局部特征和图卷积的行人重识别方法，其特征在于，所述对所述第一特征矩阵进行空间特征提取，获得所述待识别视频序列的空间特征，具体包括：对所述第一特征矩阵在第一维度上进行最大池化操作，获得所述待识别视频序列的空间特征。4.根据权利要求3所述的基于局部特征和图卷积的行人重识别方法，其特征在于，所述对所述第一特征矩阵在第一维度上进行最大池化操作，获得所述待识别视频序列的空间特征，之后还包括：将待识别视频序列的空间特征扩展至预设维度。5.根据权利要求1所述的基于局部特征和图卷积的行人重识别方法，其特征在于，所述采用图卷积的方式，对所述第一特征矩阵进行时间特征提取，获得所述待识别视频序列的时间特征，具体包括：将所述第一特征矩阵按照N帧图片的时间顺序分成S个第二特征矩阵；分别对每个所述第二特征矩阵分别进行最大池化操作，获得S个最大池化后的特征向量，组成第三特征矩阵；将所述第三特征矩阵按照图像块进行分割，获得P个第四特征矩阵；其中，P表示图像块的数量，每个所述第四特征矩阵中包含S个最大池化后的特征；分别对每个所述第四特征矩阵进行多次图卷积操作，得到P个图卷积结果；分别对每个所述图卷积结果进行最大池化操作，获得待识别视频序列的时间特征。6.根据权利要求5所述的基于局部特征和图卷积的行人重识别方法，其特征在于，所述
分别对每个所述第四特征矩阵...

【专利技术属性】
技术研发人员：项欣光，汪子祥，金露，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：