一种基于深度学习的行人重识别方法技术

本发明专利技术公开了一种基于深度学习的行人重识别方法，应用于至少包括2D特征编码网络，3D人体表征编码网络以及图卷积特征融合网络的行人重识别系统，行人重识别方法包括如下步骤：通过2D特征编码网络提取2D图像特征图，3D人体表征编码网络提取3D姿态信息和人体外形信息；根据3D姿态信息获取2D关节点位置，将2D关节点位置映射到2D图像特征图获取2D关节点局部特征；根据3D姿态信息获取区域掩码；将获取的2D关节点局部特征与3D姿态信息和人体外形信息融合，得到3D关节点局部特征，进而进行关节点间的特征融合，得到骨骼局部特征；将待识别图像和图像库中第一图像相似度匹配，输出匹配结果；利用人体骨骼的3D信息以及拓扑约束使行人重识别的匹配更加准确。

【技术实现步骤摘要】
一种基于深度学习的行人重识别方法
本专利技术属于计算机视觉行人重识别
，具体涉及一种基于深度学习的行人重识别方法
技术介绍
如今，在几乎所有的公共场所，都可以看到通过监控摄像头来监控人类活动。这些摄像机拍摄的连续视频流通过人工观察可用以发现或查证事件的发生。然而，这个人工观察过程费时、费力且容易出错的。研究人员已经提出了各种基于计算机视觉的自动化技术来分析人类活动视频数据和提取相关信息，以执行人类跟踪、再识别和其他视觉相关任务。行人重识别，其任务就是给定一个感兴趣的待查询人的信息,然后确定这个人是否被另一个不同地方、不同时间、不同相机所捕捉到。待查询人可以由图像、视频序列，甚至文本等信息描述表示。随着大量安装在大学校园，主题公园，街道的监控摄像头的出现，由于公共安全的需要,行人重识别在智能视频监控系统的设计有着重大影响和实际重要性。当在拥挤的地方进行行人重新识别时，遮挡是一个不可避免的问题。例如，一个人可能会被现场的其他人遮挡，或被静态障碍物遮挡，如汽车、柱子、墙壁，或被自身肢体遮挡。除了遮挡，视角变化也是一个巨大的挑战。
技术实现思路
本专利技术提出一种基于深度学习的行人重识别方法，主要解决现有方案在复杂遮挡环境(如自遮挡，自然环境下的物体遮挡)和人体各部分视角差异大的情形下表现不佳的问题，人体骨骼随着关节活动，使得各个部分出现不同的视角变化，细粒度的视角检测可以使得行人重识别的匹配更加准确。利用人体骨骼的3D信息以及拓扑约束，可以获得行人更加鲁棒的表征信息。本专利技术为了实现上述目的，提供了一种基于深度学习的行人重识别方法，包括如下步骤：S1，将待识别图像输入2D特征编码网络提取2D图像特征图，且将待识别图像输入3D人体表征编码网络提取3D姿态信息和人体外形信息；S2，根据3D姿态信息获取2D关节点位置，将2D关节点位置映射到2D图像特征图，获取2D关节点局部特征；S3，根据3D姿态信息获取全局视角感知区域掩码、局部视角感知区域掩码、自遮挡感知区域掩码和外部遮挡感知区域掩码；S4，将获取的2D关节点局部特征与3D姿态信息和人体外形信息融合，得到3D关节点局部特征；S5，将3D关节点局部特征进行关节点间的特征融合，得到骨骼局部特征；S6，基于全局视角感知区域掩码、外部遮挡感知区域掩码、局部视角感知区域掩码以及自遮挡感知区域掩码，对待识别图像和图像库中的第一图像进行相似度匹配，输出最终匹配结果。优选的，步骤S3中，根据3D姿态信息获取全局视角感知区域掩码具体包括：S311，将人体的T-poSe状态作为参考坐标系，以根节点为原点，定义用于确定全局视角的单位球坐标系SCroot，得到待识别图片描述全局视角的角度为(θroot，φroot，1)；S312，将SCroot单位球平面离散化,即θroot的定义域和φroot的定义域分别等分为N1和N2份，等分后的每个区段都以其中点的值作为离散化后的值,映射为N维向量，N等于N1与N2的乘积，每个维度对应着一组(θroot，φroot)参数，该向量即为全局视角感知区域掩码。优选的，步骤S3中，根据3D姿态信息获取自遮挡感知区域掩码具体包括：S321,以互相连接的两个关节点的中点作为原点，将人体的T-poSe状态作为参考坐标系，定义用于表示骨头视角的单位球坐标系得到每根骨头的骨头视角与相交骨头产生的遮挡感知视角并将每个关节点的3D坐标和3D姿态信息的三维旋转向量转换至单位球坐标系S322,将的单位球平面离散化，映射为N维向量，得到将骨头视角掩码与相交骨头遮挡视角掩码将其按元素相乘，得到自遮挡感知区域掩码。优选的，步骤S5具体包括，S51、将所有关节点的3D关节点局部特征输入图卷积特征融合网络；S52、图卷积特征融合网络根据关节点的连接矩阵，输出每个关节点与其父节点所代表的骨头的局部特征，即骨骼局部特征。优选的，步骤S2中所述的根据3D姿态信息获取2D关节点位置具体包括：将3D姿态信息转换为3D坐标，将3D坐标投影为2D图像特征图上的2D坐标从而得到2D关节点位置。优选的，步骤S2中所述的将2D关节点位置映射到2D图像特征图，获取2D关节点局部特征，具体包括：S21、根据2D关节点位置，生成与2D图像特征图尺寸相同的2D高斯加权图；S22、2D图像特征图与2D高斯加权图按元素相乘得到2D关节点局部特征。优选的，所述的2D特征编码网络采用CNN网络；所述3D人体表征编码网络至少包括特征提取骨干网络和3D参数回归网络，其中特征提取骨干网络的全局平均池化层的输出串联接入3D参数回归网络。优选的，步骤S6具体包括：S61、基于待识别图像和图像库中的第一图像的全局视角感知区域掩码、外部遮挡感知区域掩码、局部视角感知区域掩码和自遮挡感知区域掩码得到全局视角共有部分掩码、外部遮挡共有部分掩码、局部视角共有部分掩码和自遮挡共有部分掩码；S62、将待识别图像和第一图像的2D图像特征图、2D关节点局部特征、3D关节点局部特征、骨骼局部特征的特征分别与全局视角共有部分掩码、外部遮挡共有部分掩码、局部视角共有部分掩码、自遮挡共有部分掩码相乘，并分别基于全局视角共有部分掩码、外部遮挡共有部分掩码、局部视角共有部分掩码、自遮挡共有部分掩码计算全局匹配相似度、外部遮挡匹配相似度、关节点局部匹配相似度、自遮挡匹配相似度；S63、基于待识别图像和图像库中的第一图像的人体外形信息获得人体外形匹配相似度；S64、加权全局匹配相似度、外部遮挡匹配相似度、关节点局部匹配相似度、自遮挡匹配相似度以及人体外形匹配相似度，从而输出最终的匹配相似度。优选的，所述步骤S3中，根据3D姿态信息获取局部视角感知区域掩码具体包括：S331、将人体的T-poSe状态作为参考坐标系，以关节点的3D坐标为原点，定义用于表示局部视角的单位球坐标系得到每个关节点局部视角角度S332、将的单位球平面离散化，将局部关节点的3D姿态信息的三维旋转向量传递到根节点后，转换到单位球坐标系，映射为N维向量，即为局部视角感知区域掩码。优选的，所述步骤S3中，根据3D姿态信息获取外部遮挡感知区域掩码具体包括：获取每个关节点的置信度，并基于获取的置信度得到外部遮挡感知区域掩码。本专利技术的有益效果是：1、解决复杂遮挡环境和人体各部分视角差异大的情形下行人重识别表现不佳的问题，提出了细粒度的视角感知，不仅包括全局视角，还包括关节点的局部视角和自遮挡感知的骨头视角，同时还能感知外部物体遮挡；2、结合了人体图像的2D特征，人体的3D拓扑结构以及3D外形特征，使得整个网络的能够在复杂遮挡环境充分利用图像信息与人体结构等先验信息。附图说明图1是本专利技术行人重识别方法的一种实施例的系统框架示意图；图2是本专利技术行人重识别方法的一种实施例流程示意图；图3是本专利技术实施例中3D人体表征编码网络的结构示意图；图4是本专利技术实施例中获取2D关节点局部特征图的基本步骤示意图；图5是本专利技术实施例中2D高斯加权图与2D关节点局部特征图的映射示本文档来自技高网...

【技术保护点】
1.一种基于深度学习的行人重识别方法，其特征在于，包括如下步骤：/nS1，将待识别图像输入2D特征编码网络提取2D图像特征图，且将待识别图像输入3D人体表征编码网络提取3D姿态信息和人体外形信息；/nS2，根据3D姿态信息获取2D关节点位置，将2D关节点位置映射到2D图像特征图，获取2D关节点局部特征；/nS3，根据3D姿态信息获取全局视角感知区域掩码、局部视角感知区域掩码、自遮挡感知区域掩码和外部遮挡感知区域掩码；/nS4，将获取的2D关节点局部特征与3D姿态信息和人体外形信息融合，得到3D关节点局部特征；/nS5，将3D关节点局部特征进行关节点间的特征融合，得到骨骼局部特征；/nS6，基于全局视角感知区域掩码、外部遮挡感知区域掩码、局部视角感知区域掩码以及自遮挡感知区域掩码，对待识别图像和图像库中的第一图像进行相似度匹配，输出最终匹配结果。/n

【技术特征摘要】
1.一种基于深度学习的行人重识别方法，其特征在于，包括如下步骤：
S1，将待识别图像输入2D特征编码网络提取2D图像特征图，且将待识别图像输入3D人体表征编码网络提取3D姿态信息和人体外形信息；
S2，根据3D姿态信息获取2D关节点位置，将2D关节点位置映射到2D图像特征图，获取2D关节点局部特征；
S3，根据3D姿态信息获取全局视角感知区域掩码、局部视角感知区域掩码、自遮挡感知区域掩码和外部遮挡感知区域掩码；
S4，将获取的2D关节点局部特征与3D姿态信息和人体外形信息融合，得到3D关节点局部特征；
S5，将3D关节点局部特征进行关节点间的特征融合，得到骨骼局部特征；
S6，基于全局视角感知区域掩码、外部遮挡感知区域掩码、局部视角感知区域掩码以及自遮挡感知区域掩码，对待识别图像和图像库中的第一图像进行相似度匹配，输出最终匹配结果。


2.根据权利要求1所述的基于深度学习的行人重识别方法，其特征在于，步骤S3中，根据3D姿态信息获取全局视角感知区域掩码具体包括：
S311，将人体的T-pose状态作为参考坐标系，以根节点为原点，定义用于确定全局视角的单位球坐标系SCroot，得到待识别图片描述全局视角的角度为(θroot，φroot，1)；
S312，将SCroot单位球平面离散化，即θroot的定义域和φroot的定义域分别等分为N1和N2份，等分后的每个区段都以其中点的值作为离散化后的值，映射为N维向量，N等于N1与N2的乘积，每个维度对应着一组(θroot，φroot)参数，该向量即为全局视角感知区域掩码。


3.根据权利要求1所述的基于深度学习的行人重识别方法，其特征在于，步骤S3中，根据3D姿态信息获取自遮挡感知区域掩码具体包括：
S321，以互相连接的两个关节点的中点作为原点，将人体的T-pose状态作为参考坐标系，定义用于表示骨头视角的单位球坐标系得到每根骨头的骨头视角与相交骨头产生的遮挡感知视角并将每个关节点的3D坐标和3D姿态信息的三维旋转向量转换至单位球坐标系
S322,将的单位球平面离散化，映射为N维向量，得到将骨头视角掩码与相交骨头遮挡视角掩码将其按元素相乘，得到自遮挡感知区域掩码。


4.根据权利要求1所述的基于深度学习的行人重识别方法，其特征在于，步骤S5具体包括：
S51、将所有关节点的3D关节点局部特征输入图卷积特征融合网络；
S52、图卷积特征融合网络根据关节点的连接矩阵，输出每个关节点与其父节点所代表的骨头的局部特征，即骨骼局部特征。


5.根据权利要求1所述的基于深度学习的行人重识别方法，其特征在于：
步骤S2中所述的根据3D姿态信息获取...

【专利技术属性】
技术研发人员：段文义，唐慧明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33