基于姿态估计与视点机制融合的行人再识别方法技术

本发明专利技术设计一种基于姿态估计与视点机制融合的行人再识别方法。用于解决各种需要进行刑侦，失踪人员寻找问题，为了达到该目的，该方法通过考虑行人的姿势结构信息，采用姿势估计网络Openpose提取行人关键点，同时考虑相机拍摄的视点位置，根据图像的拍摄的角度，生成行人身体关键区域，帮助对齐图像中的身体区域特征并可以避免相机拍摄到行人侧面时行人关键区域被遮挡等问题。最终，通过特征融合子网络将局部特征图与全局特征图进行融合来合并不同语义级别的区域特征。通过对行人数据集的训练，得到对应的模型，通过加载模型并采用本文的神经网络结构预测出所有与目标行人匹配的行人。

Pedestrian Recognition Based on Attitude Estimation and View Mechanism Fusion

【技术实现步骤摘要】
基于姿态估计与视点机制融合的行人再识别方法
本专利技术涉及计算机视觉与图像检索领域，具体设计了一种基于姿态估计与视点机制融合的行人再识别方法。
技术介绍
行人再识别(Personre-identification，Re-ID)起源于多摄像头跟踪，用于判断非重叠视域中拍摄到的不同图像中的行人是否属于同一个人。行人再识别涉及计算机视觉、机器学习、模式识别等多个学科领域，可以广泛应用于智能视频监控、安保、刑侦等领域。近年来，行人再识别技术引起了学术界和工业界的广泛关注，已经成为计算机视觉领域的一个研究热点，由于行人兼具刚性和柔性物体的特性，外观易受穿着、姿态和视角变化以及光照、遮挡、环境等各种复杂因素的影响，这使得行人再识别面临着巨大的技术挑战。行人再识别由行人检测和行人识别发展而来，可以看作两者功能的“结合”。传统的行人检测的目的是判断输入的图片或者视频中是否有行人，主要用于智能驾驶，辅助驾驶和智能监控等相关领域；行人识别是从输入的图片或者视频中识别指定的人，主要用于图像检索等问题；而行人再识别是从没有任何重区域的不同摄像头的视频中识别出同个人，主要用于刑侦、寻找失踪人员等工作。在一定时间内，一个行走的行人可能会经过相邻的若干个摄像头，如何识别出在不同摄像头下出现的同一个人，是行人再识别所研究的重点。
技术实现思路
本专利技术设计一种基于姿态估计与视点机制融合的行人再识别方法。用于解决各种需要进行刑侦，失踪人员寻找问题，为了达到该目的，该方法通过考虑行人的姿势结构信息，采用姿势估计网络Openpose提取行人关键点，同时考虑相机拍摄的视点位置，根据图像的拍摄的角度，生成行人身体关键区域，帮助对齐图像中的身体区域特征并可以避免相机拍摄到行人侧面时行人关键区域被遮挡等问题。最终，通过特征融合子网络将局部特征图与全局特征图进行融合来合并不同语义级别的区域特征。通过对行人数据集的训练，得到对应的模型，通过加载模型并采用本文的神经网络结构预测出所有与目标行人匹配的行人。本专利技术所述的方法首先对图像中的行人进行姿态估计与视图判别，根据姿态估计得到的人体关节点与图像视图方向将身体区域划分为6个或3个子区域，从局部区域中提取行人局部特征，同时从完整图像中提取全局特征，最终通过特征融合将全局与局部特征融合得到最终的特征表示，采用欧几里得距离进行再识别判别。在训练过程中，使用二元交叉熵损失来进行类别预测。区别于现有的处理方法，本专利技术的有益效果是：1)在CNN框架中考虑人体结构信息，缓解行人由姿势变化造成的对齐困难。2)考虑相机视点信息，帮助本文模型规避由身体部位被遮挡而导致的姿势估计不准确。3)分别从全局图像与局部图像中学习特征表示，并提出特征融合网络将全局与局部的特征融合以获取更具鲁棒性的特征表示。使行人再识别的效率与精度又大大地提升。同时能够较好地克服行人姿态变化、视角变化的检测难度大的缺点。附图说明图1是本专利技术所述的一种基于姿态估计与视点机制融合的行人再识别方法。具体实施方式请参阅图1所示：1、一种基于姿态估计与视点机制融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤一：行人再识别数据集采集，获取行人再识别公开数据集，区分训练集与测试集，进入步骤二；步骤二：行人再识别数据集训练，将行人再识别公开数据集的训练集作为深度卷积神经网络模型的训练集，最终得到行人再识别模型进行进入步骤三；步骤三：特征提取与融合，根据步骤二，得到的行人再识别模型，对查询图像与库图像提取网络中的全局特征与局部特征，将一张图像输入网络后，通过特征嵌入网络与特征融合网络最终获得一个2048维向量特征进入步骤四；步骤四：再识别分析，根据步骤三获得的2048维特征向量，计算查询图像特征与待查询图像特征之间的欧几里得距离，将该距离由小到大排序，排名较前的图像较大可能与查询图像为同一行人，并利用CMC累积匹配曲线中的RANK1，RANK5，RANK10，RANK20与平均精度mAP作为算法性能的评价指标；2、根据权利要求1所述的一种基于姿态估计与视点机制融合的行人再识别方法，其特征在于，步骤一中所述得到行人再识别数据集方法包括以下步骤：步骤一：获取广泛使用的行人再识别数据集CHUK03，Market-1501，与DukeMTMC-reID数据集进行实验，将CHUK03中的第三组的100个行人图像作为测试集，剩余1367个行人的图像作为训练集，Market1501训练集有751人，包含12,936张图像；测试集有750人，包含19,732张图像；训练集有702个行人的16522张图像，测试集有702个行人的17661张图像；3、根据权利要求1所述的一种基于姿态估计与视点机制融合的行人再识别方法，其特征在于，步骤二所述的卷积神经网络模型训练包括以下步骤：步骤一：训练过程中，输入图像进入我们的卷积神经网络，进行特征提取，深度卷积神经网络框架由特征嵌入网络与特征融合网络组成，其主干网络为Resnet50；步骤二：考虑训练过程中的损失函数，我们采用三个Softmaxloss作为Loss函数，分别为全局损失，融合损失，局部损失，统一用以下公式作为损失函数：4、根据权利要求1所述的一种基于姿态估计与视点机制融合的行人再识别方法，其特征在于，步骤三所述的特征提取与融合包括以下步骤：步骤一：首先输入待查询图像，对图像中行人进行姿态估计与视点判别，获取行人姿势关节位置，并通过视图分类器获取图像视点方向，根据不同的视点方向以及姿势关节位置组合成不同的人体部位推荐，视点位置为“前”，“后”时图像角度良好，推荐6个局部身体区域，分别为{头部B1，躯干B2，左臂B3，右臂B4，左腿B5，右腿B6}，视点位置为“侧”时，图像角度较差，推荐3个局部身体区域，分别为{头肩部A1＝(B1)，上身A2＝(B2，B3，B4)，下身A3＝(B5，B6)}其中15个关节点Ki＝[Xi，Yi]，(i＝1，2，...，15)可以通过NMS(非极大值抑制)方法获取，通过以下公式表示：式中为每个身体关节的响应图；若相机视点为{前，后}则根据上述的6个关键点子集生成6个子区域边界框，边界框的4个坐标可以根据每个关节点集的所有身体关节位置坐标计算得到，如下式(3)所示：若相机视点为“侧”则根据上述的6个子集划分为3个宏观子区域最终特征嵌入网络通过裁剪，旋转并进行尺寸调整将这些身体子区域标准化为固定的尺寸，将经过调整大小和旋转的身体部分重新组合为行人局部特征图像进入步骤二；步骤二：根据步骤一得到的局部特征图像，与全局图像经过两个阶段的CNN特征提取后得到两个1024×16×8的特征图，进入特征融合网络，通过一个双线性池化操作聚合两种类型的特征映射生成融合后的特征，然后进行归一化生成最终的2048维融合向量，特征融合的公式如下：其计算公式为：联立上式得：其中上述公式中g(x，y)为全局特征图G中(x，y)处的特征向量，p(x，y)为局部特征图P中(x，y)处的特征向量；fusion(x，y)为将两个特征向量进行融合后的(x，y)处的融合特征向量，为将融合向量fusion归一化后得到的最终向量；将融合的2048维特征向量作为最终表示，使用欧几里得距离进行再识别判别；5、根据权利要求1所述的一种基于姿态估计与视本文档来自技高网...

【技术保护点】
1.基于姿态估计与视点机制融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤一：行人再识别数据集采集，获取行人再识别公开数据集，区分训练集与测试集，进入步骤二；步骤二：行人再识别数据集训练，将行人再识别公开数据集的训练集作为深度卷积神经网络模型的训练集，最终得到行人再识别模型进行进入步骤三；步骤三：特征提取与融合，根据步骤二，得到的行人再识别模型，对查询图像与库图像提取网络中的全局特征与局部特征，将一张图像输入网络后，通过特征嵌入网络与特征融合网络最终获得一个2048维向量特征进入步骤四；步骤四：再识别分析，根据步骤三获得的2048维特征向量，计算查询图像特征与待查询图像特征之间的欧几里得距离，将该距离由小到大排序，排名较前的图像较大可能与查询图像为同一行人，并利用CMC累积匹配曲线中的RANK1，RANK5，RANK10，RANK20与平均精度mAP作为算法性能的评价指标。

【技术特征摘要】
1.基于姿态估计与视点机制融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤一：行人再识别数据集采集，获取行人再识别公开数据集，区分训练集与测试集，进入步骤二；步骤二：行人再识别数据集训练，将行人再识别公开数据集的训练集作为深度卷积神经网络模型的训练集，最终得到行人再识别模型进行进入步骤三；步骤三：特征提取与融合，根据步骤二，得到的行人再识别模型，对查询图像与库图像提取网络中的全局特征与局部特征，将一张图像输入网络后，通过特征嵌入网络与特征融合网络最终获得一个2048维向量特征进入步骤四；步骤四：再识别分析，根据步骤三获得的2048维特征向量，计算查询图像特征与待查询图像特征之间的欧几里得距离，将该距离由小到大排序，排名较前的图像较大可能与查询图像为同一行人，并利用CMC累积匹配曲线中的RANK1，RANK5，RANK10，RANK20与平均精度mAP作为算法性能的评价指标。2.根据权利要求1所述的基于姿态估计与视点机制融合的行人再识别方法，其特征在于，步骤一中所述得到行人再识别数据集方法包括以下步骤：步骤一：获取广泛使用的行人再识别数据集CHUK03，Market-1501，与DukeMTMC-reID数据集进行实验，将CHUK03中的第三组的100个行人图像作为测试集，剩余1367个行人的图像作为训练集，Market1501训练集有751人，包含12,936张图像；测试集有750人，包含19,732张图像；训练集有702个行人的16522张图像，测试集有702个行人的17661张图像。3.根据权利要求1所述的基于姿态估计与视点机制融合的行人再识别方法，其特征在于，步骤二所述的卷积神经网络模型训练包括以下步骤：步骤一：训练过程中，输入图像进入我们的卷积神经网络，进行特征提取，深度卷积神经网络框架由特征嵌入网络与特征融合网络组成，其主干网络为Resnet50；步骤二：考虑训练过程中的损失函数，我们采用三个Softmaxloss作为Loss函数，分别为全局损失，融合损失，局部损失，统一用以下公式作为损失函数：4.根据权利要求1所述的基于姿态估计与视点机制融合的行人再识别方法，其特征在于，步骤三所述的特征提取与融合包括以下步骤：步骤一：首先输入待查询图像，对图像中行人...

【专利技术属性】
技术研发人员：徐曾春，裴嘉震，胡平，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：江苏,32