一种基于关键点筛选的姿态跟踪方法技术

本发明专利技术公开了一种基于关键点筛选的姿态跟踪方法，构建了基于关键点筛选的多人姿态跟踪模型，包含了目标检测模块、姿态估计与关键点筛选模块、匹配模块以及行人重识别模块。通过本发明专利技术的技术方案，能够解决多人姿态跟踪任务中人体关键点阈值难以调整，以及关键点识别低而引起的多目标跟踪精度(MOTA)指标低的问题。题。题。

【技术实现步骤摘要】
一种基于关键点筛选的姿态跟踪方法


[0001]本专利技术属于图像处理
，尤其涉及一种基于关键点筛选的姿态跟踪方法。

技术介绍

[0002]计算机视觉领域中的多人姿态跟踪任务就是指通过对输入的视频图像进行处理，在视频的每一帧中检测出每个行人的姿态，再通过对目标的外观特征、位置、运动状态等信息进行计算分析，随着时间推移正确记录每个人的连续姿态轨迹。作为计算机视觉领域的一个热门问题，人体姿态跟踪是计算机视觉中几乎所有与人类有关问题研究的基础，在人机交互、视频监控、活动识别、体育视频分析领域都具有广泛的应用，这些实际需求引起了人们对这一话题的极大兴趣。
[0003]现有的多人姿态跟踪方法通常是采用自顶向下的框架，首先通过多人姿态估计的方法，检测出每个人体的边界框信息，之后对每个人体边界框进行姿态估计得到姿态信息。接下来根据视频当前帧中需要跟踪的人体的信息，与下一帧中获得的信息进行匹配。
[0004]尽管多人姿态跟踪技术已经得到广泛的应用，但由于多人姿态估计与跟踪不仅要考虑解决多目标跟踪中普遍具有的挑战性的问题如尺度变化、平面旋转、光照变化，并且视频中还存在人的姿态变化复杂等的情况，都对多人姿态估计与跟踪造成困难。除此之外，在Pose Track挑战赛数据集中，需要将低于一定阈值的关键点清空，以往的方法全部都是根据经验进行阈值调整，阈值的选择往往很影响模型最终的性能。这些问题使得模型的多目标跟踪精度(MOTA)指标还有待提升。

技术实现思路

[0005]为了解决上述已有技术存在的不足，本专利技术提出一种基于关键点筛选的姿态跟踪方法，能够解决多人姿态跟踪任务中人体关键点阈值难以调整，以及关键点识别低而引起的多目标跟踪精度(MOTA)指标低的问题。本专利技术的具体技术方案如下：
[0006]一种基于关键点筛选的姿态跟踪方法，包括以下步骤：
[0007]S1：构建数据集；
[0008]S1
‑
1：采用COCO 2017数据集进行检测和姿态估计，PoseTrack 2018数据集进行姿态估计与跟踪；
[0009]S1
‑
2：在PoseTrack 2018数据集的基础上，构建行人重识别数据集，裁剪PoseTrack 2018数据集中的所有人体框，保存为图片，对同一视频中具有id的人体框给予相同的标签，最终生成包含4613个标签，共计119656个图片的行人重识别数据集；
[0010]S2：构建基于自顶向下框架和通用型关键点筛选网络的多人姿态跟踪模型；
[0011]S3：模型训练；
[0012]S4：将待测视频输入模型，得到检测结果。
[0013]进一步地，所述多人姿态跟踪模型包括目标检测模块、姿态估计与关键点筛选模块、匹配模块以及行人重识别模块，其中，
[0014]所述目标检测模块是基于多任务多阶段的混合级联结构模型即HTC模型，HTC模型的骨干网络使用101层的ResNeXt网络，并采用特征图金字塔网络即FPN网络、基于PCK指标的非极大抑制算法；
[0015]所述姿态估计与关键点筛选模块，采用通用型姿态估计网络，分别通过关键点预测模块和关键点筛选模块，得到每个关键点的热力图和存在概率，最终获得人体姿态；
[0016]所述匹配模块将当前帧的人体姿态与现有的人体姿态轨迹进行数据关联，采用基于边界框的交并比距离的匈牙利算法进行关联；对于丢失轨迹的人体，将其加入到所述行人重识别模块中；当出现新增的人体时，使用所述行人重识别模块找回丢失的人体轨迹。
[0017]进一步地，所述基于PCK指标的非极大抑制算法即使用PCK距离作为两个人体框的相似度量，当确认一个人体框被保留时，删除PCK距离大于设定阈值的其他人体框。
[0018]进一步地，所述关键点预测模块与所述关键点筛选模块采用相同的网络结构，由三层卷积核为3x3的转置卷积组成，所述关键点预测模块最终对每个关键点生成一张热力图，所述关键点筛选模块对生成的每个关键点的特征图通过全连接层得到每个关键点存在的二分类概率。
[0019]进一步地，所述行人重识别模块采用姿态估计网络HRNet作为骨干网络来进行特征提取获得每个人的特征图，每次对现有姿态轨迹和当前帧的姿态关联，对于丢失的轨迹进行保存；对于未能成功匹配的姿态，使用所述行人重识别模块与已丢失的行人轨迹进行对比，若对比成功，则将新的姿态与丢失的姿态轨迹合并，若对比失败，则生成新的轨迹；
[0020]在训练阶段，设置每个具有相同标签的人为一个类别，获得每个人的特征图后，将其接入分类网络进行分类，使用多分类交叉熵作为其损失函数；
[0021]在姿态跟踪过程中，提取每个人的特征图和已丢失的行人进行特征匹配，使用L1距离即哈密顿距离来比较两个人的距离，当距离小于阈值时，认为是同一个人。
[0022]进一步地，所述关键点预测模块输出的热力图还将通过二阶高斯滤波对热力图进行平滑。
[0023]进一步地，所述步骤S3为对模型进行分开训练，具体为：
[0024]S3
‑
1：目标检测模块采用HTC检测器，在PoseTrack 2018验证集上mAP达到0.346，目标检测模块仅在COCO 2017数据集上训练，不在PoseTrack 2018数据集上微调；
[0025]S3
‑
2：姿态估计与关键点筛选模块在COCO2017上进行训练，将训练好的模型在PoseTrack 2018数据集上微调，由于只有关键点被注释，通过将其所有关键点的边界框延长20％的长度以获得一个人实例的基本真值框，通过在高度或宽度上延伸边界框，人体边界框被制成固定的纵横比；
[0026]在姿态估计与关键点筛选模块的训练中，对姿态进行数据增强，包括随机缩放、随机旋转和随机翻转，采用adam作为优化器；
[0027]S3
‑
3：行人重识别模块则是将PoseTrack 2018数据集将同一个标签的行人从原图中裁剪出来，构成新的数据集，使用经过PoseTrack 2018数据集预训练的HRNet网络作为骨干网络，训练时将HRNet网络输出的特征图通过全连接层分类，验证时候只使用HRNet网络输出的特征图，不再通过全连接层。
[0028]本专利技术的有益效果在于：本专利技术在现有的基于自顶向下的多人姿态估计方法的基础上，在现有的姿态估计网络上加上通用型关键点筛选网络，提高模型的精度的同时，降低
关键点阈值对跟踪精度造成的影响。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
[0030]图1是本专利技术的网络流程图；
[0031]图2是本专利技术的姿态估计与关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点筛选的姿态跟踪方法，其特征在于，包括以下步骤：S1：构建数据集；S1
‑
1：采用COCO 2017数据集进行检测和姿态估计，PoseTrack 2018数据集进行姿态估计与跟踪；S1
‑
2：在PoseTrack 2018数据集的基础上，构建行人重识别数据集，裁剪PoseTrack 2018数据集中的所有人体框，保存为图片，对同一视频中具有id的人体框给予相同的标签，最终生成包含4613个标签，共计119656个图片的行人重识别数据集；S2：构建基于自顶向下框架和通用型关键点筛选网络的多人姿态跟踪模型；S3：模型训练；S4：将待测视频输入模型，得到检测结果。2.根据权利要求1所述的一种基于关键点筛选的姿态跟踪方法，其特征在于，所述多人姿态跟踪模型包括目标检测模块、姿态估计与关键点筛选模块、匹配模块以及行人重识别模块，其中，所述目标检测模块是基于多任务多阶段的混合级联结构模型即HTC模型，HTC模型的骨干网络使用101层的ResNeXt网络，并采用特征图金字塔网络即FPN网络、基于PCK指标的非极大抑制算法；所述姿态估计与关键点筛选模块，采用通用型姿态估计网络，分别通过关键点预测模块和关键点筛选模块，得到每个关键点的热力图和存在概率，最终获得人体姿态；所述匹配模块将当前帧的人体姿态与现有的人体姿态轨迹进行数据关联，采用基于边界框的交并比距离的匈牙利算法进行关联；对于丢失轨迹的人体，将其加入到所述行人重识别模块中；当出现新增的人体时，使用所述行人重识别模块找回丢失的人体轨迹。3.根据权利要求2所述的一种基于关键点筛选的姿态跟踪方法，其特征在于，所述基于PCK指标的非极大抑制算法即使用PCK距离作为两个人体框的相似度量，当确认一个人体框被保留时，删除PCK距离大于设定阈值的其他人体框。4.根据权利要求2所述的一种基于关键点筛选的姿态跟踪方法，其特征在于，所述关键点预测模块与所述关键点筛选模块采用相同的网络结构，由三层卷积核为3x3的转置卷积组成，所述关键点预测模块最终对每个关键点生成一张热力图，所述关键点筛选模块对生成的每个关键点的特征图通过全连接层得到每个关键点存在的二分类概率。5.根据...

【专利技术属性】
技术研发人员：刘庆杰，左文航，王蕴红，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：