基于自顶向下框架的在线多人姿态估计与跟踪方法技术

本发明专利技术公开了一种基于自顶向下框架的在线多人姿态估计与跟踪方法，实现视频中实时人体姿态估计与在线多人姿态跟踪。首先通过单阶段目标检测网络提取人体提议框，并结合特征金字塔结构加入深度可分离卷积，改善模型提取小目标人体提议框的精度与模型实时性；然后，将人体提议框送入姿态估计网络进行关节点检测，按照人体关节点检测的不同难易程度，结合上下文语义信息与在线难例挖掘算法完成困难关节点检测；最后，将人体姿态信息送入姿态跟踪网络中，基于ORB角点检测与匹配算法计算帧间姿态距离，构建并优化姿态流，完成实时多人姿态跟踪。经试验验证，该方法能够实时、准确地完成多人姿态估计与姿态跟踪，多目标跟踪准确度(MOTA)指标为59.1％，姿态跟踪帧率达到28帧/秒。

【技术实现步骤摘要】
基于自顶向下框架的在线多人姿态估计与跟踪方法
本专利技术涉及图像处理与模式识别领域，特别是一种基于自顶向下框架的在线多人姿态估计与跟踪方法。
技术介绍
近年来，在单人姿态估计方法基础上，室外多人姿态估计，作为人体行为识别、步态识别、行人重识别等课题的研究基础，逐渐成为当前的研究热点，广泛应用于人机交互、无人驾驶、临床医学、体感游戏设计、智能安防监控等领域。人体关节点跟踪作为一个新兴的研究领域，其目的是为视频帧中多人姿态的每个关节点分配唯一实例ID的任务。准确估计人体关节点轨迹，完成姿态跟踪对于上述课题研究非常重要。姿态估计与跟踪常用的算法是基于自顶向下框架，首先通过目标检测器获取边界框信息，然后通过姿态估计方法对每个检测框单独进行关节点检测，具有准确率高的优点。其PoseTrack挑战赛数据集中，多目标跟踪精度(MOTA)指标对模型性能要求更为严格。目前，传统姿态估计与跟踪方法中，基于自顶向下的姿态估计方法中单人姿态估计网络准确率严重依赖目标检测结果，即受到了目标检测任务的制约；室外多人姿态估计仍面临着如场景复杂、拥挤产生的肢体本文档来自技高网...

【技术保护点】
1.一种基于自顶向下框架的在线多人姿态估计与跟踪方法，其特征在于，包括如下步骤：/n步骤1、图像预处理阶段：构建数据集；/n步骤2、基于单阶段目标检测模型的人体提议框提取阶段：基于单阶段目标检测模型，结合特征金字塔原理实现小目标检测，并加入深度可分离卷积。/n步骤3、基于自顶向下框架的人体姿态估计阶段：构建基于对称空间变换网络的姿态估计模型，结合上下文语义信息与在线难例挖掘算法，识别困难关节点；/n步骤4、基于多目标跟踪中相关性分析方法的多人姿态跟踪阶段：基于ORB角点检测与匹配算法计算帧间姿态距离，计算相邻帧中的边界框之间的相似性，构建并优化姿态流。/n

【技术特征摘要】
1.一种基于自顶向下框架的在线多人姿态估计与跟踪方法，其特征在于，包括如下步骤：
步骤1、图像预处理阶段：构建数据集；
步骤2、基于单阶段目标检测模型的人体提议框提取阶段：基于单阶段目标检测模型，结合特征金字塔原理实现小目标检测，并加入深度可分离卷积。
步骤3、基于自顶向下框架的人体姿态估计阶段：构建基于对称空间变换网络的姿态估计模型，结合上下文语义信息与在线难例挖掘算法，识别困难关节点；
步骤4、基于多目标跟踪中相关性分析方法的多人姿态跟踪阶段：基于ORB角点检测与匹配算法计算帧间姿态距离，计算相邻帧中的边界框之间的相似性，构建并优化姿态流。


2.根据权利要求1所述基于自顶向下框架的多人姿态估计与跟踪方法，其特征在于，所述步骤1包括如下步骤：
步骤101、人为收集多人姿态的图像；
步骤102、利用算法进行数据集扩增；
步骤103、采用软标注软件生成适合的数据集格式。


3.根据权利要求1或2所述基于自顶向下框架的多人姿态估计与跟踪方法，其特征在于，所述步骤2包括如下步骤：
步骤201、构建基于Darknet-53网络的目标检测模型主干网络，加入跳远连接设计，构建更深的网络层数保证检测精度；
步骤202、检测器在特征融合过程中借鉴FPN网络的多特征融合方式，即...

【专利技术属性】
技术研发人员：王鹏，张云绚，李晓艳，许韫韬，邸若海，郭嘉，符惠桐，闫芬婷，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：陕西;61