一种基于自底向上的多人姿态估计方法及系统技术方案

本发明专利技术提供一种基于自底向上的多人姿态估计方法及系统，所述方法包括：步骤1、生成关节所属个体的热图标签；步骤2、修改深度卷积神经网络的预测输出规模；步骤3、采用训练后的深度卷积神经网络对待测图像计算，得到所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，并计算得到多人的完整姿态。本发明专利技术通过获取所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，得到多人姿态估计，估计过程无需复杂的匹配计算，提高输出精度和效率。

【技术实现步骤摘要】
一种基于自底向上的多人姿态估计方法及系统
本专利技术涉及人体姿态估计领域，尤其涉及一种基于自底向上的多人姿态估计方法及系统。
技术介绍
人体姿态估计是进一步理解人体行为的关键步骤，通过一张RBG图像进行有效预测人体关节点，进而实现更高级别的计算机视觉任务，对行为识别、异常检测及人体模型重构等具有重要的意义。尽管对于人体姿态估计的研究众多，但现有的多人姿态估计技术还远不够成熟，尤其是在运行速度上，尽管当前为了提升运行速度，产生了许多轻量级的网络，但精度却不佳。而自顶向下的方法虽然精度较高，但检测速度很容易受到图片中人数的影响；自底向上的方法虽然可以一次预测出所有的关节点位置，解决了人数影响的问题，但将多个候选关节对应到每一个人的推理部分占据了较多时间，还可能因解析错误导致错误匹配。综上所述，人体姿态估计的精度仍有提升的空间。在网络结构设计方面，X.Zhou等人在论文“ObjectsasPoints”中提出了一种将人看作一个目标的方式，即找到每一个人体目标的中心点，再通过回归的方式直接计算出所有关节的位置。该方法虽然直接去除了后处理部分，加本文档来自技高网...

【技术保护点】
1.一种基于自底向上的多人姿态估计方法，其特征在于：包括：/n步骤1、生成关节所属个体的热图标签；/n步骤2、修改深度卷积神经网络的预测输出规模；/n步骤3、采用训练后的深度卷积神经网络对待测图像计算，得到所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，并计算得到多人的完整姿态。/n

【技术特征摘要】
1.一种基于自底向上的多人姿态估计方法，其特征在于：包括：
步骤1、生成关节所属个体的热图标签；
步骤2、修改深度卷积神经网络的预测输出规模；
步骤3、采用训练后的深度卷积神经网络对待测图像计算，得到所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，并计算得到多人的完整姿态。


2.根据权利要求1所述的一种基于自底向上的多人姿态估计方法，其特征在于：所述步骤1进一步具体为：
步骤11、首先生成一张64×64大小的人体中心点热图标签，定义第i个人的第j个关节为人体中心，令Cj(p)为该人体中心点在热图的位置p产生的置信分数，且当距离大于指定阈值时，该位置置信分数设置为0，用C来表示人体中心点地面真值热图，同时记录下第i个人体中心点在热图位置p，置信分数不为0的坐标x和y，记为Cipxy，所述置信分数的计算公式如下：



其中，σ为人为设置的参数；
步骤12、采用所述置信分数的计算公式对所需预测的人体关节生成热图标签，定义J＝{J1，J2，......,Jj}j＝{1，2，...,k}为生成的关节热图，k为预测的人体关节种类数，得到规模为k×64×64的关节热图，同时记录下第i个人体的第j个关节在热图位置p，置信分数不为0的坐标x和y，记为
步骤13、对第j个关节，生成一个规模为2×64×64的关节对应中心编码标签，第一个64×64大小的标签对应的是关节所属的人体中心在热图中x的坐标编码，第二个64×64大小的标签对应的是关节所属的人体中心在热图中y的坐标编码；
步骤14、对步骤13循环k次操作，得到k个规模为2×64×64的关节对应中心编码标签；
步骤15、对步骤12和步骤14的标签按对应关节类别进行整合，每种关节热图和该关节的所属编码合并到一起，形成一个3×64×64大小，最终所有关节得到一个规模为3*k×64×64的标签。


3.根据权利要求2所述的一种基于自底向上的多人姿态估计方法，其特征在于：所述步骤13中的坐标编码的获取方式如下：
将步骤12中获得的第i个人的第j个关节位置在标签中对应的位置，放入该关节所属人体中心热图位置Cipxy中的x的值，并对该值进行归一化，得到x的坐标编码为x/64；
将步骤12中获得的第i个人的第j个关节位置在标签中对应的位置，放入该关节所属人体中心热图位置Cipxy中的y的值，并对该值进行归一化，得到y的坐标编码为y/64。


4.根据权利要求1所述的一种基于自底向上的多人姿态估计方法，其特征在于：所述步骤2进一步包括：
步骤21、将所采用的深度卷积神经网络的输出部分调整为两个分支，一个分支预测人体中心热图，另一个分支预测人体关节点信息，人体关节点信息包含关节热图和关节所属中心编码，根据步骤11的标签，对第一个分支通过卷积输出的规模设置为64×64大小；
步骤22、根据步骤15的标签，对第二个分支通过卷积操作输出的规模设置为3*k×64×64大小。


5.根据权利要求1所述的一种基于自底向上的多人姿态估计方法，其特征在于：所述步骤3进一步包括：
步骤31、读取单张多人的RGB图像，重置图像大小至网络输入大小。
步骤32、将调整后的图片放入训练后的深度卷积神经网络中，获取到两个输出，包括人体中心热图和人体关节点信息；
步骤33、对获取到的人体关节信息，找到其中第j种关节的关节热图，采用非极大值抑制算法查找每个关节点最大像素值位置，选择具有最大峰值的像素位置作为关节点位置的中心，假定该关节中心位置在预测关节热图上为Gpxy；
步骤34、对位置Gpxy直接取后面两个通道同样位置的值，包括该关节所属人体中心在热图上x和y的坐标，将取到的x和y值乘上设定的热图大小，得到人体中心热图的位置，记为Qpxy；
步骤35、在人体中心热图查看位置Qpxy，如果存在该中心，且落在置信度高于设定值，说明该关节就所属于这个人体，完成该关节到人体的匹配；
步骤36、循环步骤33到步骤35，直到所有关节都完成对应中心的匹配，形成最终的人体骨架...

【专利技术属性】
技术研发人员：骆炎民，万添俊，林躬耕，
申请(专利权)人：华侨大学，福建省公田软件股份有限公司，
类型：发明
国别省市：福建;35