一种人体姿态估计模型及基于其的人体姿态估计方法技术

本发明专利技术提出一种人体姿态估计模型及基于其的人体姿态估计方法，人体姿态估计模型由卷积神经网络和并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络构成；卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为人体区域分割网络、人体关节定位网络和人体肢干定位网络的输入；人体区域分割网络用于区分人体区域和背景区域，人体关节定位网络用于定位人体的25个关节，人体肢干定位网络用于定位两关节之间的23条肢干。本发明专利技术将人体区域分割网络与人体关节定位网络、人体肢干定位网络相结合，以三个网络损失函数的累加和作为整个估计模型的优化目标函数，从而无需对多次迭代得到的损失结果进行叠加处理。需对多次迭代得到的损失结果进行叠加处理。需对多次迭代得到的损失结果进行叠加处理。

【技术实现步骤摘要】
一种人体姿态估计模型及基于其的人体姿态估计方法


[0001]本专利技术涉及人体姿态识别
，尤其是一种人体姿态估计模型及基于其的人体姿态估计方法。

技术介绍

[0002]人体姿态估计(Human Pose Estimation)是计算机视觉领域中的重要研究方向之一，被广泛应用于人体活动分析、人机交互以及视频监视等方面。人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，例如肩、肘、腕、髋膝、膝、踝等关节部位。人体姿态估计具有极大的研究意义和实用价值，例如可以用于摔倒监测，可以用于健身、体育和舞蹈等项目教学。在机器人训练领域，人体姿态估计技术能够让机器人“学会”移动自己的关节；在常见的电影特效制作以及交互游戏中，人体姿态估计技术用来追踪人体运动，以实现虚拟人物与现实人物的动作同步与融合。

技术实现思路

[0003]面对人们对人体姿态估计需求的不断提升，本专利技术提出一种人体姿态估计模型及基于其的人体姿态估计方法，相比于现有人体姿态估计方法，能够快速准确地得到人体姿态估计结果图。
[0004]本专利技术保护一种人体姿态估计模型，由串联的两级网络构成，第一级网络为卷积神经网络，第二级网络为并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络。
[0005]所述卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为所述人体区域分割网络、所述人体关节定位网络和所述人体肢干定位网络的输入。
[0006]所述人体区域分割网络输出1份特征图，用于区分人体区域和背景区域，所述人体关节定位网络输出25份特征图，用于定位人体的25个关节，所述人体肢干定位网络输出23份特征图，用于定位两关节之间的23条肢干。
[0007]整个估计模型的优化目标函数为其中为训练过程中第s次迭代时人体区域分割网络的损失函数，为训练过程中第s次迭代时人体关节定位网络的损失函数，为训练过程中第s次迭代时人体肢干定位网络的损失函数，H(k)表示输入的二维人体图像中的像素点k为人体区域的概率，C
i
(k)表示人体第i个关节的特征图，B
m
(k)表示人体第m条肢干的特征图，H
s
(k)表示训练过程中第s次迭代时输入的二维人体图像中的像素点k为人体区域的概率，表示训练过程中第s次迭代时人体第i个关节的特征图，表示训练过程中第s次迭代时人体第m条肢干的特征图，i表示第i个关节点，m表示第m条肢干，I表示人体关节点总数量，M表示人体肢干总数量。
[0008]进一步的，在人体关节定位网络的训练过程中，特征图的目标输出为C
i
(k)＝max
j
C
i,j
(k)，其中表示训练样本图片中第j个人第i个关节的特征图，K表示像素点k的坐标位置，x
i,j
表示第j个人第i个关节的位置坐标。而在推理过程中，因为人数未知，因此直接计算各个关节的特征图。推理过程中，C
w
(k)表示第w个关节的特征图，代表的意义为即像素点k为关节的概率，K表示像素点k的坐标位置，x
w
表示第w个关节的位置坐标。显然，越靠近关节，该特征图的值越接近1，越远离关节，该特征图的值越接近0。
[0009]进一步的，在人体肢干定位网络中，其中v(k)是一个二维单位向量，表示第m条肢干的方向；α(k)是标量，表示像素点k属于肢干的置信度，0≤α(k)≤1。
[0010]本专利技术还保护一种人体姿态估计方法，包括以下步骤：
[0011]步骤1，向上述人体姿态估计模型中输入待处理的二维人体图像；
[0012]步骤2，卷积神经网络提取该二维人体图像中的人体姿态特征图，并分别输入人体区域分割网络、人体关节定位网络和人体肢干定位网络；
[0013]步骤3，人体区域分割网络输出该二维人体图像中的人体区域分割特征图，人体关节定位网络输出该二维人体图像中每个人所有关节的特征图，人体肢干定位网络输出该二维人体图像中每个人所有肢干的方向特征图和置信度特征图；
[0014]步骤4，人体区域分割特征图的概率值大于预设值P的像素点k则判定为人体区域，否则判定为非人体区域；人体关节定位网络分别取特征图概率值最大的前N个点作为每个关节点的N个备选点；人体肢干定位网络分别取置信度特征图概率值最大的前Q条肢干作为每条肢干的Q个备选范围；
[0015]步骤5，该二维人体图像中任意像素点k的人体区域分割特征图概率值分别与25个关节点特征图概率值相乘用于表征该像素点k既是人体区域又是某关节的概率，取各关节特征图乘积概率值前R的点，得到25*R个关节备选点；
[0016]步骤6，该二维人体图像中任意像素点k的人体区域分割特征图概率值分别与23条肢干置信度特征图概率值相乘用于表征该像素点k既是人体区域又是某肢干的概率，取各肢干特征图乘积概率值前U的点，得到23*U条肢干备选范围；
[0017]步骤7，比对关节备选点与肢干备选项，若关节备选点与肢干两端点的距离小于预设值，则该关节备选点为关节点，该肢干备选项为肢干，最终得到关节点、肢干及其坐标信息；
[0018]步骤8，根据得到的关节点和肢干识别结果，完成人体姿态估计，根据坐标信息绘制人体姿态估计结果图，显示并保存结果图。
[0019]本专利技术的有益效果：1、将人体区域分割网络与人体关节定位网络、人体肢干定位网络相结合，以三个网络损失函数的累加和作为整个估计模型的优化目标函数，从而无需对多次迭代得到的损失结果进行叠加处理；2、在人体肢干定位网络中增加置信度特征图的提取，相比于现有网络，能够从同样的输入图片中获取更多信息，提高识别的准确率；3、网
络后处理流程，可以在网络运行后，根据提取到的特征得到姿态估计结果，可以一定程度上降低模型运行次数。
附图说明
[0020]图1为人体姿态估计模型示意图；
[0021]图2为人体关键关节点及关键肢干示意图；
[0022]图3为输入图像示意图；
[0023]图4为模型输出的人体姿态估计结果图。
具体实施方式
[0024]下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本专利技术限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本专利技术的原理和实际应用，并且使本领域的普通技术人员能够理解本专利技术从而设计适于特定用途的带有各种修改的各种实施例。
[0025]实施例1
[0026]一种人体姿态估计模型，如图1所示，由串联的两级网络构成，第一级网络为卷积神经网络，第二级网络为并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络。图2为人体关键关节点及关键肢干示意图，图示中有25个关键关节点和23个关键肢干。
[0027]所述卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为所述人体区域分割网络、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体姿态估计模型，其特征在于，由串联的两级网络构成，第一级网络为卷积神经网络，第二级网络为并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络；所述卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为所述人体区域分割网络、所述人体关节定位网络和所述人体肢干定位网络的输入；所述人体区域分割网络输出1份特征图，用于区分人体区域和背景区域；所述人体关节定位网络输出25份特征图，用于定位人体的25个关节；所述人体肢干定位网络输出23份特征图，用于定位两关节之间的23条肢干；整个估计模型的优化目标函数为其中为训练过程中第s次迭代时人体区域分割网络的损失函数，为训练过程中第s次迭代时人体关节定位网络的损失函数，为训练过程中第s次迭代时人体肢干定位网络的损失函数，H(k)表示输入的二维人体图像中的像素点k为人体区域的概率，C
i
(k)表示人体第i个关节的特征图，B
m
(k)表示人体第m条肢干的特征图，H
s
(k)表示训练过程中第s次迭代时输入的二维人体图像中的像素点k为人体区域的概率，表示训练过程中第s次迭代时人体第i个关节的特征图，表示训练过程中第s次迭代时人体第m条肢干的特征图，i表示第i个关节点，m表示第m条肢干，I表示人体关节点总数量，M表示人体肢干总数量。2.根据权利要求1所述的人体姿态估计模型，其特征在于，在人体关节定位网络中，C
i
(k)＝max
j
C
i，j
(k)，其中表示第j个人第i个关节的特征图，K表示像素点k的坐标位置，x
i，j
表示第j个人第i个关节的位置坐标。3.根据权利要求2所述的人体姿态估计模型，其特征在于，...

【专利技术属性】
技术研发人员：毛晓琦，林广栋，黄光红，宋亮亮，刘振，
申请(专利权)人：安徽芯纪元科技有限公司，
类型：发明
国别省市：