一种基于热图梯度约束的人体姿态估计方法技术

本发明专利技术公开了一种引入热图梯度约束的人体姿态估计方法，其步骤包括：1、对人体姿态估计数据库基于自上而下的任务范式进行预处理；2、构建基于热图回归的人体姿态估计网络模型；3、使用引入热图梯度约束的损失函数训练构建的网络模型；4、利用训练好的模型对待测人体图像进行预测，实现人体姿态估计。本发明专利技术能让模型注重预测热图的形状约束，从而有效地提升困难样本上的预测准确度，最后实现精确的人体姿态估计。态估计。态估计。

【技术实现步骤摘要】
一种基于热图梯度约束的人体姿态估计方法


[0001]本专利技术涉及计算机视觉
，具体而言是一种引入热图梯度约束的人体姿态估计方法。

技术介绍

[0002]人体姿态估计是计算机视觉领域中的一个重要课题，在智能安防、自动驾驶、智能家居金和动画建模等领域有着广泛的应用。该课题旨在预测一张图片中所有人体的关键点的坐标，例如手腕、脖子等。
[0003]根据训练时标注数据的表征形式不同，人体姿态估计算法主要分为两大类：基于坐标回归的方法和基于热图回归的算法。基于坐标回归的方法让人体姿态估计网络直接输出关键点坐标，这种方法的优点是可以从图片到关键点坐标端到端地反向传播，缺点是人体姿态估计网络需要拟合高度非线性的目标函数，并且关键点坐标提供的空间信息过于稀疏，使得人体姿态估计网络的训练难度大大增加，因此最终的预测效果较差。
[0004]基于热图回归的方法首先将标注的关键点坐标构建成高斯分布热图，让人体姿态估计网络以构建的高斯分布目标热图为预测目标，并在最终使用时从预测的热图中通过解码方法得到最终的预测坐标。这种方法相较于基于坐标回归的方法，降低了目标函数的非线性度，并且高斯分布目标热图为训练过程提供了更多的监督信息，因此获得更好的效果，成为了人体姿态估计的主流方法。
[0005]虽然基于热图回归的方法的已经取得较高的预测效果，但是目前基于热图回归的方法采用的均方误差损失函数这一训练目标，与最终从预测热图中解码出的预测坐标的准确率这一任务目标，这两者之间仍然存在不对齐的问题。具体而言，目前基于热图回归的方法在训练中会出现损失函数下降的同时，预测坐标的准确率反而下降的问题。该问题的原因在于，从热图中解码出的预测坐标的准确率这一任务目标，只需要预测热图的最大值点，也即热图中的高斯分布的均值，接近真实的关键点坐标。然而目前基于热图回归的方法在构建高斯分布目标热图时，不必要地固定了高斯分布的最大值。这导致对于一些困难样本，例如遮挡的关键点、膝盖等关键点，预测热图的置信度比较低，与目标热图的均方误差会很大。为了降低均方误差，这些样本的预测热图会在真实关键点坐标的四周产生其他峰值，从而导致最终的预测坐标的准确率下降。

技术实现思路

[0006]本专利技术为克服现有技术的不足之处，提出一种引入热图梯度约束的人体姿态估计方法，以期能预测出更有利于解码时精度恢复过程的热图，从而能提高人体姿态估计的预测精度。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于热图梯度约束的人体姿态估计方法的特点是按如下步骤进行：
[0009]步骤1、对人体姿态估计数据库进行数据预处理：
[0010]所述人体姿态估计数据库中任意第A个样本是由一张原始图片I
A
、一个人体框bbox
A
和一组人体关键点μ
A
组成；所述样本A的一组人体关键点坐标μ
A
包含K个坐标，记为其中，表示第i个人体关键点的坐标，K表示人体关键点数；
[0011]使用样本A的人体框bbox
A
对原始图片I
A
进行裁剪，并缩放到指定尺寸后得到输入图片I
′
A
，并将原始图片I
A
上的人体关键点坐标μ
A
转换到输入图片I
′
A
上的人体关键点坐标μ
′
A
；由{I
′
A
,μ
′
A
}构成样本A预处理后的一组人体姿态数据，从而得到包含N个样本的预处理后的人体姿态数据库D
p
；
[0012]步骤2、基于HRNet网络构建基于热图回归的人体姿态估计网络F
p
：
[0013]所述HRNet网络包括：输入层、B个特征提取与融合阶段和输出层；其中，所述输入层包括：卷积层、批标准化层、ReLU激活函数；B个特征提取与融合阶段由B个特征提取模块和B个融合模块构成，每个特征提取模块由卷积层、批标准化层、ReLU激活函数和残差连接组成，每个融合模块由卷积层、批标准化层和ReLU激活函数组成；所述输出层包括：反卷积层、卷积层、批标准化层和ReLU激活函数；
[0014]使用高斯分布对所述HRNet网络中所有卷积层、反卷积层和批标准化层进行权值初始化；
[0015]步骤3、使用引入热图梯度约束的损失函数训练人体姿态估计网络F
p
：
[0016]步骤3.1、根据所述人体姿态数据库D
p
中样本A的人体姿态数据{I
′
A
,μ
′
A
}中的人体关键点坐标μ
′
A
生成样本A的目标热图和目标热图梯度图其中，表示样本A的第i个人体关键点的目标热图，表示样本A的第i个人体关键点的目标热梯度图；
[0017]步骤3.1.1、利用式(1)生成样本A的第i个人体关键点的目标热图上坐标为(x,y)的像素值从而得到样本A的第i个人体关键点的目标热图最终得到样本A的K个人体关键点的目标热图
[0018][0019]式(1)中，和表示预处理后的第i个人体关键点坐标μ
i
′
A
的x轴值和y轴值，σ一个是固定的超参数，X和Y分别表示目标热图的尺寸；
[0020]步骤3.1.2、利用式(2)生成样本A的第i个人体关键点的目标热图梯度上坐标为(x,y)的像素值从而得到样本A的第i个人体关键点的目标热图梯度图最终得到样本A的K个人体关键点的目标热图梯度图
[0021][0022]式(2)中，和表示第i个关键点在x轴和y轴方向的目标热图梯度图在坐标(x,y)的像素值；表示样本A的第i个人体关键点的目标热图上坐标
为(x+1,y)的像素值，表示样本A的第i个人体关键点的目标热图上坐标为(x,y+1)的像素值；
[0023]步骤3.2、将所述人体姿态数据库D
p
中样本A的人体姿态数据{I
′
A
,μ
′
A
}中的I
′
A
输入到人体姿态估计网络F
p
中，得到样本A的预测热图中，得到样本A的预测热图表示样本A的第i个人体关键点的预测热图；
[0024]利用式(3)生成样本A的第i个人体关键点的的预测热图梯度图上坐标为(x,y)的像素值从而得到样本A的第i个人体关键点的预测热图梯度图最终得到样本A的K个人体关键点的预测热图梯度图
[0025][0026]式(3)中，和表示第i个关键点在x轴和y轴方向的预测热图梯度图在坐标(x,y)的像素值；表示样本A的第i个人体关键点的预测热图上坐标(x+1,y)的像素值，表示样本A的第i个关键点的预测热图上坐标(x,y)的像素值，表示样本A的第i个人体关键点的预测热图上坐标(x,y+1)的像素值；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于热图梯度约束的人体姿态估计方法，其特征是按如下步骤进行：步骤1、对人体姿态估计数据库进行数据预处理：所述人体姿态估计数据库中任意第A个样本是由一张原始图片I
A
、一个人体框bbox
A
和一组人体关键点μ
A
组成；所述样本A的一组人体关键点坐标μ
A
包含K个坐标，记为其中，表示第i个人体关键点的坐标，K表示人体关键点数；使用样本A的人体框bbox
A
对原始图片I
A
进行裁剪，并缩放到指定尺寸后得到输入图片I
′
A
，并将原始图片I
A
上的人体关键点坐标μ
A
转换到输入图片I
′
A
上的人体关键点坐标μ
′
A
；由{I
′
A
,μ
′
A
}构成样本A预处理后的一组人体姿态数据，从而得到包含N个样本的预处理后的人体姿态数据库D
p
；步骤2、基于HRNet网络构建基于热图回归的人体姿态估计网络F
p
：所述HRNet网络包括：输入层、B个特征提取与融合阶段和输出层；其中，所述输入层包括：卷积层、批标准化层、ReLU激活函数；B个特征提取与融合阶段由B个特征提取模块和B个融合模块构成，每个特征提取模块由卷积层、批标准化层、ReLU激活函数和残差连接组成，每个融合模块由卷积层、批标准化层和ReLU激活函数组成；所述输出层包括：反卷积层、卷积层、批标准化层和ReLU激活函数；使用高斯分布对所述HRNet网络中所有卷积层、反卷积层和批标准化层进行权值初始化；步骤3、使用引入热图梯度约束的损失函数训练人体姿态估计网络F
p
：步骤3.1、根据所述人体姿态数据库D
p
中样本A的人体姿态数据{I
′
A
,μ
′
A
}中的人体关键点坐标μ
′
A
生成样本A的目标热图和目标热图梯度图其中，表示样本A的第i个人体关键点的目标热图，表示样本A的第i个人体关键点的目标热梯度图；步骤3.1.1、利用式(1)生成样本A的第i个人体关键点的目标热图上坐标为(x,y)的像素值从而得到样本A的第i个人体关键点的目标热图最终得到样本A的K个人体关键点的目标热图人体关键点的目标热图式(1)中，和表示预处理后的第i个人体关键点坐标μ
i
′
A
的x轴值和y轴值，σ一个是固定的超参数，X和Y分别表示目标热图的尺寸；步骤3.1.2、利用式(2)生成样本A的第i个人体关键点的目标热图梯度上坐标为(x,y)的像素值从而得到样本A的第i个人体关键点的目标热图梯度图最终得到样本A的K个人体关键点的目标热图梯度图样本A的K个人体关键点的目标热图梯度图式(2)中，和表示第i个关键点在x轴和y轴方向的目标热图梯度图在坐
标(x,y)的像素值；表示样本A的第i个人体关键点的目标热图上坐标为(x+1,y)的像素值，表示样本A的第i个人体关键点的目标热图上坐标为(x,y+1)的像素值；步骤3.2、将所述人体姿态数据库D
p
中样本A的人体姿态数据{I
′
A
,μ
′
A
}中的I
′
A
输入到人体姿态估计网络F
p
中，得到样本A的预测热图中，得...

【专利技术属性】
技术研发人员：王上飞，方林，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：