本申请公开了一种人体姿态估计方法、装置、电子设备及可读存储介质。其中，方法包括将待处理图像输入至人体姿态估计组件，得到待处理图像所包含的各人体的初始姿态预估信息和各人体的每个关键点的偏移信息；人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块。人体姿态初步估计模型对待处理图像进行初始姿态估计，热力图引导的编码器基于其输入人体关键点特征信息和多个热力图生成关键点嵌入；基于图结构的细化模块根据关键点嵌入和人体结构生成人体的每个关键点的偏移信息。对待处理图像所包含的各人体，根据相应的初始姿态估计信息和各人体关键点的偏移信息可有高效且估计下一时刻的姿态信息。的姿态信息。的姿态信息。
【技术实现步骤摘要】
人体姿态估计方法、装置、电子设备及可读存储介质
[0001]本申请涉及计算机视觉
，特别是涉及一种人体姿态估计方法、装置、电子设备及可读存储介质。
技术介绍
[0002]随着计算机视觉技术的快速发展，2D人体姿态估计也即二维人体姿态估计作为最基本但也十分具有挑战性的计算机视觉任务，也得到了相应的快速发展。人体姿态估计为确定关键点的精确像素位置的技术，其为解决其他高级任务的基本工具，例如行为识别，姿态跟踪，行人重识别以及人机交互等。
[0003]近年来，由于CNN(Convolutional Neural Network，卷积神经网络)的强大的表达能力，基于CNN的二维姿态估计得到了巨大的发展。这些基于CNN的多人姿态估计方法可以分为Bottom
‑
up(也即自底向上)方法和Top
‑
down(自顶向下)方法。所谓采用Top
‑
down方法进行人体姿态估计是指：先通过目标检测得到图像中所有的人体实例，之后分别对每个人体实例进行人体姿态估计。现有技术通常基于热力图的CNN模型进行人体姿态估计，基于热力图的模型是将人体姿态估计问题转换为热力图估计问题，为每一个关键点生成一个热力图，热力图中的热力值表示关键点在该像素位置的概率。自顶向下的方法侧重于改进网络结构，以提高热力图回归的有效性，例如可通过增加几个deconvolutional layers(也即反卷积层)来提高输出特征图的分辨率，这是一个相当简单但是性能较好的方法。
[0004]而可以理解的是，关键点之间约束关系自然地形成了图结构，合理利用关键点之间的依赖关系有利于关键点定位。但是，CNN无法处理非欧几里得结构的数据，通俗理解就是在拓扑图中每个顶点得相邻顶点数目都可能不同，那么就无法用同样尺寸得卷积核来进行卷积运算。这导致基于CNN的模型，缺乏捕捉关键点之间的依赖关系的能力，难以处理图结构的数据。与基于卷积神经网络的模型相比，图卷积网络在处理人体姿态建模问题时，能够更加有效地捕捉关键点之间的依赖关系。基于图卷积网络的模型执行人体姿态估计任务，但是，图卷积网络以1D也即一维的关键点嵌入(keypoints embeddings)作为输入，关键点嵌入也即关键点的一维的特征表示。相关技术在生成关键点嵌入时，都是直接将2D特征拉平以获得1D的关键点嵌入，这将导致关键点嵌入的维度很大，例如2D特征的大小为64
×
48，拉平后变为3072，使得关键点嵌入包含了冗余的信息，若关键点嵌入包含较多的冗余信息，将会导致模型的参数量和计算成本提高很多，从而会导致最终的人体姿态估计效率和精准度均无法满足要求。
[0005]鉴于此，如何高效且精准地实现人体姿态估计，是所属领域技术人员需要解决的技术问题。
技术实现思路
[0006]本申请提供了一种人体姿态估计方法、装置、电子设备及可读存储介质，可有高效且精准地实现人体姿态估计。
[0007]为解决上述技术问题，本专利技术实施例提供以下技术方案：
[0008]本专利技术实施例一方面提供了一种人体姿态估计方法，包括：
[0009]预先构建人体姿态估计组件，所述人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块；
[0010]将待处理图像输入至所述人体姿态估计组件，得到所述待处理图像所包含人体的初始姿态预估信息和每个关键点的偏移信息；
[0011]对所述待处理图像所含人体，根据所述初始姿态估计信息和各关键点的偏移信息，确定下一时刻的姿态信息；
[0012]其中，所述人体姿态初步估计模型对所述待处理图像进行初始姿态估计，并输出人体关键点特征信息和多个热力图至所述热力图引导的编码器；所述热力图引导的编码器根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入；所述基于图结构的细化模块根据所述关键点嵌入和人体结构，生成人体的每个关键点的偏移信息。
[0013]可选的，所述根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入，包括：
[0014]对所述人体关键点特征信息进行转换，得到相应的空间特征；
[0015]对每幅热力图，分别按照预设值更新规则更新各热力图中热力值小于预设阈值的像素位置的值，得到相应目标热力图；
[0016]利用所述空间特征和各目标热力图，对人体各关键点特征进行编码；
[0017]通过将各目标热力图和所述空间特征，沿通道维度进行矩阵乘法实现以得到所述关键点嵌入。
[0018]可选的，所述按照预设值更新规则更新各热力图中热力值小于预设阈值的像素位置值，包括：
[0019]调用值设置关系式，更新各原始热力图中热力值小于预设阈值的像素位置的值；所述值设置关系式为：
[0020][0021]式中，threshold为所述预设阈值，H
ij
'为第i个关键点对应的目标热力图中j点像素位置的热力值，H
ij
为第i个关键点对应的原始热力图中j点像素位置的热力值。
[0022]可选的，所述利用所述空间特征和各目标热力图，对人体各关键点特征进行编码，包括：
[0023]调用编码关系式对人体各关键点特征进行编码；所述编码关系式为：
[0024][0025]式中，embdding∈R
K
×
C
，embedding为一个关键点的关键点嵌入，embeddings为所有关键点的关键点嵌入，||表示在通道维数上连接，h
j
'为目标热力图中j点像素位置的热力值，f
j
为所述空间特征上每个像素位置沿通道方向的特征向量，K为关键点总数，i表示第i
个关键点，C为所述关键点嵌入的维度，H*W表示所述空间特征的区域数，R为实数。
[0026]可选的，所述基于图结构的细化模块包括多个图卷积层和全连接层；
[0027]各图卷积层用于执行各关键点之间的消息传递，并更新所述关键点嵌入；
[0028]所述全连接层用于预测每个关键点的偏移量。
[0029]可选的，所述基于图结构的细化模块包括多个边卷积层。
[0030]本专利技术实施例另一方面提供了一种人体姿态估计装置，包括：
[0031]组件构建模块，用于预先构建人体姿态估计组件，所述人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块；
[0032]姿态估计模块，用于将待处理图像输入至所述人体姿态估计组件，得到所述待处理图像所包含人体的初始姿态预估信息和每个关键点的偏移信息；对所述待处理图像所含人体，根据所述初始姿态估计信息和各关键点的偏移信息，确定下一时刻的姿态信息；其中，所述人体姿态初步估计模型对所述待处理图像进行初始姿态估计，并输出人体关键点特征信息和多个热力图至所述热力图引导的编码器；所述热力图引导的编码器根据所述人体关键点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括：预先构建人体姿态估计组件，所述人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块；将待处理图像输入至所述人体姿态估计组件，得到所述待处理图像所包含人体的初始姿态预估信息和每个关键点的偏移信息；对所述待处理图像所含人体，根据所述初始姿态估计信息和各关键点的偏移信息，确定下一时刻的姿态信息；其中，所述人体姿态初步估计模型对所述待处理图像进行初始姿态估计，并输出人体关键点特征信息和多个热力图至所述热力图引导的编码器；所述热力图引导的编码器根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入；所述基于图结构的细化模块根据所述关键点嵌入和人体结构，生成人体的每个关键点的偏移信息。2.根据权利要求1所述的人体姿态估计方法，其特征在于，所述根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入，包括：对所述人体关键点特征信息进行转换，得到相应的空间特征；对每幅热力图，分别按照预设值更新规则更新各热力图中热力值小于预设阈值的像素位置的值，得到相应目标热力图；利用所述空间特征和各目标热力图，对人体各关键点特征进行编码；通过将各目标热力图和所述空间特征，沿通道维度进行矩阵乘法实现以得到所述关键点嵌入。3.根据权利要求2所述的人体姿态估计方法，其特征在于，所述按照预设值更新规则更新各热力图中热力值小于预设阈值的像素位置值，包括：调用值设置关系式，更新各原始热力图中热力值小于预设阈值的像素位置的值；所述值设置关系式为：式中，threshold为所述预设阈值，H
ij
'为第i个关键点对应的目标热力图中j点像素位置的热力值，H
ij
为第i个关键点对应的原始热力图中j点像素位置的热力值。4.根据权利要求2所述的人体姿态估计方法，其特征在于，所述利用所述空间特征和各目标热力图，对人体各关键点特征进行编码，包括：调用编码关系式对人体各关键点特征进行编码；所述编码关系式为：式中，embdding∈R
K
×
C
，embedding为一个关键点的关键点嵌入，embeddings为所有关键点的关键点嵌入，||表示在通道维数上连接，h
j
【专利技术属性】
技术研发人员：王晓茹，夏晗，王怡然，曲昭伟，张文韬，熊崧凯，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。