一种3D人体姿态空间特征建模方法技术

本发明专利技术提供了一种3D人体姿态空间特征建模方法，包括：检测并生成每个人体关节的二维坐标，生成2D骨架；对形成了多个Origin‑based Parts的2D骨架加入空间位置编码，再将处理后的数据输入STE，捕捉整个2D骨架的全局空间特征；实现对每个Origin‑based Part的局部空间特征建模；将全局空间特征与局部空间特征进行融合生成空间特征；为空间特征加入时间位置编码，通过自注意力机制，捕捉各关节点在时间维度上的依赖关系；经过回归模块，将时空特征转换为关节点的三维坐标，生成3D人体姿态估计结果。本发明专利技术实现了基于Transformer的3D人体姿态空间特征建模。

【技术实现步骤摘要】

本专利技术属于计算机视觉中的3d人体姿态估计领域，具体而言，涉及一种3d人体姿态空间特征建模方法。

技术介绍

1、人体姿态估计(hpe)是计算机视觉领域的一个重要且具有挑战性的任务，对action recognition、virtual reality、human-robot interaction等众多应用领域具有重要意义。hpe的目的是从输入的图像或视频，预测出每个人体关节的位置。按照预测得到的关节是否包含深度信息，人体姿态估计可以分为2d人体姿态估计(2d hpe)和3d人体姿态估计(3d hpe)。随着深度学习技术的发展，2d hpe领域目前已经发展得较为成熟。2d检测器的精度和泛化性都达到了先进水平，但是模型输出的只包含受限的2维信息。相比之下，3dhpe虽然面临着更多挑战，但是深度信息的加入使其能够为人体pose提供更加丰富的3d空间信息，对人体的动作和交互有着更好的理解。因此，将发展成熟的2d检测器运用到3d hpe任务中的2d-to-3d方法，已经成为一类典型的单目解决方案。

2、由于单目数据存在深度歧义问题，多个潜在的3d姿态本文档来自技高网...

【技术保护点】

1.一种3D人体姿态空间特征建模方法，其特征在于，所述方法包括如下步骤：步骤一：采用一个预训练的2D人体姿态检测器对输入的图像或视频帧进行处理，检测并生成每个人体关节的二维坐标，生成2D骨架；步骤二：将2D骨架划分为几个主要的部分，包括右腿、左腿、头部、右臂和左臂；步骤三：将每个部位的关节点与骨架原点结合，形成多个Origin-based Parts；步骤四：对形成了多个Origin-based Parts的2D骨架加入空间位置编码，该编码能够表示各关节点在空间中的相对位置；将处理后的数据输入Spatial TransformerEncoder（STE），捕捉整个2D骨架的全局空间特征；...

【技术特征摘要】

1.一种3d人体姿态空间特征建模方法，其特征在于，所述方法包括如下步骤：步骤一：采用一个预训练的2d人体姿态检测器对输入的图像或视频帧进行处理，检测并生成每个人体关节的二维坐标，生成2d骨架；步骤二：将2d骨架划分为几个主要的部分，包括右腿、左腿、头部、右臂和左臂；步骤三：将每个部位的关节点与骨架原点结合，形成多个origin-based parts；步骤四：对形成了多个origin-based parts的2d骨架加入空间位置编码，该编码能够表示各关节点在空间中的相对位置；将处理后的数据输入spatial transformerencoder（ste），捕捉整个2d骨架的全局空间特征；步骤五：利用ste，以每个origin-basedpart为单位，通过自注意力机制提取关节内部的空间依赖特征，实现对每个origin-basedpart的局部空间特征建模；将全局空间特征与局部空间特征进行融合，生成一个包含全面信息的空间特征；步骤六：为空间特征加入时间位置编码(temporal positionalencoding)，表示每个关节点在多个时间帧之间的运动轨迹；通过自注意力机制，捕捉各关节点在时间维度上的依赖关系；经过回归模块，将时空特征转换为关节点的三维坐标，生成3d人体姿态估计结果。

2.根据权利要求1所述的一种3d人体姿态空间特征...

【专利技术属性】
技术研发人员：林志洁，姚金鑫，王浩麟，吴吉义，周礼洁，潘玥，平升阳，泮宇鑫，李颖，陈萍，黄祥岳，邢锦琦，孙以恒，华浩天，赵科竣，应卫东，朱峰玙，王胤凯，汪文玥，李秉航，
申请(专利权)人：浙江科技大学，
类型：发明
国别省市：