基于GCN和Transformer的特征融合3D人体姿态估计方法技术

本发明专利技术公开了基于GCN和Transformer的特征融合3D人体姿态估计方法，包括：将带置信度的2D姿态关键点输入经过训练的姿态估计模型中，输出对应的预测3D人体姿态关键点；姿态估计模型的处理步骤如下：将2D姿态关键点映射到高维；通过多个层级的特征层依次对高维特征进行特征提取，得到对应的时空特征；通过依次连接的空间Transformer和时间Transformer提取全局姿态特征；通过依次连接的GCN块和多尺度Transformer提取局部姿态特征；通过层级特征融合层将各个层级特征层对应的时空特征进行特征融合，生成对应的总体特征；通过回归头对总体特征进行处理，生成对应的预测3D人体姿态关键点。本发明专利技术通过GCN来弥补Transformer在人体姿态的空间特征提取上表现不佳的问题，从而提高3D人体姿态估计的准确性。

【技术实现步骤摘要】

本专利技术涉及大数据及互联网，具体涉及基于gcn和transformer的特征融合3d人体姿态估计方法。

技术介绍

1、3d人体姿态估计需要大量的数据来训练和优化模型，这些数据通常包括人体在不同姿态下的图像或视频。因此大数据集能够提供丰富的样本，使得模型能够学习到更多关于人体姿态的特征，从而提高估计的准确性和鲁棒性。此外大数据还可以用于分析人体姿态的变化规律，为姿态估计提供更深入的理解。互联网为大数据的获取和共享提供了便利。通过互联网可以轻松地收集到来自全球各地的数据资源，这些数据涵盖不同的人群、场景和姿态，为3d人体姿态估计提供更为全面的数据支持。

2、3d人体姿态估计旨在从2d的图片或视频中估计出人体的3d姿态关键点，这项技术被广泛应用于生物医疗、体育运动、人机交互等领域，是计算机视觉领域的研究热点之一。由于标准相机的普遍使用，现有的图片视频资料主要以rgb格式保存。原始图像中深度信息的缺失，使得现有的方法难以准确地估计出人体的3d姿态。因此，3d人体姿态估计的主要挑战之一就是将从图片中估计得到的2d姿态序列升维到3d空间。

3本文档来自技高网...

【技术保护点】

1.基于GCN和Transformer的特征融合3D人体姿态估计方法，其特征在于，包括：

2.如权利要求1所述的基于GCN和Transformer的特征融合3D人体姿态估计方法，其特征在于：步骤S202中，空间Transformer和时间Transformer均包括依次首尾连接的第一个层归一化层、注意力网络层、第二个层归一化层和多层感知机；

3.如权利要求2所述的基于GCN和Transformer的特征融合3D人体姿态估计方法，其特征在于：

4.如权利要求1所述的基于GCN和Transformer的特征融合3D人体姿态估计方法，其特征在于：步骤S202...

【技术特征摘要】

1.基于gcn和transformer的特征融合3d人体姿态估计方法，其特征在于，包括：

2.如权利要求1所述的基于gcn和transformer的特征融合3d人体姿态估计方法，其特征在于：步骤s202中，空间transformer和时间transformer均包括依次首尾连接的第一个层归一化层、注意力网络层、第二个层归一化层和多层感知机；

3.如权利要求2所述的基于gcn和transformer的特征融合3d人体姿态估计方法，其特征在于：

4.如权利要求1所述的基于gcn和transformer的特征融合3d人体姿态估计方法，其特征在于：步骤s202中，gcn块包括依次首尾连接的第一个层归一化层、gcn网络层、第二个层归一化层和多层感知机；

5.如权利要求4所述的基于gcn和transformer的特征融合3d人体姿态估计方法，其特征在于：gcn块的特征提取公式如下：

6.如权利要求1所述的基于gcn和transf...

【专利技术属性】
技术研发人员：仲元红，杨光夏，钟代笛，黄智勇，韩术，罗玲，赵宇，
申请(专利权)人：重庆大学，
类型：发明
国别省市：