当前位置: 首页 > 专利查询>江南大学专利>正文

基于交替时空编码器的三维人体姿态估计方法及系统技术方案

技术编号:42842440 阅读:27 留言:0更新日期:2024-09-27 17:13
本发明专利技术涉及计算机视觉识别技术领域,特别是基于交替时空编码器的三维人体姿态估计方法及系统。设计了结合图卷积的空间编码器,通过图卷积网络和自注意力机制分别学习人体关节点的局部和全局特征,增强了捕捉关节点复杂空间关系的能力。设计了基于聚焦注意力的时序编码器,通过聚焦注意力机制在不同层次上进行自注意力计算,能够融合细粒度和粗粒度特征,提高了处理冗余序列的能力。将空间编码器和时序编码器进行交替训练,有效地捕捉人体关节特征和序列时序信息,提升了三维姿态估计精度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉识别,特别是基于交替时空编码器的三维人体姿态估计方法及系统


技术介绍

1、早期的人体姿态估计方法一般使用基于标记的动作捕捉方法,在人体的关键关节点位置贴上反光或彩色标记,通过多个摄像头从不同角度捕捉这些标记的位置以重建三维姿态。然而,此类方法通常需要特定的设备支持,难以适用于普遍的日常场景。深度学习的兴起使三维人体姿态估计取得了突破性的进展,近年来,出现了众多基于神经网络的人体姿态估计模型,能够有效提高姿态估计的准确性。

2、基于transformer模型的方法在该领域中得到了广泛应用。transformer模型在建模序列内的全局依赖方面表现出色,特别是对姿态序列中的时序数据具有高效的建模能力。此外,利用多头自注意力机制,transformer可以同时关注不同层次和尺度上的信息,更有效地理解序列之间的上下文关系,从而加深对姿态序列中人体关节点的理解和建模。然而,当前应用transformer模型进行三维姿态估计的方法仍存在两点不足。

3、首先,在处理姿势序列数据时,transformer模型强调全局关系,可本文档来自技高网...

【技术保护点】

1.基于交替时空编码器的三维人体姿态估计方法,其特征在于:包括,

2.如权利要求1所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述使用SMPL模型进行位置编码,使用SMPL模型的基模板三维坐标进行位置编码,将编码与高维特征拼接,以引入人体关节点的位置先验信息;

3.如权利要求2所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述输入二维姿态序列并将其映射到高维特征得到姿态表达,使用二维人体姿态估计算法生成的二维姿态作为输入,其二维姿态采用如下公式:

4.如权利要求3所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:...

【技术特征摘要】

1.基于交替时空编码器的三维人体姿态估计方法,其特征在于:包括,

2.如权利要求1所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述使用smpl模型进行位置编码,使用smpl模型的基模板三维坐标进行位置编码,将编码与高维特征拼接,以引入人体关节点的位置先验信息;

3.如权利要求2所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述输入二维姿态序列并将其映射到高维特征得到姿态表达,使用二维人体姿态估计算法生成的二维姿态作为输入,其二维姿态采用如下公式:

4.如权利要求3所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述输入二维姿态序列,将二维姿态序列映射到高维特征,高维特征采用如下公式:

5.如权利要求4所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述构建结合图卷积的空间编码器以捕获人体关节点局部特征,卷积的空间编码器的具体结构输入到该空间编码器的特征向量xin大小为(t,j,512),空间编码器模块的计算采用如下公式:

6.如权利要求5所述的基于交替时空编码器的三维人体姿态估计方法,其特征在于:所述构建空间编码器,并加入图卷积模...

【专利技术属性】
技术研发人员:宋晓宁吴涛冯振华
申请(专利权)人:江南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1