基于图卷积和注意力机制的三维人体姿态估计系统及方法技术方案

技术编号:41341010 阅读:34 留言:0更新日期:2024-05-20 09:58
本发明专利技术公开了基于图卷积和注意力机制的三维人体姿态估计系统及方法,涉及三维人体姿态估计技术领域;该系统,由M个堆叠的基本块串行连接构成,每个基本块内均将通道维度C拆分得到维度C1和维度C2,对维度C1和维度C2分别通过精炼回归关联捕获模块RR‑ACM和泛化制导关联捕获模块GG‑ACM得到两个不同的融合特征信息,再通过特征融合模块LCM对两个不同的融合特征信息处理得到两个相对互补的关联特征,最后使用并行设计的全局知识先验捕获模块GKPC和局部区域主体捕获模块LRAC基于两个相对互补的关联特征对人体姿态的全局和局部特征间关联关系进行捕获;本发明专利技术通过双流图卷积注意力特征捕获,从单目图像中提取3维人体姿态。

【技术实现步骤摘要】

本专利技术属于三维人体姿态估计,尤其涉及基于图卷积和注意力机制的三维人体姿态估计系统及方法


技术介绍

1、3维人体姿态估计作为计算机视觉中的一个智能研究方向,已经在多个方面有着广泛应用。将人体图像的2维关节点提升到3维表示方法是该方向当前最主流的技术。该方法通过把现成的人体2维关键点检测器检测得到的2维关节坐标作为输入,经过深度神经网络的复杂映射,最终就能得到3维空间的人体关节坐标表示。

2、经过前人的工作,图卷积网络(gcn)已经在3d人体姿态估计任务中取得了不俗的成绩,与此同时,transformer在近几年也都取得了极佳的效果。transformer的模型核心——注意力机制因具有全局感受野以及理解全局上下文的能力,使得它在3d人体姿态估计任务中得到了广泛的应用。但该传统方法在3d人体姿态估计任务中均存在不足,具体如下:

3、1)使用2d到3d方法估计人体姿态,本身就是一个不适定问题。因为通过单个2d骨架回归到3d人体姿态,存有多个合理且有效的解释,此外人体姿态固有的不确定性,致使预估人体姿态的难度大大增加,如果适用多帧方法,本文档来自技高网...

【技术保护点】

1.基于图卷积和注意力机制的三维人体姿态估计系统,由M个堆叠的基本块串行连接构成,其特征在于:

2.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述精炼回归关联捕获模块RR-ACM,具体如下:

3.根据权利要求2所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述泛化制导关联捕获模块GG-ACM,具体如下:

4.根据权利要求3所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,使用局部区域主体捕获模块LRAC对精炼回归关联捕获模块RR-ACM和泛化制导关联捕获模块GG-ACM中隐含的特征信息...

【技术特征摘要】

1.基于图卷积和注意力机制的三维人体姿态估计系统,由m个堆叠的基本块串行连接构成,其特征在于:

2.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述精炼回归关联捕获模块rr-acm,具体如下:

3.根据权利要求2所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述泛化制导关联捕获模块gg-acm,具体如下:

4.根据权利要求3所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,使用局部区域主体捕获模块lrac对精炼回归关联捕获模块rr-acm和泛化制导关联捕获模块gg-acm中隐含的特征信息进行提取,并将其作为一个关键影响因素传递到下一个层次;公式表示如下:

5.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述特征融合模块lcm,由残差连接的全连接感知器和一维卷积构成,对输入的初始人体关节特征信息通过全连接层,再对中间特征进行单维度的抽象,得到一个与初始人体关节特征...

【专利技术属性】
技术研发人员:王勇刘鹏
申请(专利权)人:重庆理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1