【技术实现步骤摘要】
本专利技术属于三维人体姿态估计，尤其涉及基于图卷积和注意力机制的三维人体姿态估计系统及方法。
技术介绍
1、3维人体姿态估计作为计算机视觉中的一个智能研究方向，已经在多个方面有着广泛应用。将人体图像的2维关节点提升到3维表示方法是该方向当前最主流的技术。该方法通过把现成的人体2维关键点检测器检测得到的2维关节坐标作为输入，经过深度神经网络的复杂映射，最终就能得到3维空间的人体关节坐标表示。
2、经过前人的工作，图卷积网络(gcn)已经在3d人体姿态估计任务中取得了不俗的成绩，与此同时，transformer在近几年也都取得了极佳的效果。transformer的模型核心——注意力机制因具有全局感受野以及理解全局上下文的能力，使得它在3d人体姿态估计任务中得到了广泛的应用。但该传统方法在3d人体姿态估计任务中均存在不足，具体如下：
3、1)使用2d到3d方法估计人体姿态，本身就是一个不适定问题。因为通过单个2d骨架回归到3d人体姿态，存有多个合理且有效的解释，此外人体姿态固有的不确定性，致使预估人体姿态的难度大大增加，如果适用多帧方法，那么计算成本的要求就变得更为巨大。
4、2)图卷积网络(gcn)在对深层次数据进行建模时，经常只对局部的特征信息进行聚合，而没有考虑到全局的特征信息。这意味着随着层数的增加，单个节点的表示会变得越来越模糊，从而导致节点之间的信息丢失和混淆。为了避免这个问题，大多数基于gcn的模型会对局部关节点添加物理约束。然而，局部的物理约束可能会限制模型捕获节点之间全局依赖关系的
5、3)在许多基于transformer的专利技术中，会使用自注意力机制来对全局信息进行特征提取，还能据此捕获节点之间的全局依赖关系。然而，由于自注意力机制本身的限制，致使它只能重点关注于关节的相似度，二维关节坐标中的局部信息却被忽略了。
6、目前已有专利技术研究将图卷积网络和注意力机制联合使用，就能使基于人体骨骼关节点的人体姿态特征输入，被很自然的划分为全局知识先验和局部区域主体的特征信息。这类专利技术中局部特征提取模块将人体部分关节点间构造出不同的物理约束，使得3d人体姿态估计任务取得了不俗的成绩。但是，这些专利技术对以人体物理拓扑结构为基础的全局知识先验与局部区域主体间的潜在关联关系学习不足，并未有专门的专利技术来对两者之间的潜在关联关系进行显式表达。
7、基于此，本专利技术设计一种整合了gcn和transformer的注意力机制的模型来对2维人体关节点进行建模，能够更好的捕获人体全局知识先验和局部区域主体信息间的特征关联关系，从而提升任务精度。
8、本专利技术设计了两个分别用来捕获人体全局知识先验和局部区域主体信息的特征捕获器(gkpc，lrac)，两个表示全局与局部信息关系的编码器：精炼回归-关联捕获器(rr-acm)和泛化制导-关联捕获器(gg-acm)，在满足显式表示人体全局与局部关系的同时，对人体物理拓扑结构的所有关节信息进行分步细化与制导。此外，一个对全局与局部特征进行融合与交互的特征转换模块lcm也被应用到了本专利技术中，用以提高估计任务精度。本专利技术充分利用了人体全局与局部特征信息间的深度信息，优化了模型的建模能力。
技术实现思路
1、本专利技术的目的在于提供基于图卷积和注意力机制的三维人体姿态估计系统及方法，以解决上述
技术介绍
中提出的现有技术中存在对以人体物理拓扑结构为基础的全局知识先验与局部区域主体间的潜在关联关系学习不足，并未对两者之间的潜在关联关系进行显式表达等问题。
2、为实现上述目的，本专利技术采用以下技术方案实现：
3、基于图卷积和注意力机制的三维人体姿态估计系统，具体为：
4、由m个堆叠的基本块串行连接构成，每个基本块内包括精炼回归关联捕获模块rr-acm、泛化制导关联捕获模块gg-acm、特征融合模块lcm、全局知识先验捕获模块gkpc和局部区域主体捕获模块lrac；
5、每个基本块内均将通道维度c拆分得到维度c1和维度c2，对维度c1和维度c2分别通过精炼回归关联捕获模块rr-acm和泛化制导关联捕获模块gg-acm进行细化回归与泛化制导得到两个不同的融合特征信息，再通过特征融合模块lcm对两个不同的融合特征信息进行融合与交互，得到两个相对互补的关联特征，最后使用并行设计的全局知识先验捕获模块gkpc和局部区域主体捕获模块lrac基于两个相对互补的关联特征对人体姿态的全局和局部特征间关联关系进行捕获；
6、所述精炼回归关联捕获模块rr-acm，通过先细化、再精炼、最终协同提取的步骤处理初始人体关节特征信息得到融合特征信息；
7、所述泛化制导关联捕获模块gg-acm，通过先泛化、再制导、最终协同提取的步骤处理初始人体关节特征信息得到融合特征信息；
8、所述全局知识先验捕获模块gkpc，通过残差连接的方式串行连接两个多头自注意力机制得到；所述全局知识先验捕获模块gkpc用于采用多头自注意力机制对全局上下文的关注能力提取全局特征；
9、所述局部区域主体捕获模块lrac，采用图卷积网络构成；所述局部区域主体捕获模块lrac用于获取单个关节与局部区域主体间其他关节间的关联。
10、优选地，所述精炼回归关联捕获模块rr-acm，具体如下：
11、首先，通过对n个人体关节的拓扑节点特征进行精确计算，得到2n-1个代表细化人体关节的拓扑节点特征信息；aj表示第i个细化节点特征：
12、
13、其中，是原n个节点特征中的第j个特征表示；相邻节点是指人体物理拓扑结构中关节位置直接连接的关节点，同时它的拼接顺序是按照人体拓扑节点的序列顺序；
14、根据初始人体关节特征信息xl得到细化人体关节特征信息yl；
15、其后，在获得细化人体关节特征信息yl后，将yl通过一个全连接层得到细化-精炼特征信息y′l，再对y′l进行邻域节点之间的特征聚合和映射，得到细化人体关节特征的中间表示y″l；维度变化形式为：
16、
17、其中，细化人体关节特征的中间表示y″l与初始输入xl的特征维度一致；
18、最后，拼接初始人体关节特征信息xl、细化人体关节特征信息yl及细化人体关节特征的中间表示y″l三个来自不同步骤的关节特征信息，而后将其依次经过一层全连接层以及进行邻域节点之间的特征聚合得到融合特征信息，通过特征聚合概括特征信息之间的关系。
19、优选地，所述泛化制导关联捕获模块gg-acm，具体如下：
20、首先，对包含n个人体拓扑节点的特征信息进行泛化操作，得到包含9个拓扑节点的泛化人体关节特征信息zl；bi表示第i个泛化节点特征：
21、
22、其中，代表原n个节点特征中的第j个特征表示，依次对应于泛化节点特征的第i个特征；
23、其后，在获得泛化人体关节特征信息zl后，将zl通过一个全连接层得到泛化-制导特本文档来自技高网...
【技术保护点】
1.基于图卷积和注意力机制的三维人体姿态估计系统，由M个堆叠的基本块串行连接构成，其特征在于：
2.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述精炼回归关联捕获模块RR-ACM，具体如下：
3.根据权利要求2所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述泛化制导关联捕获模块GG-ACM，具体如下：
4.根据权利要求3所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，使用局部区域主体捕获模块LRAC对精炼回归关联捕获模块RR-ACM和泛化制导关联捕获模块GG-ACM中隐含的特征信息进行提取，并将其作为一个关键影响因素传递到下一个层次；公式表示如下：
5.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述特征融合模块LCM，由残差连接的全连接感知器和一维卷积构成，对输入的初始人体关节特征信息通过全连接层，再对中间特征进行单维度的抽象，得到一个与初始人体关节特征信息维度相同的转换特征。
6.根据权利要求1所述的基于图卷积和
7.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述局部区域主体捕获模块LRAC中图卷积网络，具体如下：
8.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述基本块内全局知识先验捕获模块GKPC和局部区域主体捕获模块LRAC同时进行多级交叉连接与融合，所述基本块内的公式表示如下：
9.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，还包括损失函数模块，通过为每个关节分配不同的权重，以表示不同关节点的重要性，利用L2-Norm损失来最小化估计结果和地面实况之间的误差；
10.应用权利要求1-9任一所述系统进行的基于图卷积和注意力机制的三维人体姿态估计方法，其特征在于，包括如下步骤：
...【技术特征摘要】
1.基于图卷积和注意力机制的三维人体姿态估计系统，由m个堆叠的基本块串行连接构成，其特征在于：
2.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述精炼回归关联捕获模块rr-acm，具体如下：
3.根据权利要求2所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述泛化制导关联捕获模块gg-acm，具体如下：
4.根据权利要求3所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，使用局部区域主体捕获模块lrac对精炼回归关联捕获模块rr-acm和泛化制导关联捕获模块gg-acm中隐含的特征信息进行提取，并将其作为一个关键影响因素传递到下一个层次；公式表示如下：
5.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统，其特征在于，所述特征融合模块lcm，由残差连接的全连接感知器和一维卷积构成，对输入的初始人体关节特征信息通过全连接层，再对中间特征进行单维度的抽象，得到一个与初始人体关节特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。