【技术实现步骤摘要】
本专利技术涉及三维人体姿态估计，具体为一种用于三维人体姿态估计的双链图卷积转换器。
技术介绍
1、三维人体姿态估计是计算机视觉中的一项任务，可以对人体上的节点进行识别和分类。这些点代表人体的四肢和关节，通过深度学习的方式，对人体进行建模，以使得人体姿势可以通过三维空间再现。人体姿态估计有很多具体实现方法，也有很多不同的输入类型。比如基于热图进行人体建模，以恢复全身3d人体姿势。而本专利技术的实现，是采用了该领域内另一种较为普遍的方法：以传感器采集的数据为输入，即使用相机采集的单目图片为输入，通过深度学习的方法，获取到人体关节的二维关节点，再通过对获取到的人二维关节点进行维度提升建模，就可以使得人体姿态在三维进行展现。
2、现有技术存在的技术问题：
3、(1)在基于图卷积相关的方法中(如mgcn)，构建更深层的基于图卷积的模型时，经常会出现过度平滑的问题。这意味着随着层数的增加，相邻节点的表示变得越来越相似，从而导致节点之间的信息丢失和混淆。为了避免这个问题，大多数基于图卷积的模型使用更少的层。然而，层数较少可能会限制模型捕获节点之间全局依赖关系的能力。
4、(2)在基于自注意力机制的方法中(如graformer)，使用自注意力机制将每个节点的表示与其他节点的表示连接起来，减少节点之间的混淆并捕获节点之间的全局依赖关系。然而，自注意机制主要关注关节相似度，弱化或忽略二维关节坐标中的结构信息。
5、综合它们的优缺点，本专利技术认为设计一种能够有效整合图卷积和自注意力机制优点的模型来捕获
技术实现思路
1、本专利技术的目的在于提供一种用于三维人体姿态估计的双链图卷积转换器，提出了一种双链图卷积转换器，结合了图卷积和自注意力机制的优点，用于对人体二维关节点进行提升建模，在双链图卷积转换器中设计了基于图卷积的局部约束模块和基于自注意力机制的全局约束模块，以及用于自动融合和映射局部和全局特征的特征交互模块，本专利技术充分利用了人体关节间的多层次依赖关系，优化了模型的建模能力。
2、为实现上述目的，本专利技术提供如下技术方案：一种用于三维人体姿态估计的双链图卷积转换器，包括双链图卷积转换器、全局约束模块、局部约束模块、特征交互模块和损失函数；
3、所述双链图卷积转换器包括全局约束模块、局部约束模块和特征交互模块，所述双链图卷积转换器由全局约束模块、局部约束模块和特征交互模块相结合实现双链约束；
4、所述全局约束模块基于自注意力机制，通过相互约束所有关节的特征来捕获人体的全局依赖信息，所述全局约束模块用于解决3d关节的特征表示需要考虑其他关节特征的约束和自身特征的约束的问题，有效地捕获全局依赖信息，提高人体姿态的建模精度；
5、所述局部约束模块基于图卷积，相邻节点的约束来捕获人体的局部依赖信息，用于通过不同类别的相邻关节的特征约束目标关节的特征表示，并通过这些局部约束捕获关节之间的局部依赖关系，所述局部约束模块由图卷积块和卷积块顺序的两个堆栈组成，中间层采用层归一化、批归一化和gelu操作来提高特征表示的有效性，局部约束模块利用图卷积块来实现局部约束并改变维度，然后，局部约束模块利用1×1的conv执行逐点卷积并筛选高维或低维的有用节点特征；
6、所述特征交互模块用于更好地融合和映射从全局约束模块和局部约束模块处获得的局部和全局特征，特征交互模块自动捕获局部特征和全局特征之间的交互信息用于特征融合，并确定映射得到双链中最有价值的特征；
7、所述损失函数用于优化双链图卷积转换器。
8、优选的，所述全局约束模块的自注意力机制为多头自注意力，所述多头自注意力以注意力分数的形式隐含地将输入块联系起来，输入是查询矩阵q，键矩阵k和值矩阵v，其中n为输入补丁的个数，cη为每个补丁的尺寸，具有h个头的注意力计算如下：
9、msa(q,k,v)＝concat(head1，...，headh)wo
10、代表线性投影权值并且每一个headi的定义如下：
11、
12、这里是第i个头的查询、键和值矩阵，而c'η＝cη/h是每个头的尺寸，
13、全局约束模块的输入为n个关节的中间特征，将每个关节的中间特征视为一个独立的块，全局约束模块输出每个关节相对于其他关节的特征表示。因此，全局约束模块可以有效地捕获全局依赖信息，提高人体姿态的建模精度。
14、优选的，所述图卷积，它的输入是图的节点特征，它的卷积核是邻接矩阵，它用邻接矩阵来表示节点之间的连接关系，并用它来过滤输入图，从而为每个节点生成新的特征表示。单层图卷积的公式是：
15、
16、这里和表示之后的输入和输出特征矩阵，n代表节点的数目，而cu和cv代表输入和输出通道尺寸。是滤波器的参数矩阵，是邻接矩阵a∈{0，1}n×n加上一个对角矩阵in，其是自连接形成的。为度矩阵。
17、局部约束模块中使用的图卷积块设计是基于不同语义的相邻节点进行特征转换，并对转换后的特征进行聚合，局部约束模块针对一跳相邻节点的空间语义信息，并将其分为目标节点本身，物理上比目标节点更靠近根节点的相邻节点，与根节点物理连接距离比目标节点远的相邻节点，间接“对称相关”的相邻节点的四类；
18、局部约束模块的图卷积块公式如下：
19、
20、其中k为四类的索引，而wk为第k类一跳相邻节点的过滤矩阵。ak和dk分别为第k类邻接矩阵和度矩阵。
21、优选的，所述特征交互模块由两个线性层组成，首先，通过通道拼接将局部特征和全局特征结合起来作为输入，其次，应用线性层来降低和恢复通道维度，以实现特征融合和交互，最后模型通过划分相应特征并用于双链。
22、优选的，所述双链图卷积转换器的设置至少包括以下步骤：
23、首先，模型将二维关节坐标x∈rn×2通过关节嵌入线性映射到高维空间，得到x0∈rn×c，其中n表示关节个数，c表示通道个数；
24、另外，模型加入了一个位置矩阵epos∈rn×c，这是可以学习的。位置嵌入可以表示为：
25、x1＝x0+epos
26、式中x1∈rn×c表示位置嵌入后的中间特征表示。这种表示作为双链结构第一层的输入；
27、双链结构首先分割第m层输入特征xm∈rn×c为不同的尺寸的和如下：
28、xl2g，xg2l＝split(xm)
29、得到的xl2g和xg2l分别用作局部到全局和全局到局部链的输入，如下所示：
30、
31、
32、这里是局部到全局链上一步的输出特征；
33、而是全局到局部链前一步的输出特征；
34、[,]表示通道连接。fim1和fim2是fim的不同输出。最后将双链结构中间的局部特征和全局特征拼接和相加得本文档来自技高网...
【技术保护点】
1.一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：包括双链图卷积转换器、全局约束模块、局部约束模块、特征交互模块和损失函数；
2.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：所述全局约束模块的自注意力机制为多头自注意力，所述多头自注意力以注意力分数的形式隐含地将输入块联系起来，输入是查询矩阵Q，键矩阵K和值矩阵V，其中N为输入补丁的个数，Cη为每个补丁的尺寸，具有h个头的注意力计算如下：
3.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：局部约束模块中使用的图卷积块设计是基于不同语义的相邻节点进行特征转换，并对转换后的特征进行聚合，局部约束模块针对一跳相邻节点的空间语义信息，并将其分为目标节点本身，物理上比目标节点更靠近根节点的相邻节点，与根节点物理连接距离比目标节点远的相邻节点，间接“对称相关”的相邻节点的四类；
4.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：所述特征交互模块由两个线性层组成，首先，通过通道拼接将局部特征和全局特征结合起来
5.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：所述双链图卷积转换器的设置至少包括以下步骤：
6.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：所述损失函数优化双链图卷积转换器的过程中，利用范数损失来最小化估计和真实数据之间的误差，并为每个关节分配不同的权重，以说明其不同的重要性，最终损失函数可表示为：
...【技术特征摘要】
1.一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：包括双链图卷积转换器、全局约束模块、局部约束模块、特征交互模块和损失函数；
2.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：所述全局约束模块的自注意力机制为多头自注意力，所述多头自注意力以注意力分数的形式隐含地将输入块联系起来，输入是查询矩阵q，键矩阵k和值矩阵v，其中n为输入补丁的个数，cη为每个补丁的尺寸，具有h个头的注意力计算如下：
3.根据权利要求1所述的一种用于三维人体姿态估计的双链图卷积转换器，其特征在于：局部约束模块中使用的图卷积块设计是基于不同语义的相邻节点进行特征转换，并对转换后的特征进行聚合，局部约束模块针对一跳相邻节点的空间语义信息，并将其分为目标节点本身，物理上比目标节点更靠近根节点的相邻节点，与根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。