一种根据相对信息的三维人体姿态估计方法及装置制造方法及图纸

本发明专利技术是一种根据相对信息的三维人体姿态估计方法，包括以下步骤，输入一段视频序列中所有的二维人体关节点，这一段二维人体关节点首先被送到相对信息编码模块中；原始输入与位置、时间增强表达三者将一同被送入特征融合网络中；在每组中进行三维姿态相关的局部特征提取；在当前帧中提取全局特征；全局特征、局部特征一起送到特征融合模块中；局部特征、混合特征、全局特征被送到解码器中估计三维姿态。全局特征被送到解码器中估计三维姿态。全局特征被送到解码器中估计三维姿态。

【技术实现步骤摘要】
一种根据相对信息的三维人体姿态估计方法及装置


[0001]本专利技术属于计算机视觉领域，特别是一种根据相对信息的三维人体姿态估计方法及装置。

技术介绍

[0002]三维人体姿态估计旨在根据给定的RGB图像或视频中定位三维空间中人体关节的位置。最近的方法遵循两阶段的原理进行三维姿势推理。第一步是定位二维人体关节点，第二步是根据上一步的结果预测相应的三维关节位置。如图1所示，人体的运动可以分为整体运动和局部运动。先前的大多数工作都关注对局部运动的估计，而不是整体运动。它们以相对于根关节(即骨盆)的相对坐标形式表示三维人体关节。
[0003]但现有方法缺乏对全局运动的鲁棒性。他们仅将二维姿势的绝对位置用作输入，导致输入和输出的分布之间存在差异。在实际场景下，摄像机的位置经常会移动，这可以视为二维关节点的全局运动。这带来了一个严重的问题，即拥有相同姿势，但却有不同绝对二维位置的人将对应不同的三维关节位置输出。先前的工作在局部运动的预测过程中产生不准确的预测结果。他们利用一段时间内的二维坐标来预测某个特定帧帧中一个人的三维姿势，将每个时间点上的二维姿势均等地对待，而忽略了当前姿势与所有其他姿势之间的关系。这表明神经网络对局部运动中的微小变化不敏感，从而导致在运动范围较小的局部运动上拥有较差的预测性能。

技术实现思路
：
[0004]本专利技术要解决的技术问题是现有算法鲁棒性差以及预测性差。
[0005]本专利技术提出一种根据相对信息的三维人体姿态估计方法，包括如下步骤：
[0006]S1,输入带二维人体关节点K的视频,对于视频序列中每一帧，利用关节点与骨盆节点得到相对于骨盆节点的二维相对坐标，将其定义为坐标增强表达K
p
；
[0007]S2,对于S1中所有的二维人体关节点，将每一帧与当前帧进行时间信息编码操作运算，得到时间增强表达K
T
；
[0008]S3,对S1中每一帧所包含的关节点进行分组；
[0009]S4,对S3中的每一组进行三维姿态的局部特征提取；
[0010]S5,对二维人体关节点进行当前位置的提取，得到当前帧中的动作，然后提取当前位置的全局特征；
[0011]S6，从S4的局部特征中任选其中一组为当前组局部特征，将除当前组外其他组的局部特征进行融合，得到融合特征，之后将局部特征、融合特征和全局特征送入解码器中估计三维姿态。
[0012]优选的，所述步骤S1中，二维相对坐标的计算公式为其中Kp为二维相对坐标，J为每一帧包含的关节点。
[0013]优选的，步骤S2中，时间信息编码操作运算的公式为其中KT为时间增强表达，T为视频序列包含的帧的数量。
[0014]优选的，所述步骤S4中，局部特征提取的计算公式为其中为第i组的局部编码器，为第i组的局部特征。
[0015]优选的，所述步骤S5中，全局特征提取的计算公式为F
g
＝E
g
(K
c
,θ)，其中为当前帧中的动作，E
g
(
·
,θ)为全局编码器，F
g
为全局特征。
[0016]优选的，所述步骤S6中，融合的公式为其中N是组数，G
f
(
·
,θ)是采用融合网络结构的融合块，是第i组的融合特征。
[0017]优选的，所述步骤S6中，解码器中估计三维姿态的公式为其中是级联操作，D(
·
,θ)是解码器，是第i组的融合特征，F
g
为全局特征，为第i组的局部特征。
[0018]一种根据相对信息的三维人体姿态估计装置，包括相对信息编码模块、局部编码器、全局编码器、特征融合模块和解码器；其中相对信息编码模块用于对二维关节点进行位置信息编码和时间信息编码；局部编码器用于在每组中捕捉局部特征；全局编码器用于提取当前帧中的动作中所有节点的特性；特征融合模块用于将使局部特征在求解的时候获取其他组的信息；解码器用于从局部特征、全局特征、融合特征中解码得到输出结果。
[0019]优选的，所述局部编码器采用时域卷积网络结构，其由一系列时域一维卷积、批归一化层、dropout层和激活层一同构成，其中包含残差结构。
[0020]优选的，所述全局编码器、特征融合模块和解码器采用相同的网络结构，其由两层全连接层、批归一化层、dropout层加上一个残差结构组成。
[0021]本专利技术同现有技术相比具有以下优点及效果：
[0022]1、本专利技术通过在输入端使用相对于根关节的二维相对坐标对位置信息进行编码，以确保与输出端的一致性。以这种方式网络可以提取与姿势有关的信息而不会受到人体绝对位置的干扰。当二维关节点在图像平面中的位置发生全局移动时，位置信息编码后的结果仍然相同。因此，三维人体姿态估计对于全局运动变得更加鲁棒。
[0023]2、本专利技术显式传播当前姿势对其他姿势的影响来对时间信息进行编码。时间信息编码可以被建模为任何向量运算符，例如内积和减法。这种方法强调上下文姿势相对于当前姿势的位置变化，而不是每个姿势的绝对位置。在局部运动范围较小的情况下，当前姿势和其他姿势之间的变化将被放大，从而有助于获得更准确的预测结果。
附图说明
[0024]构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0025]图1为全局运动和局部运动的示意图。
[0026]图2为本专利技术算法的流程示意图。
[0027]图3为本专利技术中特征融合模块的示意图。
[0028]图4为本专利技术中相对信息编码的示意图，其中a为位置信息编码，b为时间信息编码。
具体实施方式
[0029]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0030]实施例1：本专利技术提出一种基于相对信息编码的三维人体姿态估计算法及装置，具体实施步骤如下：
[0031]1.1、输入一段视频序列中所有的二维人体关节点K，这个视频序列总共T＝243帧，每帧包含J＝17个关节点。这一段二维人体关节点首先被送到相对信息编码模块。
[0032]1.2、对输入的二维关节点进行位置信息编码和时间信息编码。其中位置信息编码的过程为：如图4所示，对于视频序列中每一帧，将所有关节点与骨盆节点的位置作差，得到相对于骨盆节点的二维相对坐标，称之为坐标增强表达，上述过程可以表示为其作用是保证输入端与输出端数据分布的一致性。通过这种方式，具有不同绝对二维坐标的相同姿势将对应于共同的坐标增强表达，降低了网络产生相同预测结果的难度。位置信息编码让网络仅捕获与人体姿势有关的重要信息，而不是二维全局轨迹，这有利于加强网络对全局运动的鲁棒性。
[0033]时间信息编码的过程为：如图4所示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种根据相对信息的三维人体姿态估计方法，其特征在于，包括如下步骤：S1,输入带二维人体关节点K的视频,对于视频序列中每一帧，利用关节点与骨盆节点得到相对于骨盆节点的二维相对坐标，将其定义为坐标增强表达K
p
；S2,对于S1中所有的二维人体关节点，将每一帧与当前帧进行时间信息编码操作运算，得到时间增强表达K
T
；S3,对S1中每一帧所包含的关节点进行分组；S4,对S3中的每一组进行三维姿态的局部特征提取；S5,对二维人体关节点进行当前位置的提取，得到当前帧中的动作，然后提取当前位置的全局特征；S6，从S4的局部特征中任选其中一组为当前组局部特征，将除当前组外其他组的局部特征进行融合，得到融合特征，之后将局部特征、融合特征和全局特征送入解码器中估计三维姿态。2.根据权利要求1所述的根据相对信息的三维人体姿态估计方法，其特征在于，所述步骤S1中，二维相对坐标的计算公式为其中Kp为二维相对坐标，J为每一帧包含的关节点。3.根据权利要求1所述的根据相对信息的三维人体姿态估计方法，其特征在于，步骤S2中，时间信息编码操作运算的公式为其中KT为时间增强表达，T为视频序列包含的帧的数量。4.根据权利要求1所述的根据相对信息的三维人体姿态估计方法，其特征在于，所述步骤S4中，局部特征提取的计算公式为其中为第i组的局部编码器，为第i组的局部特征。5.根据权利要求1所述的根据相对信息的三维人体姿态估计方法，其特征在于，所述步骤S5中，全局特征提取的计算公式为F
g
＝E
g
(K
c
,θ)，其中为当前帧中的动作，...

【专利技术属性】
技术研发人员：马思伟，单文康，鲁昊鹏，王苫社，赵利平，
申请(专利权)人：绍兴市北大信息技术科创中心，
类型：发明
国别省市：