一种融合时空特征的单目三维人体姿态估计方法及系统技术方案

本发明专利技术涉及一种融合时空特征的单目三维人体姿态估计方法及系统，其融合了局部和全局的空间信息，同时结合了时间信息，包括：根据三维人体姿态估计数据集进行二维人体姿态的估计，将得到的所述二维人体姿态提升到高维空间；通过Transformer提取关键点局部和全局的特征，将所述局部和全局的特征进行融合，将融合的特征送入空间全局Transformer编码器中，提取时序上的信息；将时序上的信息送入单层感知机解码器中，得到最终的三维人体姿态关键点。本发明专利技术用于处理单目视频的三维人体姿态估计，并且结合了时序信息，大大抑制了输出的抖动，本发明专利技术可以在计算机视觉领域中广泛应用。本发明专利技术可以在计算机视觉领域中广泛应用。本发明专利技术可以在计算机视觉领域中广泛应用。

【技术实现步骤摘要】
一种融合时空特征的单目三维人体姿态估计方法及系统


[0001]本专利技术涉及计算机视觉领域，尤其是人体姿态估计领域，具体是关于一种融合局部和全局特征的基于深度学习的单目三维人体姿态估计方法及系统。

技术介绍

[0002]人体姿态估计是计算机视觉一项重要的任务之一，从二十世纪六十年代以来，关于人体姿态估计的研究就在计算机视觉领域开始显现，近些年随着人工智能的发展，人体姿态估计方法变得更加准确，实时性也越来越高，研究范围也越来越广。人体姿态估计问题按照数据的格式可以分为二维人体姿态估计和三维人体姿态估计，三维人体姿态估计按照视角的维度可分为单目三维人体姿态估计和多视角三维人体姿态估计。现有的人体姿态估计方法大多是基于神经网络的二维人体姿态估计方法，例如HRNet，CPN，openpose等，尽管二维人体姿态存在自遮挡，光照，姿态不完整等挑战，但现有的二维人体姿态方法能够较好的估计出大部分场景下的二维人体姿态。相对于二维人体姿态估计方法，三维人体姿态估计的方法发展的相对比较缓慢，因为相对于二维人体姿态，三维人体姿态估计更加复杂，首先三维人体姿态估计增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合时空特征的单目三维人体姿态估计方法，其特征在于，融合了局部和全局的空间信息，同时结合了时间信息，包括：根据三维人体姿态估计数据集进行二维人体姿态的估计，将得到的所述二维人体姿态提升到高维空间；通过Transformer提取关键点局部和全局的特征，将所述局部和全局的特征进行融合，将融合的特征送入空间全局Transformer编码器中，提取时序上的信息；将时序上的信息送入单层感知机解码器中，得到最终的三维人体姿态关键点。2.如权利要求1所述融合时空特征的单目三维人体姿态估计方法，其特征在于，所述根据三维人体姿态估计数据集进行二维人体姿态的估计，包括：预处理三维人体姿态估计数据集，得到包括二维人体姿态的图片序列和对应的三维人体姿态信息；将所述二维人体姿态图片序列送入二维人体姿态检测器中，得到二维人体姿态的关节点骨架。3.如权利要求1所述融合时空特征的单目三维人体姿态估计方法，其特征在于，所述将得到的所述二维人体姿态提升到高维空间，包括：将得到的二维人体姿态序列进行均分，划分成m个序列，其中每个序列f帧，每帧为包含具有17个关键点的二维空间坐标，即将骨架序列划分成的矩阵序列，进而中的每个x
i
为每帧的二维人体关键点坐标；其中，J为关键点的个数，2为关键点的二维坐标；将二维空间点坐标提升到c纬特征空间，并进行坐标编码得到特征矩阵4.如权利要求1所述融合时空特征的单目三维人体姿态估计方法，其特征在于，所述通过Transformer提取关键点局部和全局的特征，包括：将变换后的二维人体骨架序列进行分割，分为上半部分肢体序列Jup和下半部分肢体序列Jdown，并将Jup、Jdown分别送到局部信息编码器中，将J送入全局的空间关键点Transformer编码器中；其中，J＝Jup+Jdown。5.如权利要求4所述融合时空特征的单目三维人体姿态估计方法，其特征在于，所述Transformer编码器包括多头注意力机制和一个多层感知机；所述多头注意力机制的计算中，先计算每个头的注意力，将每个头的特征进行融合得到最后的多头注意力；通过多头注意力机制后，得到上半部分时空自注意力特征矩阵和下半部分时空自注意力特征矩阵，将上下两个特征矩阵的特征送入正则化层中对数据进行正则化；通过多层感知机制，将得到的两部分时空自注意力的状态单独更新得到时空特征矩阵F(Z...

【专利技术属性】
技术研发人员：薛健，马海峰，吕科，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：