基于微调标准模型的三维姿态估计方法、装置及存储介质制造方法及图纸

本公开涉及计算机视觉领域，尤其涉及一种基于微调标准模型的三维姿态估计方法、装置及存储介质。所述方法包括：获取目标数据，目标数据包括同步的视频数据和IMU数据，根据视频数据，通过二维姿态估计得到二维骨骼点序列，二维骨骼点序列包括目标对象的多个骨骼关键点的二维坐标数据；根据IMU数据，通过运动学计算得到标准骨骼点序列，标准骨骼点序列包括标准的目标对象的多个骨骼关键点的三维坐标数据；根据二维骨骼点序列和标准骨骼点序列，确定三维骨骼点序列，三维骨骼点序列包括预测的目标对象的多个骨骼关键点的三维坐标数据。本公开实施例通过结合视频数据和IMU数据进行三维姿态估计，提升了三维姿态估计的准确性。

【技术实现步骤摘要】

本公开涉及计算机视觉领域，尤其涉及一种基于微调标准模型的三维姿态估计方法、装置及存储介质。

技术介绍

1、在视频信息中理解人类行为是计算机视觉领域的一个重要研究方向，它对于人机交互、智能监控、虚拟现实等应用具有重要意义。为了引导机器更好地理解人类行为，研究者们提出了多种方法，如对人类行为进行分类、三维姿态估计(包括估计人类的骨骼关键点)以及估计人体表面蒙皮等。其中，三维的骨骼关键点估计是关键步骤，因为它可以为表面蒙皮估计和行为分类提供更准确的引导。

2、三维的骨骼关键点一般通过深度神经网络进行估计，在过去的研究中，研究者们已经提出了许多结构特异的深度神经网络模型来估计视频中的人体三维骨骼关键点，如长短期记忆网络(long short-term memory network，lstm)、卷积神经网络(convolutionalneural network，cnn)、扩散模型(英文：diffusion model)以及基于注意力的变换网络(英文：transformer)结构的神经网络等。这些方法在定性层面上已经取得了较好的估计结果，具有较好的时空一本文档来自技高网...

【技术保护点】

1.一种基于微调标准模型的三维姿态估计方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述二维骨骼点序列和所述标准骨骼点序列，确定三维骨骼点序列，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一骨骼点特征和所述第二骨骼点特征进行特征融合，得到目标骨骼点特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述IMU数据包括多帧的IMU数据，所述根据所述IMU数据，通过运动学计算得到标准骨骼点序列，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据每帧所述IMU数据，通过运动学计算...

【技术特征摘要】

1.一种基于微调标准模型的三维姿态估计方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述二维骨骼点序列和所述标准骨骼点序列，确定三维骨骼点序列，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一骨骼点特征和所述第二骨骼点特征进行特征融合，得到目标骨骼点特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述imu数据包括多帧的imu数据，所述根据所述imu数据，通过运动学计算得到标准骨骼点序列，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据每帧所述imu数据，通过运动学计算得到每帧的标准骨骼点...

【专利技术属性】
技术研发人员：王伟明，于竣丞，张琛，阿璐思，
申请(专利权)人：清华大学，
类型：发明
国别省市：