姿态处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例提供了一种姿态处理方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域。该方法包括：确定所有关节的遍历顺序以及每个关节的关节类型，对于每个关节，基于关节的关节类型、关节以及关节的子关节为关节建立局部坐标系，根据关节在第一姿态下和第二姿态下的局部坐标、关节的子关节在第一姿态下和第二姿态下的局部坐标，确定关节在局部坐标系下由第一姿态转换为第二姿态的第一旋转矩阵。一方面满足基于该关节的关节类型以及该关节和该关节的子关节之间的天然约束关系建立局部坐标系，另一方面由于局部坐标系可以去除该关节的父关节的旋转对该关节的旋转的影响，能够准确地确定关节局部坐标系下的第一旋转矩阵。第一旋转矩阵。第一旋转矩阵。

【技术实现步骤摘要】
姿态处理方法、装置、电子设备及可读存储介质


[0001]本申请涉及图像处理
，具体而言，本申请涉及一种姿态处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]动作捕捉技术(motion capture)是指捕捉场景中人体运动运动数据，运动数据主要是关节的旋转矩阵等，是一种广泛应用于游戏、电影、娱乐、体育等行业的技术。
[0003]传统的动作捕捉技术主要分为三类，分别是光学动捕、电磁动捕和惯性动捕。其中，光学动捕需要在外界场地部署红外摄像头，同时用户需要穿戴动捕服，并在穿戴动捕服后在人体特定位置放置光学标记球，由此可以计算每个光学标记球的三维光学点，并基于多个被精确测量出的光学标记球的三维光学点估算用户的运动数据。电磁动捕需要用于处于可控的电磁场中，可以通过测量线圈在空间中的位置来采集人体的关节的运动数据。惯性动捕一般会在胳膊肢体部位绑上轻便的采集设备，基于该采集设备中的传感器直接来采集人体关节的三维坐标点，基于采集的三维坐标点确定运动数据。
[0004]上述三种动作捕捉技术中，光学动捕需要用户穿戴特定的动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态处理方法，其特征在于，包括：获取目标对象在第一姿态下的第一视频帧和第二姿态下的第二视频帧；对于每个视频帧，确定所述视频帧中目标对象的各关节在全局坐标系下的全局坐标；对于每个视频帧，基于关节运动原理确定所有关节的遍历顺序以及每个关节的关节类型，对于遍历的每个关节，基于所述关节的关节类型、所述关节以及所述关节的子关节为所述关节建立所述关节的局部坐标系；对于每个视频帧中的每个关节，将所述关节和所述关节的子关节的全局坐标转换为所述局部坐标系下的局部坐标，所述关节的子关节为在遍历顺序上位于所述关节之后的相邻关节；对于遍历的每个关节，根据所述关节在所述第一姿态下和所述第二姿态下的局部坐标、所述关节的子关节在所述第一姿态下和所述第二姿态下的局部坐标，确定所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵。2.根据权利要求1所述的方法，其特征在于，所述确定所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵，之后还包括：对于第一视频帧中的每个关节，确定所述关节在视觉坐标系下的初始视觉坐标；将所述第一旋转矩阵转化为所述视觉坐标系的第二旋转矩阵；对于所述第二视频帧的每个关节，根据所述关节的初始视觉坐标和第二旋转矩阵，确定所述关节在所述视觉坐标系下的目标视觉坐标；根据所述关节的目标视觉坐标，对预设的虚拟对象的关节进行渲染，获得所述虚拟对象对应所述第二视频帧的虚拟姿态。3.根据权利要求1所述的方法，其特征在于，所述关节类型包括第一类型；所述第一类型的关节包含至少三个子关节；所述基于所述关节的关节类型、所述关节以及所述关节的子关节为所述关节建立所述关节的局部坐标系，包括：若所述关节的关节类型为第一类型，则从所述关节的所有子关节中任选三个子关节作为候选子关节，将三个候选子关节中的任意两个候选子关节作为第一参考子关节，将所述三个候选子关节中除所述第一参考子关节之外的另一个候选子关节作为第二参考子关节；根据两个第一参考子关节之间的连线确定所述局部坐标系的第一条轴，将所述关节和所述第二参考子关节之间的连线作为所述局部坐标系的第二条轴，将所述第一条轴和所述第二条轴的垂线作为所述局部坐标系的第三条轴。4.根据权利要求1所述的方法，其特征在于，所述关节类型包括第二类型；所述第二类型的关节包含两个子关节；所述基于所述关节的关节类型、所述关节以及所述关节的子关节为所述关节建立所述关节的局部坐标系，包括：若所述关节的关节类型为第二类型，则将所述关节和所述关节的两个子关节之间的两条骨骼分别作为所述局部坐标系的第一条轴和第二条轴，并将所述第一条轴和所述第二条轴的垂线作为第三条轴。5.根据权利要求1所述的方法，其特征在于，所述关节类型包括第三类型，所述第三类型的关节包括包含一个子关节，且所述第三类型的关节无孙关节；所述关节的孙关节为在
遍历顺序上位于所述关节的子关节之后的相邻关节；所述基于所述关节的关节类型、所述关节以及所述关节的子关节为所述关节建立所述关节的局部坐标系，包括：若确定所述关节的关节类型为所述第三类型，则将所述全局坐标系作为所述关节的局部坐标系。6.根据权利要求5所述的方法，其特征在于，所述关节类型包括第四类型；所述第四类型的关节包含一个子关节和一个孙关节；所述基于所述关节的关节类型、所述关节以及所述关节的子关节为所述关节建立所述关节的局部坐标系，包括：若确定所述关节的关节类型为第四类型，则获取所述关节的孙关节；将所述关节和所述子关节之间的骨骼作为第一条轴，将所述关节的子关节和所述关节的孙关节之间的骨骼的垂线作为第二条轴，并将所述第一条轴和所述第二条轴的垂线作为第三条轴。7.根据权利要求3所述的方法，其特征在于，所述根据所述关节在所述第一姿态和所述第二姿态的局部坐标、所述关节的子关节在所述第一姿态和所述第二姿态的局部坐标，确定所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵，包括：对于每种姿态下第一类型的关节，根据所述关节和每个子关节在所述姿态下的局部坐标，确定在所述姿态下所述关节和每个子关节之间的第一方向向量；根据所述关节在第一姿态下的所有第一方向向量，得到第一方向向量矩阵，根据所述关节在第二姿态下的所有第一方向向量，得到第二方向向量矩阵；根据所述第一方向向量矩阵和所述第二方向向量矩阵，获得所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵。8.根据权利要求4所述的方法，其特征在于，所述根据所述关节在所述第一姿态和所述第二姿态的局部坐标、所述关节的子关节在所述第一姿态和所述第二姿态的局部坐标，确定所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵，包括：对于每种姿态下第二类型的关节，根据所述关节和所述关节的每个子关节在所述姿态下的局部坐标，确定所述关节在所述姿态下和每个子关节之间的第二方向向量；对于每种姿态，确定所述关节在所述姿态下的两个第二方向向量的叉乘结果；根据所述关节在第一姿态下的所有第二方向向量以及叉乘结果，获得第三方向向量矩阵；根据关节在所述第二姿态下的所有第二方向向量以及叉乘结果，获得第四方向向量矩阵；根据所述第三方向向量矩阵和所述第四方向向量矩阵，获得所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵。9.根据权利要求5所述的方法，其特征在于，所述根据所述关节在所述第一姿态和所述第二姿态的局部坐标、所述关节的子关节在所述第一姿态和所述第二姿态的局部坐标，确定所述关节在局部坐标系下由所述第一姿态转换为所述第二姿态的第一旋转矩阵，包括：对于每种姿态下的第三类型的关节，根据所述关节和所述关节的子关节在所述姿态下的局部坐标，确定所述关节在所述姿态下和所述子关节之间的第三方向向量；
确定所述关节在所述第一姿态下的第三方向向量以及在所述第二姿态下的第三方向向量之间的第一...

【专利技术属性】
技术研发人员：陈国文，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：