动作重定向方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种动作重定向方法及装置、电子设备和存储介质，包括获得第二视频帧的第一姿态数据，所述第二视频帧为目标骨骼对应的视频帧，所述第一姿态数据包括目标骨骼的关节的角度、根骨的位移；基于第一视频帧中各脚部关键点的状态参数，确定所述第一视频帧中各脚部关键点的状态，所述脚部关键点的状态包括：关键点离开地面，或，关键点接触地面；在至少连续两个第一视频帧中同一脚部关键点的状态为关键点接触地面的情况下，根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧中的坐标，调整所述第一姿态数据，获得调整后的第二姿态数据。因此，可以降低因噪声对的影响，提高了确定目标骨骼姿态数据的准确性。准确性。准确性。

【技术实现步骤摘要】
动作重定向方法及装置、电子设备和存储介质


[0001]本公开涉及游戏、动画制作
，尤其涉及一种动作重定向方法及装置、电子设备和存储介质。

技术介绍

[0002]动作重定向是将演员(源骨骼)的动作直接重定向到动画角色、游戏角色(目标骨骼)身上，以将个性化动作赋予角色，使得各角色具备各自的角色个性。
[0003]通常，需要通过光学动作捕捉的方式确定源骨骼的动作，但是演员脚步的标记点难以完全固定，造成很大的噪声，因此，不能准确确定源骨骼的动作。进而，不能准确地将演员实际的动作赋予到角色上。

技术实现思路

[0004]有鉴于此，本公开提出了一种动作重定向方案。
[0005]根据本公开的一方面，提供了一种动作重定向方法，包括：
[0006]获得第二视频帧的第一姿态数据，所述第二视频帧为目标骨骼对应的视频帧，所述第一姿态数据包括目标骨骼的关节的角度、根骨的位移；
[0007]基于第一视频帧中各脚部关键点的状态参数，确定所述第一视频帧中各脚部关键点的状态，所述脚部关键点的状态包括：关键点离开地面，或，关键点接触地面；所述第一视频帧中包含所述第二视频帧中的目标骨骼对应的源骨骼；
[0008]在至少连续两个第一视频帧中同一脚部关键点的状态为关键点接触地面的情况下，根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧中的坐标，调整所述第一姿态数据，获得调整后的第二姿态数据。
[0009]在一种可能的实现方式中，在所述获得第二视频帧的第一姿态数据之前，包括：
[0010]根据所述源骨骼与过渡骨骼之间的第一关节对应关系，将所述源骨骼的关节坐标传递给过渡骨骼的关节，获得过渡骨骼的关节坐标，所述过渡骨骼与所述源骨骼的骨骼长度相同；
[0011]根据所述过渡骨骼的关节坐标，确定所述过渡骨骼的关节的角度、根骨的位移；
[0012]根据所述过渡骨骼与所述目标骨骼之间的第二关节对应关系，将所述过渡骨骼的关节的角度、所述根骨的位移传递给所述目标骨骼的关节，所述目标骨骼与所述过渡骨骼的旋转轴的方向相同。
[0013]在一种可能的实现方式中，所述脚部关键点的状态参数包括：脚部关键点的速度、脚部关键点的高度、根骨的速度、根骨的旋转速度，
[0014]基于所述第一视频帧中各脚部关键点的状态参数，确定所述第一视频帧中各脚部关键点的状态，包括：
[0015]输入所述各脚部关键点的速度、所述各脚部关键点高度、所述根骨的速度、所述根骨的旋转速度，至时序网络模型，获得所述第一视频中各脚部关键点的状态。
[0016]在一种可能的实现方式中，在输入所述各脚部关键点的速度、所述各脚部关键点高度、所述根骨的速度、所述根骨的旋转速度，至时序网络模型之前，包括：
[0017]根据所述第一视频帧中左胯关节坐标、所述第一视频帧中右胯关节坐标，确定所述源骨骼的行进方向；
[0018]以所述源骨骼行进方向作为一个坐标轴方向，建立第一坐标系，所述第一坐标系为所述源骨骼所在的坐标系，单一一帧第一视频帧对应一个所述第一坐标系；
[0019]在所述第一坐标系下，
[0020]根据相邻两帧第一视频帧中各脚步关键点的坐标，确定所述各脚部关键点的速度、所述各脚部关键点距地面的高度；
[0021]根据相邻两帧第一视频帧中根骨的坐标，确定所述根骨的速度；
[0022]根据相邻两帧第一视频帧中根骨的旋转角度，确定所述根骨的旋转速度。
[0023]在一种可能的实现方式中，所述在至少连续两个第一视频帧中同一脚部关键点的状态为关键点接触地面的情况下，根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧中的坐标，调整所述第一姿态数据，获得调整后的第二姿态数据，包括：
[0024]根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧的坐标，确定出所述同一脚部关键点的平均坐标；
[0025]按照逆向运动学，根据所述平均坐标，确定出所述至少连续两个第一视频帧对应的第二视频帧中的第二姿态数据。
[0026]在一种可能的实现方式中，所述按照逆向运动学，根据所述平均坐标，确定出所述至少连续两个第二视频帧对应的第一视频帧中的第二姿态数据，包括：
[0027]根据目标骨骼关节连接关系，确定所述同一脚部关键点的父类关节，所述父类关节为根骨，以及从根骨到所述同一脚步关键点之间的关节；
[0028]根据所述平均坐标，确定所述至少连续两个第一视频帧对应的第二视频帧中所述父类关节的角度。
[0029]在一种可能的实现方式中，在所述按照逆向运动学，根据所述平均坐标，确定出所述至少连续两个第一视频帧对应的第二视频帧中的第二姿态数据之后，所述方法还包括：
[0030]平滑所述第二视频帧中未经调整的第一姿态数据，和第三姿态数据，确定平滑后的第一姿态数据和平滑后的第三姿态数据，所述第三姿态数据为所述连续两个第一视频帧对应的第二视频帧中的第二姿态数据；
[0031]根据所述平均坐标，调整所述平滑后的第三姿态数据，得到新的第三姿态数据；
[0032]将所述平滑后的第一姿态数据和所述新的第三姿态数据作为下一次迭代时平滑操作的输入，迭代地执行上述步骤，直至相邻两次迭代确定的第三姿态数据的差值小于预设姿态阈值。
[0033]在一种可能的实现方式中，所述根据所述源骨骼与过渡骨骼之间的第一关节对应关系，将所述源骨骼的关节坐标传递给过渡骨骼的关节，获得过渡骨骼的关节坐标，包括：
[0034]根据所述第一关节对应关系，将第一关键骨骼的关节坐标传递给过渡骨骼的关节，获得过渡骨骼的关节坐标，所述第一关键骨骼为源骨骼中控制身体移动的骨骼，所述过渡骨骼与所述第一关键骨骼一一对应；
[0035]所述根据所述过渡骨骼与所述目标骨骼之间的第二关节对应关系，将所述过渡骨骼的关节的角度传递给所述目标骨骼的关节，包括：
[0036]根据所述第二关节对应关系，将过渡骨骼的关节的角度传递给第二关键骨骼的关节，所述第二关键骨骼为目标骨骼中控制身体移动的骨骼，所述过渡骨骼与所述第二关键骨骼一一对应。
[0037]根据本公开的另一方面，提供了一种动作重定向装置，包括：
[0038]第一姿态数据获取单元，用于获得第二视频帧的第一姿态数据，所述第二视频帧为目标骨骼对应的视频帧，所述第一姿态数据包括目标骨骼的关节的角度、根骨的位移；
[0039]脚部关键点确定单元，用于基于第一视频帧中各脚部关键点的状态参数，确定所述第一视频帧中各脚部关键点的状态，所述脚部关键点的状态包括：关键点离开地面，或，关键点接触地面；所述第一视频帧中包含所述第二视频帧中的目标骨骼对应的源骨骼；
[0040]第二姿态数据确定单元，用于在至少连续两个第一视频帧中同一脚部关键点的状态为关键点接触地面的情况下，根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧中的坐标，调整所述第一姿态数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作重定向方法，其特征在于，包括：获得第二视频帧的第一姿态数据，所述第二视频帧为目标骨骼对应的视频帧，所述第一姿态数据包括目标骨骼的关节的角度、根骨的位移；基于第一视频帧中各脚部关键点的状态参数，确定所述第一视频帧中各脚部关键点的状态，所述脚部关键点的状态包括：关键点离开地面，或，关键点接触地面；所述第一视频帧中包含所述第二视频帧中的目标骨骼对应的源骨骼；在至少连续两个第一视频帧中同一脚部关键点的状态为关键点接触地面的情况下，根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧中的坐标，调整所述第一姿态数据，获得调整后的第二姿态数据。2.根据权利要求1所述的方法，其特征在于，在所述获得第二视频帧的第一姿态数据之前，包括：根据所述源骨骼与过渡骨骼之间的第一关节对应关系，将所述源骨骼的关节坐标传递给过渡骨骼的关节，获得过渡骨骼的关节坐标，所述过渡骨骼与所述源骨骼的骨骼长度相同；根据所述过渡骨骼的关节坐标，确定所述过渡骨骼的关节的角度、根骨的位移；根据所述过渡骨骼与所述目标骨骼之间的第二关节对应关系，将所述过渡骨骼的关节的角度、所述根骨的位移传递给所述目标骨骼的关节，所述目标骨骼与所述过渡骨骼的旋转轴的方向相同。3.根据权利要求1所述的方法，其特征在于，所述脚部关键点的状态参数包括：脚部关键点的速度、脚部关键点的高度、根骨的速度、根骨的旋转速度，基于所述第一视频帧中各脚部关键点的状态参数，确定所述第一视频帧中各脚部关键点的状态，包括：输入所述各脚部关键点的速度、所述各脚部关键点高度、所述根骨的速度、所述根骨的旋转速度，至时序网络模型，获得所述第一视频中各脚部关键点的状态。4.根据权利要求3所述的方法，其特征在于，在输入所述各脚部关键点的速度、所述各脚部关键点高度、所述根骨的速度、所述根骨的旋转速度，至时序网络模型之前，包括：根据所述第一视频帧中左胯关节坐标、所述第一视频帧中右胯关节坐标，确定所述源骨骼的行进方向；以所述源骨骼行进方向作为一个坐标轴方向，建立第一坐标系，所述第一坐标系为所述源骨骼所在的坐标系，单一一帧第一视频帧对应一个所述第一坐标系；在所述第一坐标系下，根据相邻两帧第一视频帧中各脚步关键点的坐标，确定所述各脚部关键点的速度、所述各脚部关键点距地面的高度；根据相邻两帧第一视频帧中根骨的坐标，确定所述根骨的速度；根据相邻两帧第一视频帧中根骨的旋转角度，确定所述根骨的旋转速度。5.根据权利要求1所述的方法，其特征在于，所述在至少连续两个第一视频帧中同一脚部关键点的状态为关键点接触地面的情况下，根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧中的坐标，调整所述第一姿态数据，获得调整后的第二姿态数据，包括：
根据所述同一脚部关键点分别在所述至少连续两个第一视频帧对应的第二视频帧的坐标，确定出所述同一脚部关键点的平均坐标；按照逆向运动学，根据所述平均坐标，确定出所述至少连续两个第一视频帧对应的第二视频帧中的第二姿态数据。6.根据权利要求5...

【专利技术属性】
技术研发人员：张建杰，熊兴堂，柴金祥，
申请(专利权)人：魔珐上海信息科技有限公司，
类型：发明
国别省市：