本申请中提供了一种语义保持的数字人手部动作重定向方法、装置和设备，所述方法包括：构建解剖局部坐标系下的源手部动作序列；基于源手部模型的静态数据，将源手部动作序列编码为源语义矩阵，源语义矩阵表征关节和手掌之间的空间关系；将源语义矩阵和目标手部模型的静态数据输入到预先训练的语义重建网络进行动作重定向，得到目标手部动作序列。本申请通过将关节和手掌之间的空间关系编码基于解剖结构的源语义矩阵，实现了对手部运动语义的精确测量，进而基于该源语义矩阵能实现动作重定向。并且基于源语义矩阵来量化手部运动语义的方式，不需要依赖于任何标准网格模板，使该方法可以适用于各种手部模型的动作重定向。法可以适用于各种手部模型的动作重定向。法可以适用于各种手部模型的动作重定向。
【技术实现步骤摘要】
一种语义保持的数字人手部动作重定向方法、装置和设备
[0001]本申请涉及计算机
，特别涉及一种语义保持的数字人手部动作重定向方法、装置和设备。
技术介绍
[0002]生成逼真的手部动作在各种虚拟角色场景中具有重要作用，例如，共同语音手势合成和手语合成等。人类的手是非语言交流的主要手段，可以传递复杂的语义，由于人类对手部动作的高度敏感性，即使是轻微的错误也会影响虚拟化角色应用程序的用户体验，因此，如何在不同的虚拟化角色中进行准确的手部动作传递(即手部动作重定向)是至关重要的。
[0003]然而，由于人手多个自由度的高度关节特性，以及不同虚拟化角色的手形和不同角色的比例，直接复制关节旋转会严重损害手部运动的复杂语义，无法准确地对手部动作进行重定向。
技术实现思路
[0004]鉴于上述问题，本申请实施例提供了一种语义保持的数字人手部动作重定向方法、装置和设备，以便克服上述问题或者至少部分地解决上述问题。
[0005]本申请实施例的第一方面，公开了一种语义保持的数字人手部动作重定向方法，所述方法包括：
[0006]构建解剖局部坐标系下的源手部动作序列；
[0007]基于源手部模型的静态数据将所述源手部动作序列编码为源语义矩阵，所述源语义矩阵表征关节和手掌之间的空间关系；
[0008]将所述源语义矩阵和目标手部模型的静态数据输入到预先训练的语义重建网络进行动作重定向，得到目标手部动作序列；
[0009]其中，所述语义重建网络的训练样本是不同手部模型的源手部动作序列，所述语义重建网络学习了所述源语义矩阵与所述目标手部动作序列的映射关系。
[0010]可选地，所述手部模型的静态数据包括源手部解剖参数和源手部形状参数；基于源手部模型的静态数据将所述源手部动作序列编码为源语义矩阵，包括：
[0011]根据所述源手部解剖参数将所述源手部动作序列转化为全局坐标系下的源关节旋转序列；
[0012]基于所述源手部解剖参数、所述源手部形状参数和所述源关节旋转序列进行正运动学计算，得到关节的全局坐标和所述关节的解剖局部坐标系相对于全局坐标系的旋转矩阵；
[0013]对所述全局坐标和所述旋转矩阵进行语义提取，得到所述源语义矩阵。
[0014]可选地，对所述全局坐标和所述旋转矩阵进行语义提取，得到所述源语义矩阵，包括：
[0015]根据每个关节的全局坐标和旋转矩阵，确定其余每个关节关于该关节的指间语义特征矩阵；
[0016]根据手掌上预先定义的多个锚点、所述每个关节的全局坐标和旋转矩阵，得到每个锚点相对于所述每个关节的掌指语义特征矩阵，所述锚点是基于掌指关节和腕关节之间的连线定义的；
[0017]将所述每个关节的指间语义特征矩阵和所述每个关节的掌指语义特征矩阵进行拼接，得到所述源语义矩阵。
[0018]可选地，所述语义重建网络按照以下步骤进行训练：
[0019]从所述不同手部模型中确定出第一手部模型和第二手部模型；
[0020]将所述第一手部模型的手部动作序列对应的真实语义矩阵、所述第二手部模型的手部形状参数和手部解剖参数，输入到所述语义重建网络进行动作重定向，得到所述第二手部模型的预测手部动作序列；
[0021]基于所述第二手部模型的手部形状参数和手部解剖参数，将所述预测手部动作序列编码为预测语义矩阵；
[0022]根据所述真实语义矩阵和所述预测语义矩阵，得到语义损失值；
[0023]根据所述预测手部动作序列计算解剖损失值；
[0024]基于所述语义损失值和所述解剖损失值构建总损失值，并基于所述总损失值对所述语义重建网络的参数进行更新，直至所述语义重建网络收敛。
[0025]可选地，根据所述预测手部动作序列计算解剖损失值，包括：
[0026]针对所有关节，沿手部模型运动数的关节旋转方向，计算所述预测手部动作序列中每个动作的旋转轴分量的关节旋转损失；
[0027]对不属于指关节的其余关节，沿手部模型运动树的关节展开方向，计算所述预测手部动作序列中每个动作的旋转轴分量的关节展开损失；
[0028]根据所述预测手部动作序列中每个动作弯曲轴旋转的角度，计算角度损失；
[0029]根据所述关节旋转损失、所述关节展开损失和所述角度损失得到解剖损失值。
[0030]可选地，基于所述语义损失值和所述解剖损失值构建总损失值，包括：
[0031]在所述第一手部模型和所述第二手部模型为同一个手部模型的情况下，添加自重构监督信号来构建总损失值；
[0032]在所述第一手部模型和所述第二手部模型不为同一个手部模型的情况下，直接根据所述语义损失值和所述解剖损失值构建总损失值。
[0033]可选地，所述解剖局部坐标系包括扭曲轴、展开轴和弯曲轴；所述解剖局部坐标系按照以下方式构建：
[0034]将关节的子节点到关节本身的向量作为扭转轴；
[0035]将射线投射到所述扭转轴的法线平面，并在所述法线平面执行射线网格查询，得到相互垂直的展开轴和弯曲轴。
[0036]可选地，在所述法线平面执行射线网格查询，得到相互垂直的展开轴和弯曲轴，包括：
[0037]在所述法线平面确定相互垂直的第一坐标轴和第二坐标轴；
[0038]分别将所述第一坐标轴和所述第二坐标轴上的射线与网格相交位置确定为第一
位置和第二位置；
[0039]根据所述第一位置确定第一法向量，并根据所述第二位置确定第二法向量；
[0040]在所述第一坐标轴和所述第二坐标轴分别与所述第一法向量和所述第二法向量对齐，且所述第一位置到关节位置的距离小于所述第二位置到所述关节位置的距离的情况下，将所述第一坐标轴确定为所述展开轴，将所述第二坐标轴确定为所述弯曲轴。
[0041]本申请实施例的第二方面，公开了一种语义保持的数字人手部动作重定向装置，所述装置包括：
[0042]动作构建模块，用于构建解剖局部坐标系下的源手部动作序列；
[0043]语义编码模块，用于基于源手部模型的静态数据将所述源手部动作序列编码为源语义矩阵，所述源语义矩阵表征关节和手掌之间的空间关系；
[0044]重定向模块，用于将所述源语义矩阵和目标手部模型的静态数据输入到预先训练的语义重建网络进行动作重定向，得到目标手部动作序列；
[0045]其中，所述语义重建网络的训练样本是不同手部模型的源手部动作序列，所述语义重建网络学习了所述源语义矩阵与所述目标手部动作序列的映射关系。
[0046]本申请实施例的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面所述的语义保持的数字人手部动作重定向方法的步骤。
[0047]本申请实施例包括以下优点：
[0048]在本申请实施例中，为了保留复杂的语义，基于手关节和手掌之间的空间关系来实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种语义保持的数字人手部动作重定向方法，其特征在于，所述方法包括：构建解剖局部坐标系下的源手部动作序列；基于源手部模型的静态数据将所述源手部动作序列编码为源语义矩阵，所述源语义矩阵表征关节和手掌之间的空间关系；将所述源语义矩阵和目标手部模型的静态数据输入到预先训练的语义重建网络进行动作重定向，得到目标手部动作序列；其中，所述语义重建网络的训练样本是不同手部模型的源手部动作序列，所述语义重建网络学习了所述源语义矩阵与所述目标手部动作序列的映射关系。2.根据权利要求1所述的方法，其特征在于，所述手部模型的静态数据包括源手部解剖参数和源手部形状参数；基于源手部模型的静态数据将所述源手部动作序列编码为源语义矩阵，包括：根据所述源手部解剖参数将所述源手部动作序列转化为全局坐标系下的源关节旋转序列；基于所述源手部解剖参数、所述源手部形状参数和所述源关节旋转序列进行正运动学计算，得到关节的全局坐标和所述关节的解剖局部坐标系相对于全局坐标系的旋转矩阵；对所述全局坐标和所述旋转矩阵进行语义提取，得到所述源语义矩阵。3.根据权利要求2所述的方法，其特征在于，对所述全局坐标和所述旋转矩阵进行语义提取，得到所述源语义矩阵，包括：根据每个关节的全局坐标和旋转矩阵，确定其余每个关节关于该关节的指间语义特征矩阵；根据手掌上预先定义的多个锚点、所述每个关节的全局坐标和旋转矩阵，得到每个锚点相对于所述每个关节的掌指语义特征矩阵，所述锚点是基于掌指关节和腕关节之间的连线定义的；将所述每个关节的指间语义特征矩阵和所述每个关节的掌指语义特征矩阵进行拼接，得到所述源语义矩阵。4.根据权利要求1所述的方法，其特征在于，所述语义重建网络按照以下步骤进行训练：从所述不同手部模型中确定出第一手部模型和第二手部模型；将所述第一手部模型的手部动作序列对应的真实语义矩阵、所述第二手部模型的手部形状参数和手部解剖参数，输入到所述语义重建网络进行动作重定向，得到所述第二手部模型的预测手部动作序列；基于所述第二手部模型的手部形状参数和手部解剖参数，将所述预测手部动作序列编码为预测语义矩阵；根据所述真实语义矩阵和所述预测语义矩阵，得到语义损失值；根据所述预测手部动作序列计算解剖损失值；基于所述语义损失值和所述解剖损失值构建总损失值，并基于所述总损失值对所述语义重建网络的参数进行更新，直至所述语义重建网络收敛。5.根据权利要求4所述的方法，其特征在于，根据所述预测手部动作序列计算解剖损失值，包括：
针对所有关节，沿手部模型运动树的关节旋转方向，计算所述预测手部...
【专利技术属性】
技术研发人员：叶梓杰，贾珈，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。