一种面向手语数字人的动作编排方法技术

本发明专利技术公开了一种面向手语数字人的动作编排方法，立足于填补手语数字人动作编排研究的空白，构建中文手语动作数据集。采用直接通过用户输入从动作数据库中进行检索，移除动作图构建过程；其次，引入了在线智能化动作重定向模型，通过将多角色骨架到统一骨架的相互转换，实现支持多角色的动作编排；最后，采用过渡动作生成模型，解决传统方法中过渡动作生成的不足，保证过渡动作生成的真实感。保证过渡动作生成的真实感。保证过渡动作生成的真实感。

【技术实现步骤摘要】
一种面向手语数字人的动作编排方法


[0001]本专利技术属于动画制作
，具体涉及一种面向手语数字人的动作编排方法。

技术介绍

[0002]计算机人物动画制作方法主要分为两类：一类是基于物理模拟与角色控制方法，一类是基于骨骼动画的驱动方法。物理模拟是对客观物理现象的仿真，角色控制是一种主观运动信号，两者的融合构成了支持环境交互的数字人驱动技术。基于骨骼动画的驱动方法则是通过对数字人各关节的旋转进行实时更新数字人姿态，该方法的好处是可以进行低维度的控制，使得动作可以呈现出不同的风格，如迪斯尼这类具有夸张艺术的风格；但基于骨骼动画的方法屏蔽了与物理世界的交互，导致其无法处理穿模、滑步等问题。
[0003]骨骼动画的驱动的动画制作方法主要分为关键帧插值、动作捕捉、动作图和基于深度学习的方法。基于关键帧插值的方法主要依赖于动画师对关键帧动作的手工制作，随后通过线性插值等方法生成过渡帧动作但该方法在较短过渡帧数时生成结果不够平滑，较长过渡帧数时缺乏真实感。基于动作捕捉的方法则是采用动作捕捉技术对真实人物动作进行捕捉，然后使用动作重定向技术将捕捉到的动作重定向到数字人上。然而此方法成本高且易收到物理空间的限制。而动作图法又极易因为动作库扩充后，需要重新生成动作图，随着动作库的数据越来越庞大时，动作图节点的差异度计算量也会呈指数级增长，这将导致动作图的生成速度变慢，甚至无法生成。
[0004]目前常见的基于深度学习的过渡动作生成方法主要有三种技术流派：基于循环神经网络(RNN，Recurrent Neural Network)的方法、基于卷积神经网络(CNN，Convolutional Neural Network)的方法和基于Transformer的方法。基于RNN的方法虽然支持不定长度的输入和输出，但训练和推理时效率相对低下。基于CNN方法虽然没有RNN难以并行化计算的缺陷，但在处理长期时序数据时仍然受限于感受野的大小。基于Transformer的方法可以很好地解决上述两个技术流派存在的问题，Transformer中的全局注意力机制也更佳适合处理长期依赖关系，因此在人物动作合成领域得到了广泛的应用，但仍然受限于输入输出大小固定的问题。
[0005]此外，由于动作编排中会涉及到多套骨架标准，而过渡动作生成任务需要给定统一的骨架标准数据，因此需要借助动作重定向技术将多套骨架标准数据重定向至统一的骨架标准。动作重定向定义为对不同拓扑结构骨架的动作迁移或相同拓扑结构但骨骼长度不一致的两个骨架之间的动作迁移。而基准的重定向方法可能会由于骨骼结构差异导致在应用动作时出现扭曲或拉伸的情况，从而影响动画的真实感和流畅度。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种面向手语数字人的动作编排方法，在构建动作库的基础上，通过基于神经网络的动作重定向和过渡动作生成来提升动作编排的准确性和效率。
[0007]为实现上述专利技术目的，实施例提供的一种面向手语数字人的动作编排方法，包括以下步骤：
[0008]构建初始数字人骨架下的中文手语动作数据集；
[0009]获取编排动作需求的中文手语词目、过渡帧数以及目标数字人；
[0010]从中文手语动作数据集中检索获得中文手语词目对应的动作序列，并对动作序列解析和预处理得到处理后动作序列；
[0011]将预处理后动作序列拆分为初始数字人骨架下的手部旋转序列和躯干动作序列，对手部旋转序列进行球面线性插值生成满足过渡帧数的手部过渡动作序列；
[0012]利用基于生成式对抗网络构建的第一动作重定向模型依据初始数字人骨架下的躯干动作序列、躯干动作序列所对应的初始骨架信息以及中间骨架信息生成中间骨架下的躯干动作序列；
[0013]利用基于Transformer编码器构建的过渡动作生成模型依据从中间骨架下的躯干动作序列中提取的关键帧生成满足过渡帧数的躯干过渡动作序列；
[0014]利用基于生成式对抗网络构建的第二动作重定向模型将中间骨架下的躯干动作序列和躯干过渡动作序列、中间骨架信息以及目标数字人骨架信息生成目标数字人骨架下的躯干动作序列；
[0015]对手部旋转序列、手部过渡动作序列以及目标数字人骨架下的躯干动作序列进行骨架融合得到动作编排结果。
[0016]优选地，所述第一动作重定向模型和第二动作重定向模型基于生成式对抗网络构建，其中，生成式对抗网络框架，包括skel
A
骨架编码器、M
A
动作编码器、M B
动作编码器、skel
B
骨架编码器、M
A
动作解码器、M B
动作解码器、判别器A和判别器B，A骨架信息skel
A
经过skel
A
骨架编码器编码得到的skel
A
编码结果分别输入至M
A
动作编码器和M
A
动作解码器，A骨架下的动作序列M
A
和skel
A
编码结果经过M
A
动作编码器编码得到A骨架对应的动作编码结果Z
A
，该动作编码结果Z
A
与skel
A
编码结果在M
A
动作解码器中经过解码得到A骨架对应的动作解码结果B骨架信息skel
B
经过skel
B
骨架编码器得到skel
B
编码结果并输入至M B
动作解码器，动作编码结果Z
A
和skel
B
编码结果在M B
动作解码器中解码得到B骨架对应的动作解码结果该动作解码结果在M B
动作编码器中经过编码得到B骨架对应的动作编码结果Z
B
，判别器A用于判断M
A
与skel
A
的真伪，以及与skel
A
的真伪，判别器A用于判断M B
与的skel
B
真伪，以及与的skel
B
真伪。
[0017]优选地，基于生成式对抗网络框架，在构建第一动作重定向模型时，将初始数字人骨架下的躯干动作序列作为M
A
、躯干动作序列所对应的初始骨架信息作为skel
A
，将中间骨架(例如SMPL)下的躯干动作序列作为M
B
，将中间骨架信息作为skel
B
，并利用上述损失函数L优化生成式对抗网络框架参数，参数优化结束后，采用skel
A
骨架编码器、M
A
动作编码器、skel
B
骨架编码器以及M B
动作解码器构成第一动作重定向模型。
[0018]优选地，，在利用第一动作重定向模型依据初始数字人骨架下的躯干动作序列、躯干动作序列所对应的初始骨架信息以及中间骨架信息生成中间骨架下的躯干动作序列时，具体包括：将躯干动作序列所对应的初始骨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向手语数字人的动作编排方法，其特征在于，包括以下步骤：构建初始数字人骨架下的中文手语动作数据集；获取编排动作需求的中文手语词目、过渡帧数以及目标数字人；从中文手语动作数据集中检索获得中文手语词目对应的动作序列，并对动作序列解析和预处理得到处理后动作序列；将预处理后动作序列拆分为初始数字人骨架下的手部旋转序列和躯干动作序列，对手部旋转序列进行球面线性插值生成满足过渡帧数的手部过渡动作序列；利用基于生成式对抗网络构建的第一动作重定向模型依据初始数字人骨架下的躯干动作序列、躯干动作序列所对应的初始骨架信息以及中间骨架信息生成中间骨架下的躯干动作序列；利用基于Transformer编码器构建的过渡动作生成模型依据从中间骨架下的躯干动作序列中提取的关键帧生成满足过渡帧数的躯干过渡动作序列；利用基于生成式对抗网络构建的第二动作重定向模型将中间骨架下的躯干动作序列和躯干过渡动作序列、中间骨架信息以及目标数字人骨架信息生成目标数字人骨架下的躯干动作序列；对手部旋转序列、手部过渡动作序列以及目标数字人骨架下的躯干动作序列进行骨架融合得到动作编排结果。2.根据权利要求1所述的面向手语数字人的动作编排方法，其特征在于，所述第一动作重定向模型和第二动作重定向模型基于生成式对抗网络构建，其中，生成式对抗网络框架，包括skel
A
骨架编码器、M
A
动作编码器、M B
动作编码器、skel
B
骨架编码器、M
A
动作解码器、M B
动作解码器、判别器A和判别器B，A骨架信息skel
A
经过skel
A
骨架编码器编码得到的skel
A
编码结果分别输入至M
A
动作编码器和M
A
动作解码器，A骨架下的动作序列M
A
和skel
A
编码结果经过M
A
动作编码器编码得到A骨架对应的动作编码结果Z
A
，该动作编码结果Z
A
与skel
A
编码结果在M
A
动作解码器中经过解码得到A骨架对应的动作解码结果B骨架信息skel
B
经过skel
B
骨架编码器得到skel
B
编码结果并输入至M B
动作解码器，动作编码结果Z
A
和skel
B
编码结果在M B
动作解码器中解码得到B骨架对应的动作解码结果该动作解码结果在M B
动作编码器中经过编码得到B骨架对应的动作编码结果Z
B
，判别器A用于判断M
A
与skel
A
的真伪，以及与skel
A
的真伪，判别器A用于判断M B
与的skel
B
真伪，以及与的skel
B
真伪。3.根据权利要求2所述的面向手语数字人的动作编排方法，其特征在于，所述生成式对抗网络的损失函数L包括根据M
A
和构建的M
A
重建损失L
rec
、根据Z
A
和Z
B
构建的循环损失L
cycle
、基于M
A
和构建的末端节点损失L
ee
、以及判别器损失L
adv
，用公式表示为：L＝w
rec
*L
rec
+w
cycle
*L
cycle
+w
ee
*L
ee
+L
adv
其中，w
rec
、w
cycle
和w
ee
为损失函数权重，重建损失L
rec
、末端节点损失L
ee
采用MSE损失，循环损失函数L
cycle
使用L1损失；判别器损失其中，
其中，i和j表示帧号，T
fake
表示生成样本帧数，T
real
表示真实样本帧数，D
A
和D
B
表示判别器A和判别器B，s表示评估样本，表示判别器A待评估的生成样本集合，表示判别器A待评估的真实样本集合，Skel
A,s
表示判别器A的评估样本骨架信息，表示判别器A输入的生成样本的第i帧动作信息，表示判别器A输入的真实样本的第j帧动作信息，表示判别器B待评估的生成样本集合，表示判别器B待评估的真实样本集合，Skel
B,s
表示判别器B的评估...

【专利技术属性】
技术研发人员：耿卫东，吴思雨，周洲，厉向东，梁秀波，
申请(专利权)人：浙江大学，
类型：发明
国别省市：