基于运动重定向的手语动作迁移方法、装置制造方法及图纸

本发明专利技术提出一种基于运动重定向的手语动作迁移方法、装置，方法包括：构建编码器模型，配置为运动编码器、静态编码器和潜层编码器；运动编码器输入为骨架原始手语动画数据，输出为编码后的骨架动作信息；静态编码器输入为骨架空间静态数据，输出为编码后的骨架结构信息；潜层编码器将骨架动作信息与骨架结构信息解耦，提取手语抽象动作；构建解码器模型配置为将手语抽象动作和骨架结构信息重定向，生成骨架重构手语动画数据；构建鉴别器模型置为输入为骨架原始手语动画数据、骨架重构手语动画数据、骨架空间静态数据，输出鉴别结果；以及构建目标损失函数。其使用循环生成对抗网络进行无监督训练，解决了成对训练数据获取困难的问题。题。题。

【技术实现步骤摘要】
基于运动重定向的手语动作迁移方法、装置


[0001]本专利技术涉及骨架动画运动重定向
，尤其涉及一种基于运动重定向的手语动作迁移方法、装置。

技术介绍

[0002]手语是一种视觉语言，以肢体动作、手指手势、面部表情和口型唇动表意和交流，是听力障碍者在日常生活中与健听人交流的主要手段。手语合成是指将自然语言(例如汉语)翻译成手语动作的技术，手语合成包括视频真人手语合成和虚拟数字人手语合成，其中数字人手语合成又以其高效和展现形式多样而备受关注。数字人手语合成主要通过骨架动画展示手语动作，由于采用动作捕捉技术构建手语动作的骨架动画数据工作量巨大而且成本过于昂贵，为了在不同的数字人上使用相同的骨架动画数据，迫切需要一种运动重定向技术将一套标准数字人的骨架动画数据迁移到不同的数字人骨架上。
[0003]传统的运动重定向一般采用反向运动学(IK)算法实现，首先在每一帧应用IK来满足约束，然后通过装配多层B样条曲线来平滑运动结果。为了响应变化的效应器位置，同时保留原始运动的细节，IK算法还需关注关节角度的变化。IK算法需要大量的时间去构建约束矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动重定向的手语动作迁移方法，其特征在于，包括：构建编码器模型，所述编码器模型配置为运动编码器、静态编码器和潜层编码器；所述运动编码器配置为：输入为骨架原始手语动画数据，输出为编码后的骨架动作信息；所述静态编码器配置为：输入为骨架空间静态数据，输出为编码后的骨架结构信息；所述潜层编码器与所述运动编码器、静态编码器耦接，配置为：将所述骨架动作信息与骨架结构信息解耦，提取手语抽象动作；构建解码器模型，所述解码器模型与所述编码器模型耦接，配置为：将所述手语抽象动作和骨架结构信息重定向，生成骨架重构手语动画数据；构建鉴别器模型，所述鉴别器模型与所述编码器模型以及所述解码器模型耦接，配置为：输入为所述骨架原始手语动画数据、所述骨架重构手语动画数据、所述骨架空间静态数据，输出鉴别结果包括关于所述骨架原始手语动画数据与骨架空间静态数据的第一鉴别结果、关于所述骨架重构手语动画数据与骨架空间静态数据的第二鉴别结果。2.根据权利要求1所述的方法，其特征在于，构建目标损失函数，所述目标损失函数包括浅层损失函数，所述浅层损失函数用于约束源骨架与目标骨架两者的骨架动作信息情况；依据源骨架的原始手语动画数据输入至所述运动编码器生成的骨架动作信息、以及重定向后的目标骨架的原始手语动画数据输入至所述运动编码器生成的骨架动作信息，确定所述浅层损失函数。3.根据权利要求2所述的方法，其特征在于，所述浅层损失函数表示为：其中，表示源骨架A的原始手语动画数据Q
A
输入至运动编码器生成的骨架动作信息，表示目标骨架B的原始手语动画数据Q
B
输入至运动编码器生成的骨架动作信息，l
ltc
表示浅层损失函数。4.根据权利要求2或3所述的方法，其特征在于，所述目标损失函数还包括重构损失函数，所述重构损失函数用于约束源骨架与目标骨架两者的重构信息情况；依据源骨架的原始手语动画数据与重构手语动画数据，以及目标骨架的原始手语动画数据与重构手语动画数据，确定所述重构损失函数。5.根据权利要求4所述的方法，其特征在于，所述重构损失函数表示为：其中，所述Q
A
、分别表示源骨架A的原始手语动画数据与重构手语动画数据，Q
B
、分别表示目标骨架B的原始手语动画数据与重构手语动画数据，l
rec
表示重构损失函
数。6.根据权利要求5所述的方法，其特征在于，所述目标损失函数还包括对抗损失函数，所述对抗损失函数用于约束源骨架与目标骨架两者的对抗信息情况；依据所述源骨架的第一鉴别结果与第二鉴别结果，以及所述目标骨架的第一鉴别结果与第二鉴别结果，确定所述对抗损失函数。7.根据权利要求6所述的方...

【专利技术属性】
技术研发人员：邢云冰，黄涵强，陈益强，李嘉豪，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：