【技术实现步骤摘要】
一种手语动画生成方法、设备和介质
[0001]本专利技术涉及手语和机器学习领域，具体来说涉及手语动画
，更具体地说，涉及一种手语动画生成方法、设备和介质。
技术介绍
[0002]按照人类感知语言的方式，可以将语言分为听觉语言和视觉语言。
[0003]通常，大多数人类之间相互沟通时使用的是听觉语言，即表意者基于自然语言(Natural Language，例如汉语、英语、日语等)的发音规则通过嘴唇发音利用自然语言讲述欲表达的思想，接收者通过耳朵听取表意者的发音并将捕获到的声波传输至大脑中提取其表达的思想，从而实现表意者将欲表达的思想传递至接收者。也即，接收者是通过听觉感知表意者所传达的思想，相互之间交流的媒介是自然语言文本对应的语音。
[0004]但是，对于听力和/或语言功能障碍患者(即聋哑人)之间相互沟通时一般使用的是视觉语言，例如手语(Sign language)，即表意者按照哑语标准(例如2019年10月中国实施的《国家通用手语词典》)做出各种各样的肢体动作，主要是手势动作，通过肢体动作的变化模拟形象...
【技术保护点】
【技术特征摘要】
1.一种手语动画的生成方法，其特征在于，所述方法包括以下步骤：从预置的手语词库中获取目标手语词的动作姿态序列，所述目标手语词是待生成手语所需的手语词，所述动作姿态序列的每一帧至少指示虚拟人体模型的上肢姿态；按照预定的拼接方式将所有目标手语词所对应的动作姿态序列按照所述待生成手语的语义的顺序进行拼接，得到目标动作姿态序列，其中，所述预定的拼接方式中利用经训练的神经网络对待拼接的两个目标手语词对应的动作姿态序列的连接进行平滑过渡处理；根据所述目标动作姿态序列，驱动所述虚拟人体模型的姿态进行变换，生成目标手语动画。2.根据权利要求1所述的方法，其特征在于，所述经训练的神经网络包括经训练的第一神经网络和经训练的第二神经网络，其中，所述预定的拼接方式包括按照以下方式对所述所有目标手语词中任意需要按序拼接的前后两个目标手语词对应的动作姿态序列进行处理：对于需要按序拼接的前后两个目标手语词，将前后两个目标手语词各自所对应的动作姿态序列按序合并为第一动作姿态序列；将所述第一动作姿态序列输入经训练的第一神经网络进行处理，得到目标位置，所述目标位置是所述第一神经网络预测的所述第一动作姿态序列中待被替换帧的位置；将所述目标位置和所述第一动作姿态序列输入经训练的第二神经网络进行处理，得到过渡动作姿态序列；用所述过渡动作姿态序列替换所述第一动作姿态序列中位于所述目标位置处的动作姿态序列，完成所述前后两个目标手语词的动作姿态序列的拼接。3.根据权利要求2所述的方法，其特征在于，所述第一神经网络是序列到序列的模型，包括第一编码器、第一解码器、第一注意力机制层和第一预测层，其中，所述第一预测层在每个时间步利用所述第一解码器输出的隐藏状态和所述第一注意力机制层确定的第一注意力特征值进行预测，所述第一注意力特征值是利用所述第一编码器在每个时间步输出的隐藏状态相对所述第一解码器在当前时间步输出的隐藏状态的注意力值对所述第一编码器在每个时间步输出的隐藏状态进行加权求和得到的。4.根据权利要求3所述的方法，其特征在于，在所述第一神经网络中，所述第一编码器，用于分时间步对所述第一动作姿态序列的每帧进行编码处理，得到所述第一编码器在相应时间步输出的隐藏状态；所述第一解码器，用于分时间步基于所述第一编码器在最后一个时间步输出的隐藏状态针对所述第一动作姿态序列的每帧进行解码处理，得到所述第一解码器在相应时间步输出的隐藏状态；所述第一注意力机制层，用于确定所述第一注意力特征值；所述第一预测层，用于在每个时间步利用所述第一解码器输出的隐藏状态和所述第一注意力机制层确定的第一注意力特征值进行预测，得到指示每个时间步的目标位置的概率分布矩阵，并根据指示每...
【专利技术属性】
技术研发人员：邢云冰，黄涵强，陈益强，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。