一种基于人工智能语义分析的角色表情动画的生成方法技术

本申请公开了一种基于人工智能语义分析的角色表情动画的生成方法，其中，所述方法包括接收音频文件；将所述音频文件按照预设语音转换规则转换得到文字序列，其中所述文字序列中包括每个文字的发音信息以及发音开始结束时间；根据所述发音信息、所述发音开始结束时间解析得到对应的口型表情序列信息；根据所述文字序列中文本情感分析结果，得到情绪信息；将通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端。本申请解决传统口型与表情的算法匹配度不高的问题，以便于高效地合成高质量的面部表情动画，从而满足各个行业对虚拟角色表情动画的大量需求。拟角色表情动画的大量需求。拟角色表情动画的大量需求。

【技术实现步骤摘要】
一种基于人工智能语义分析的角色表情动画的生成方法


[0001]本申请涉及动画
，尤其涉及一种基于人工智能语义分析的角色表情动画的生成方法。

技术介绍

[0002]各种各样的虚拟角色广泛应用于我们日常生活中的方方面面，虚拟主播、虚拟偶像、各种智能语音助手越来越多的出现在大众视野中。而随着人工智能的快速发展，人工智能在计算机动画
开始崭露头角，怎样利用人工智能技术高效高质量的生成角色表情动画，是一个极富挑战性的研究课题。
[0003]在传统的三维角色动画制作中，面部表情动画的呈现最为关键，只有当表情、口型、声音三者完美匹配时，角色的整体表演才会看起来更加真实自然。而制作一段高质量的面部表情动画需要耗费大量的时间和人力，制作人员的技术水平也直接影响了最终呈现的面部表情动画效果。
[0004]相关技术中，利用机器学习算法合成的方法自动生成面部动画，主要通过 Blendshape控制口型的变化，并对表情进行融合处理，从而生成面部表情。这种方法虽然效率高，但是难以满足高质量的表情动画需求，合成的动画机械感比较重。。
[0005]故，在虚拟角色与真人进行人机交互时，虚拟角色与真人对话时表情动画的真实度、细腻度都较低，整体呈现的表演效果生硬且重复度高，影响用户体验。

技术实现思路

[0006]本申请实施例提供了基于人工智能语义分析的角色表情动画的生成方法、装置及电子设备、存储介质，以通过改善角色表情动画，进而提高用户体验。
[0007]本申请实施例采用下述技术方案：
>[0008]第一方面，本申请实施例提供一种基于人工智能语义分析的角色表情动画的生成方法其中，用于服务器，所述方法包括：接收音频文件；将所述音频文件按照预设语音转换规则转换得到文字序列，其中所述文字序列中包括每个文字的发音信息以及发音开始结束时间；根据所述发音信息、所述发音开始结束时间解析得到对应的口型表情序列信息；根据所述文字序列中文本情感分析结果，得到情绪信息；将通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端。
[0009]第二方面，本申请实施例还提供一种基于人工智能语义分析的角色表情动画的生成装置，其中，用于服务器，所述装置包括：接收模块，用于接收音频文件；语音转换模块，用于将所述音频文件按照预设语音转换规则转换得到文字序列，其中所述文字序列中包括每个文字的发音信息以及发音开始结束时间；表情解析模块，用于根据所述发音信息、所述发音开始结束时间解析得到对应的口型表情序列信息；根据所述文字序列中文本情感分析结果，得到情绪信息；表情合成模块，用于通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端。
[0010]第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述任一所述方法。
[0011]第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述任一所述方法。
[0012]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0013]在接收音频文件之后，将所述音频文件按照预设语音转换规则转换得到文字序列，再根据所述发音信息、所述发音开始结束时间解析得到对应的口型表情序列信息，根据所述文字序列中文本情感分析结果，得到情绪信息；最后将通过所述情绪信息得到的表情库以及动作库将角色预设表情模型与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端。解决传统口型与表情的算法匹配度不高的问题，以便于高效地合成高质量的面部表情动画，从而满足各个行业对虚拟角色表情动画的大量需求。
附图说明
[0014]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0015]图1为本申请实施例中基于人工智能语义分析的角色表情动画的生成方法流程示意图；
[0016]图2为本申请实施例中基于人工智能语义分析的角色表情动画的生成装置结构示意图；
[0017]图3为本申请实施例中一种电子设备的结构示意图；
[0018]图4为本申请优选实施例中基于人工智能语义分析的角色表情动画的生成流程示意图。
具体实施方式
[0019]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]专利技术人研究发现，在传统的三维角色动画制作中，面部表情动画的呈现最为关键，只有当表情、口型、声音三者完美匹配时，角色的整体表演才会看起来更加真实自然。而制作一段高质量的面部表情动画需要耗费大量的时间和人力。
[0021]通常我们与人对话，只看对方的表情，听对方的言语，但很少去观察对方的口型，因为对话时的口型只是产生言语的辅助动作，不用花心思去注意。什么样的表情动画是优秀的—让观众忽略了表情动画，那就是成功的表情动画。相反，表情动画做的越差，观众的注意力就越容易集中到表情动画上去。
[0022]针对虚拟角色的口型表情和语音信息的匹配度要求逐渐增加，需要一种快速高效的表情动画的生成方法，解决传统口型与表情的算法匹配度不高的问题，以便于高效地合
成高质量的面部表情动画，从而满足各个行业对虚拟角色表情动画的大量需求。
[0023]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0024]本申请实施例提供了一种基于人工智能语义分析的角色表情动画的生成方法，如图1所示，提供了本申请实施例中基于人工智能语义分析的角色表情动画的生成方法流程示意图，所述方法至少包括如下的步骤S110至步骤S140：
[0025]步骤S110，接收音频文件。
[0026]在本申请用于服务器时，接收待处理的音频文件。
[0027]进一步，在服务器对上传的录音文件进行文件校验以及格式处理，将接收的录音文件流，上传到语音识别服务器。语音识别服务器对所采集到的声音信号进行滤波、分帧等预处理工作。
[0028]在语音识别服务器中还包括除去冗余信息。
[0029]步骤S120，将所述音频文件按照预设语音转换规则转换得到文字序列，其中所述文字序列中包括每个文字的发音信息以及发音开始结束时间。
[0030]具体实施时，提取影响语音识别的关键信息和表达语言含义的特征信息；特征提取工作将声音信号从时域转换到频域，为声学模型提供合适的特征向量，紧扣特征信息，用最小单元识别字词。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能语义分析的角色表情动画的生成方法，其中，用于服务器，所述方法包括：接收音频文件；将所述音频文件按照预设语音转换规则转换得到文字序列，其中所述文字序列中包括每个文字的发音信息以及发音开始结束时间；根据所述发音信息、所述发音开始结束时间解析得到对应的口型表情序列信息；根据所述文字序列中文本情感分析结果，得到情绪信息；将通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端。2.如权利要求1所述方法，其中，所述根据所述文字序列中文本情感分析结果，得到情绪信息包括：基于预设数据，建立语料库；对于语料进行清洗，保留有用的数据，删除噪音数据；对于语料进行分词，将文本分成词语；对于语料进行词性标注，给词语标上词类标签，以及对于语料进行去停用词、去掉对文本特征没有任何贡献作用的字词；将分词表示成计算机识别的计算类型，选择合适的、表达能力强的特征，进行情绪信息特征选择。3.如权利要求2所述方法，其中，所述将分词表示成计算机识别的计算类型，选择合适的、表达能力强的特征，进行情绪信息特征选择，还包括：选择机器学习模型或者深度学习模型，对选定的模型进行训练；对模型多维度评估，得到最优模型效果，采取线下训练模型及线上训练模型，分析得出该文本所包含的情绪信息。4.如权利要求2所述方法，其中，所述将通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端，包括：将通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成的过程中，如果需要口型融合，则将表情对应的动作与口型融合，得到对应融合后的角色目标表情动画。5.如权利要求1所述方法，其中，所述通过所述情绪信息得到的表情库以及动作库与所述口型表情序列信息合成，得到角色目标表情动画下发至用户端，包括：将通...

【专利技术属性】
技术研发人员：葛水英，潘蒙，
申请(专利权)人：北京中科视维文化科技有限公司，
类型：发明
国别省市：