本发明专利技术实施例提供一种虚拟对象的口型图像生成方法及装置。该方法包括：获取待处理的配音素材，配音素材包括虚拟对象对应的音频数据和/或文本数据；从预先设置的变形器模板中获取与虚拟对象匹配的变形器，变形器包括发音口型与骨骼模型的映射关系；基于配音素材生成发音口型对应的振幅曲线；将配音素材通过变形器映射到虚拟对象的骨骼模型中，生成与配音素材同步的面部口型图像，并通过振幅曲线将该面部口型图像调整为虚拟对象的口型图像。该方法通过虚拟对象匹配的变形器以及振幅曲线将配音素材转换为既符合汉语拼音规则又符合虚拟对象风格的口型图像，大大提升口型图像的生成效率，优化口型图像的视听效果。
【技术实现步骤摘要】
本专利技术涉及图像，尤其涉及一种虚拟对象的口型图像生成方法及装置。
技术介绍
1、在游戏、影视、网络直播等场景中，需要为虚拟角色适配与角色音频相应的口型动画，从而使口型动画中的口型动作匹配于角色音频中的发音，提升虚拟角色的真实性。虚拟角色比如是游戏角色、影视作品中的人物角色、网络直播中主播的虚拟形象等。
2、相关技术中多数不支持中文发音规则，导致虚拟角色的口型动画效果较差，因而，目前仍是以相关技术人员手工制作虚拟角色的口型动画的方案为主。在口型动画制作方案中，相关技术人员通过面部捕捉技术采集演员的面部数据，进而在面部数据的基础上结合虚拟角色的设定制作口型动画。这种口型动画生成方式自动化程度低，动画制作效率差，难以应对大规模的虚拟角色口型动画生成场景。综上，如何自动化生成虚拟角色的口型动画，成为亟待解决的技术问题。
技术实现思路
1、本专利技术实施例提供一种虚拟对象的口型图像生成方法及装置，用以实现口型图像的自动化生成，大大提升口型图像的生成效率，提高口型图像与配音素材的同步性以及准确程度，优化口型图像的视听效果。
2、第一方面，本专利技术实施例提供一种虚拟对象的口型图像生成方法，该方法包括：
3、获取待处理的配音素材，配音素材包括虚拟对象对应的音频数据和/或文本数据；
4、从预先设置的变形器模板中获取与虚拟对象匹配的变形器，变形器包括发音口型与骨骼模型的映射关系，发音口型包括基于汉语拼音规则组合构建的声母口型和/或韵母口型；
<
p>5、基于配音素材生成发音口型对应的振幅曲线，振幅曲线用于指示配音素材中各个音素对应的音频振幅，配音素材中各个音素与发音口型中的声母口型和/或韵母口型一一对应；6、将配音素材通过变形器映射到虚拟对象的骨骼模型中，生成与配音素材同步的面部口型图像，并通过振幅曲线将面部口型图像调整为虚拟对象的口型图像。
7、在一种可能的实施例中，获取待处理的配音素材，包括：
8、接收用户输入的音频数据和/或文本数据；从音频数据和/或文本数据中识别出多个虚拟对象，并从音频数据和/或文本数据中划分出多个虚拟对象各自对应的数据片段作为配音素材。
9、在一种可能的实施例中，从预先设置的变形器模板中获取与虚拟对象匹配的变形器，包括：
10、在变形器面板中展示预先设置的至少一个变形器模板，变形器模板包括变形器以及对应的映射池，映射池用于存储至少一个发音口型与至少一个骨骼模型的映射关系；响应于对变形器的选取指令，确定虚拟对象对应的骨骼模型，并从至少一个变形器模板中选取与虚拟对象对应骨骼模型相匹配的变形器。
11、在一种可能的实施例中，还包括：为变形器模板中的变形器设置对应的骨骼模型，其中对应的骨骼模型复用于多个虚拟对象。
12、在一种可能的实施例中，将所述配音素材通过所述变形器映射到所述虚拟对象的骨骼模型中，生成与所述配音素材同步的面部口型图像，并通过所述振幅曲线将所述面部口型图像调整为所述虚拟对象的口型图像，包括：
13、通过变形器对配音素材中的各个音素进行识别；将识别出的各个音素映射到虚拟对象的骨骼模型中，以得到对应的骨骼模型参数；基于骨骼模型参数计算得到面部口型图像；在振幅面板中展示振幅曲线；响应于对振幅曲线的编辑指令，调整振幅曲线的变化幅度，以改变口型图像中口型尺寸的变化幅度。
14、在一种可能的实施例中，基于配音素材生成对应的振幅曲线，包括：从配音素材中各个音素选取出关键帧，关键帧包括配音素材中声母和/或韵母所对应的音频数据帧。
15、在振幅面板中展示振幅曲线，包括：在振幅面板中展示关键帧对应的振幅曲线。
16、在一种可能的实施例中，还包括：响应于对变形器模板的编辑指令，调整变形器的映射参数，以修改发音口型与骨骼模型的映射关系。
17、在一种可能的实施例中，还包括：响应于对动画预设参数的编辑指令，调整动画预设参数，以修改口型图像的视觉效果；其中动画预设参数包括至少一个下述参数：口型动画风格、帧率、采样参数、额外时长、淡入淡出。
18、在一种可能的实施例中，还包括：对配音素材进行语义识别；基于识别结果判断配音素材是否符合预设条件；若配音素材符合预设条件，则在与面部口型图像中添加与虚拟对象关联的特定视觉元素，特定视觉元素包括与骨骼模型绑定的面部表情和/或动作。
19、在一种可能的实施例中，虚拟对象与特定视觉元素的关联关系，包括：虚拟对象与特定视觉元素的关联关系；和/或虚拟对象的预设语句与特定视觉元素的关联关系；和/或配音素材中的预设剧情与特定视觉元素的关联关系。
20、第二方面，本专利技术实施例提供一种虚拟对象的口型图像生成装置，该口型图像生成装置包括：
21、获取模块，用于获取待处理的配音素材，配音素材包括虚拟对象对应的音频数据和/或文本数据；从预先设置的变形器模板中获取与虚拟对象匹配的变形器，变形器包括发音口型与骨骼模型的映射关系，发音口型包括基于汉语拼音规则组合构建的声母口型和/或韵母口型；
22、生成模块，用于基于所述配音素材生成所述发音口型对应的振幅曲线，所述振幅曲线用于指示所述配音素材中各个音素对应的音频振幅，所述配音素材中各个音素与所述发音口型中的声母口型和/或韵母口型一一对应；将配音素材通过变形器映射到虚拟对象的骨骼模型中，生成与配音素材同步的面部口型图像，并通过所述振幅曲线将所述面部口型图像调整为虚拟对象的口型图像。
23、本专利技术实施例又提供了一种系统，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上面描述的虚拟对象的口型图像生成方法。
24、本专利技术实施例提供了一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上面描述的虚拟对象的口型图像生成方法。
25、在本专利技术实施例中，首先会获取待处理的配音素材，该配音素材包括虚拟对象对应的音频数据和/或文本数据。进而，基于配音素材生成发音口型对应的振幅曲线，该振幅曲线用于指示配音素材中各个音素对应的音频振幅，配音素材中各个音素与发音口型中的声母口型和/或韵母口型一一对应。从预先设置的变形器模板中获取与虚拟对象匹配的变形器。由于该变形器包括发音口型与骨骼模型的映射关系，此处，发音口型包括基于汉语拼音规则组合构建的声母口型和/或韵母口型，因而，可以将配音素材通过变形器映射到虚拟对象的骨骼模型中，生成与配音素材同步的面部口型图像，并通过振幅曲线将该面部口型图像调整为虚拟对象的口型图像。本专利技术实施例，通过虚拟对象匹配的变形器以及振幅曲线创建出既符合汉语拼音规则又符合虚拟对象风格的口型图像，实现了基于配音素材的口型图像自动化生成过程，避免了相关技术中手工制作口型图像带来的动画制作效率较差的本文档来自技高网
...
【技术保护点】
1.一种虚拟对象的口型图像生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取待处理的配音素材，包括：
3.根据权利要求1所述的方法，其特征在于，所述从预先设置的变形器模板中获取与所述虚拟对象匹配的变形器，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，将所述配音素材通过所述变形器映射到所述虚拟对象的骨骼模型中，生成与所述配音素材同步的面部口型图像，并通过所述振幅曲线将所述面部口型图像调整为所述虚拟对象的口型图像，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述配音素材生成对应的振幅曲线，包括：
7.根据权利要求1所述的方法，其特征在于，还包括：
8.根据权利要求1所述的方法，其特征在于，还包括：
9.根据权利要求1所述的方法，其特征在于，还包括：
10.一种虚拟对象的口型图像生成装置，其特征在于，所述装置包括：
【技术特征摘要】
1.一种虚拟对象的口型图像生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取待处理的配音素材，包括：
3.根据权利要求1所述的方法，其特征在于，所述从预先设置的变形器模板中获取与所述虚拟对象匹配的变形器，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，将所述配音素材通过所述变形器映射到所述虚拟对象的骨骼模型中，生成与所述配音素材同...
【专利技术属性】
技术研发人员：吴贺康，
申请(专利权)人：完美世界北京软件科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。