【技术实现步骤摘要】
本专利技术涉及计算机视觉和图形学领域，具体涉及一种语音驱动三维虚拟形象表情可控动画生成的方法。
技术介绍
1、音频驱动面部动画可以用于电影、动画片和游戏中的角色表情生成，在虚拟现实和增强现实中提供更加沉浸式的用户体验，在语音助手、机器人以及在线教育等领域提供更自然、生动的人机交互体验。但现有的大多数方法都侧重于制作精确的唇部同步，但忽略了面部表情和情感特征。这可能会导致不自然的结果，如静态的上面部动画。虽然有些研究已经探索了结合面部表情和情感特征的方法，但这些方法往往涉及需要大量训练数据的大型神经网络，导致训练时间过长或严重依赖昂贵的采集设备。其次，很少有方法会考虑在生成结果中包含口腔内部结构，导致生成结果在口腔内部较为空洞，真实感不强。
技术实现思路
0、
技术实现思路
：
1、本专利技术提供一种情绪控制的三维虚拟形象表情动画生成方法，能够通过单张人脸图像、一段语音信号、情感类别和强度生成与语音信号匹配的、体现指定情感类别和强度的三维虚拟形象表情动画。
2、为了实现以上目的，本专利技术通过以下技术方案予以实现：
3、一种情绪控制的三维虚拟形象表情动画生成方法，包括下列步骤：
4、步骤一：输入语音片段与单个头部网格模型，利用语音驱动头部网格模型发生形变，生成与语音信号对应的音唇同步网格模型序列；
5、步骤二：通过基于检索的方法获取与用户输入图像相似、情感类别和强度相匹配的表情网格模型，方法如下：
6、1)构建数据集
7、2)输入输出描述：输入有两部分，一部分为人脸图像，另一部分为由用户指定的包含情感类别和强度的标签对，每个情感类别对应一个强度；当输入多个情感类别和强度标签对时，需要设置一个窗口来标识每个情感类别的持续时长；
8、输出是和用户输入标签对数目一致的表情网格模型；
9、3)对于每一情感类别，根据步骤2)中输入的情感类别和强度标签对定位到步骤1)中的子数据集内，计算步骤2)中输入的人脸图像与子数据集内图像的相似度；选取距离最小的图像为最相似的图像；
10、4)对步骤3)得到最相似的图像应用三维重建方法，得到表情网格模型；
11、步骤三，基于融合网络将表情网格模型与音唇同步网格模型序列进行融合，输出具有表情或表情和音唇同步的网格模型序列，方法如下：
12、1)搭建融合网络；
13、2)设计损失函数；
14、3)构建训练数据集；
15、4)融合过程，包括
16、当步骤二中输入为单个标签对时，则使用步骤二得到的单个表情网格模型与步骤一中获得的音唇同步网格模型序列中的单个网格模型依次融合，输出具有表情及音唇对应的网格模型序列；
17、当步骤二中输入为多个标签对，从而生成多个表情网格模型时，则按照步骤二中的语音窗口划分方法将步骤一中的音唇同步网格模型序列进行划分，每个窗口对应一个音唇同步网格模型子序列，每个子序列对应一个表情网格模型，依次融合后，获得具有表情变化及音唇对应的网格模型序列；
18、步骤四：将口腔内部网格模型与步骤三获得的具有表情或表情变化及音唇对应的网格模型序列相结合，形成完整的表情网格模型序列并渲染成动画。
19、进一步的，步骤一的方法如下：
20、1)输入输出描述：输入头部网格模型；输出为音唇同步的网格模型序列；
21、2)利用语音驱动生成网格模型序列：使用语音驱动角色动画方法，将语音片段和头部网格模型输入到该方法，输出与语音信号对应的音唇同步网格模型序列。
22、进一步的，所输入的头部网格模型为flame模型。
23、进一步的，语音驱动角色动画方法为voca方法。
24、进一步的，应用三维重建方法得到表情网格模型过程中，采用的三维重建方法为情感驱动的单目人脸捕捉和动画制作emoca方法。
25、进一步的，步骤三中，所设计损失函数包含两项：音唇同步损失该项损失计算输出网格模型与输入音唇同步网格模型区域内顶点三维坐标之间的2范数；表情损失该项损失计算输出网格模型与输入表情模型非区域内顶点三维坐标之间的2范数；为标记的语音相关区域，voutput是输出网格模型顶点三维坐标，vlip,vexp是输入网格模型顶点三维坐标；最终得损失函数为l＝llip+lexp；
26、进一步的，步骤三中，所构建的训练数据集：训练数据是使用emoca对affectnet数据集重建得到的表情网格模型顶点三维坐标和vocaset训练集中的音唇同步网格模型序列中每个网格模型顶点三维坐标逐一配对形成的数据对。
27、进一步的，步骤四的方法如下：
28、1)使用三维建模软件建模闭嘴时的口腔内部网格模型mouthc与最大张嘴时的口腔内部网格模型moutho；
29、2)获取步骤三中的生成的网格模型序列在时刻t对应的单个网格模型，得到该网格模型中人脸下巴区域关键点keypoint的三维坐标；计算该三维坐标与步骤一中输入的头部网格模型中的对应关键点keypoint三维坐标间的距离，表示为distancet；依次计算步骤三中的生成的网格模型序列中每个网格模型与步骤一中输入的头部网格模型关键点之间的距离，取最大值表示为distancem；计算时刻t的嘴部开合系数coefft＝distancet/distancem，此刻口腔内部网格模型的计算公式如下：moutht＝coefft·moutho+(1-coefft)·mouthc；对每一时刻应用该计算公式，得到口腔内部网格模型序列；
30、3)根据时间信息，将步骤2)中得到的口腔内部网格模型序列与步骤三具有表情或表情变化和音唇同步网格模型序列相结合，获得完整的表情网格模型序列并进一步渲染成动画。
本文档来自技高网...【技术保护点】
1.一种情绪控制的三维虚拟形象表情动画生成方法，包括下列步骤：
2.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，步骤一的方法如下：
3.根据权利要求2所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，所输入的头部网格模型为FLAME模型。
4.根据权利要求2所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，语音驱动角色动画方法为VOCA方法。
5.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，应用三维重建方法得到表情网格模型过程中，采用的三维重建方法为情感驱动的单目人脸捕捉和动画制作EMOCA方法。
6.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，步骤三中，所设计损失函数包含两项：音唇同步损失该项损失计算输出网格模型与输入音唇同步网格模型区域内顶点三维坐标之间的2范数；表情损失该项损失计算输出网格模型与输入表情模型非区域内顶点三维坐标之间的2范数；为标记的语音相关区域，voutput是输出网格模型顶点三维坐标，vlip，ve
7.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，步骤三中，所构建的训练数据集：训练数据是使用EMOCA对AffectNet数据集重建得到的表情网格模型顶点三维坐标和VOCASET训练集中的音唇同步网格模型序列中每个网格模型顶点三维坐标逐一配对形成的数据对。
8.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，步骤四的方法如下：
...【技术特征摘要】
1.一种情绪控制的三维虚拟形象表情动画生成方法，包括下列步骤：
2.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，步骤一的方法如下：
3.根据权利要求2所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，所输入的头部网格模型为flame模型。
4.根据权利要求2所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，语音驱动角色动画方法为voca方法。
5.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，应用三维重建方法得到表情网格模型过程中，采用的三维重建方法为情感驱动的单目人脸捕捉和动画制作emoca方法。
6.根据权利要求1所述的情绪控制的三维虚拟形象表情动画生成方法，其特征在于，步骤三中，所设计损失函数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。