数字人驱动方法技术

本申请提供一种数字人驱动方法

【技术实现步骤摘要】
数字人驱动方法、系统、电子设备和可读存储介质


[0001]本申请实施例涉及数字人
，尤其涉及一种数字人驱动方法
、
系统
、
电子设备和可读存储介质
。

技术介绍

[0002]现有技术中在形成数字人驱动形象时，常用的方式是通过深度相机采集人脸信息，然后驱动
blendshape
将人脸信息映射至数字人脸，同时对人物语音进行分析，将两者结合实现数字人的面部和肢体的驱动
。
[0003]然而，上述方案中仅采集了真实人物想要展露的表情进行面部驱动，无法采集人物的细微表情变化，形成的数字人形象较为死板
、
不够灵动，并且数字人形象的肢体驱动主要依赖于语音分析，而缺乏面部情感分析，不能真实表达出人物的复杂情感
。

技术实现思路

[0004]本申请实施例提供一种数字人驱动方法
、
系统
、
电子设备和可读存储介质，以解决现有的数字人形象较为死板
、
不够灵动的问题
。
[0005]为了解决上述技术问题，本申请是这样实现的：
[0006]第一方面，本申请实施例提供了一种数字人驱动方法，包括：
[0007]将获取的视频流拆分为图像部分和音频部分；
[0008]根据所述音频部分，确定所述视频流中的用户对应的数字人的肢体动作和第一情绪变化趋势值；
[0009]根据所述图像部分中用户的面部表情数据，确定第二情绪变化趋势值；/>[0010]根据所述第一情绪变化趋势值和所述第二情绪变化趋势值，确定所述数字人的肢体动作幅度的变化趋势；
[0011]根据所述肢体动作幅度的变化趋势，驱动所述数字人的肢体动作
。
[0012]可选的，所述根据所述图像部分中用户的面部表情数据，确定第二情绪变化趋势包括：
[0013]根据所述图像部分中用户的指定帧的面部表情，确定当前帧的用户的第一表情变化值和当前帧的前一帧的用户的第二表情变化值；
[0014]根据所述当前帧的用户的第一表情变化值和所述当前帧的前一帧的用户的第二表情变化值的差值，确定所述第二情绪变化趋势值
。
[0015]可选的，所述指定帧包括第一指定帧和第二指定帧；
[0016]所述根据所述图像部分中用户的指定帧的面部表情，确定当前帧的用户的第一表情变化值和当前帧的前一帧的用户的第二表情变化值包括：
[0017]将所述用户的面部划分为多个面部区域，所述面部表情数据为所述多个面部区域内的标点位移偏移量；
[0018]获取面部情绪的种类和所述多个面部区域内的标点位移偏移量；
[0019]根据不同种类的面部情绪和所述标点位移偏移量，确定所述用户的不同面部情绪在每个面部区域的第一情绪偏移量和第二情绪偏移量，其中，所述第一情绪偏移量为所述当前帧相对于所述第一指定帧的情绪偏移量，所述第二情绪偏移量为所述当前帧的前一帧相对于所述第二指定帧的情绪偏移量，所述第一指定帧为所述当前帧之前的指定帧，所述第二指定帧为所述当前帧的前一帧之前的指定帧；
[0020]根据所述用户的不同面部情绪在每个面部区域的第一情绪偏移量和第二情绪偏移量，确定所述当前帧的每个面部区域的综合情绪偏移量和所述当前帧的前一帧的每个面部区域的综合情绪偏移量；
[0021]根据所述当前帧的每个面部区域的综合情绪偏移量
、
所述当前帧的前一帧的每个面部区域的综合情绪偏移量和每个面部区域的情绪权重，确定所述当前帧的用户的第一表情变化值和所述当前帧的前一帧的用户的第二表情变化值
。
[0022]综合情绪偏移量综合情绪偏移量综合情绪偏移量综合情绪偏移量可选的，所述根据所述音频部分，确定所述视频流中的用户对应的数字人的肢体动作和第一情绪变化趋势值包括：
[0023]提取所述音频部分中的音调和语速，形成音调参数和语速参数；
[0024]根据所述音调参数和所述语速参数，确定输入样本；
[0025]获取音调与语速情绪变化趋势函数；
[0026]将所述输入样本输入所述音调与语速情绪变化趋势函数，确定音调与语速情绪变化趋势值；
[0027]根据所述音调与语速情绪变化趋势值，确定第一情绪变化趋势值
。
[0028]可选的，所述获取音调与语速情绪变化趋势函数包括：
[0029]获取预先设定的音调与语速的第一样本
、
预先设定的音调与语速的第二样本和预先设定的音调与语速的样本平均值，其中，所述第一样本为情绪高涨时音调与语速的样本平均值，所述第二样本为情绪低落时音调与语速的样本平均值，所述样本平均值为所述第一样本和所述第二样本的平均值；
[0030]根据所述第一样本
、
所述第二样本和所述样本平均值，建立音调与语速情绪变化趋势函数
。
[0031]可选的，所述根据所述第一情绪变化趋势值和所述第二情绪变化趋势值，确定所述数字人的肢体动作幅度的变化趋势包括：
[0032]根据所述第一情绪变化趋势值和所述第二情绪变化趋势值，确定整合情绪变化趋势值；
[0033]根据所述整合情绪变化趋势值，确定所述用户的情绪变化趋势；
[0034]根据所述用户的情绪变化趋势，确定所述数字人的肢体动作幅度的变化趋势
。
[0035]可选的，还包括：
[0036]根据所述图像部分中用户的面部图像对所述用户对应的数字人的面部进行实时驱动
。
[0037]第二方面，本申请实施例提供了一种数字人驱动系统，包括：
[0038]拆分模块，用于将获取的视频流拆分为图像部分和音频部分；
[0039]第一动作模块，用于根据所述音频部分，确定所述视频流中的用户对应的数字人
的肢体动作和第一情绪变化趋势值；
[0040]情绪模块，用于根据所述图像部分中用户的面部表情数据，确定第二情绪变化趋势值；
[0041]情绪变化模块，用于根据所述第一情绪变化趋势值和所述第二情绪变化趋势值，确定所述数字人的肢体动作幅度的变化趋势；
[0042]第二动作模块，用于根据所述肢体动作幅度的变化趋势，驱动所述数字人的肢体动作
。
[0043]第三方面，本申请实施例提供了一种电子设备，包括：处理器
、
存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述第一方面所述的数字人驱动方法的步骤
。
[0044]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数字人驱动方法的步骤
。
[0045]本申请中，根据获取到的视频流中用户人脸讲话时的音频部分，确定用户对应的数字人的肢体动作和第一情绪变化趋势值；根据视频流中的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数字人驱动方法，其特征在于，包括：将获取的视频流拆分为图像部分和音频部分；根据所述音频部分，确定所述视频流中的用户对应的数字人的肢体动作和第一情绪变化趋势值；根据所述图像部分中用户的面部表情数据，确定第二情绪变化趋势值；根据所述第一情绪变化趋势值和所述第二情绪变化趋势值，确定所述数字人的肢体动作幅度的变化趋势；根据所述肢体动作幅度的变化趋势，驱动所述数字人的肢体动作
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述图像部分中用户的面部表情数据，确定第二情绪变化趋势值包括：根据所述图像部分中用户的指定帧的面部表情数据，确定当前帧的用户的第一表情变化值和当前帧的前一帧的用户的第二表情变化值；根据所述当前帧的用户的第一表情变化值和所述当前帧的前一帧的用户的第二表情变化值的差值，确定所述第二情绪变化趋势值
。3.
根据权利要求2所述的方法，其特征在于，所述指定帧包括第一指定帧和第二指定帧；所述根据所述图像部分中用户的指定帧的面部表情，确定当前帧的用户的第一表情变化值和当前帧的前一帧的用户的第二表情变化值包括：将所述用户的面部划分为多个面部区域，所述面部表情数据为所述多个面部区域内的标点位移偏移量；获取面部情绪的种类和所述多个面部区域内的标点位移偏移量；根据不同种类的面部情绪和所述标点位移偏移量，确定所述用户的不同面部情绪在每个面部区域的第一情绪偏移量和第二情绪偏移量，其中，所述第一情绪偏移量为所述当前帧相对于所述第一指定帧的情绪偏移量，所述第二情绪偏移量为所述当前帧的前一帧相对于所述第二指定帧的情绪偏移量，所述第一指定帧为所述当前帧之前的指定帧，所述第二指定帧为所述当前帧的前一帧之前的指定帧；根据所述用户的不同面部情绪在每个面部区域的第一情绪偏移量和第二情绪偏移量，确定所述当前帧的每个面部区域的综合情绪偏移量和所述当前帧的前一帧的每个面部区域的综合情绪偏移量；根据所述当前帧的每个面部区域的综合情绪偏移量
、
所述当前帧的前一帧的每个面部区域的综合情绪偏移量和每个面部区域的情绪权重，确定所述当前帧的用户的第一表情变化值和所述当前帧的前一帧的用户的第二表情变化值
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述音频部分，确定所述视频流中的用户对应的数字人的肢体动作和第一情绪变化趋势值包括：提取所述音频部分中的音调和语速，形成音调参数和语速参数；根据所述音调参数和所述语速参数，确定输入样本；获...

【专利技术属性】
技术研发人员：王佶堃，郑彬戈，李小海，于芹，刘议泽，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：