一种面部驱动方法、系统、电子设备和可读存储介质技术方案

本申请提供一种面部驱动方法、系统、电子设备和可读存储介质，该面部驱动方法包括：根据输入的语音，确定所述语音中各时刻音素对应的第一混合形变变形器BS系数，其中，所述BS系数用于表示所述语音对应的面部状态；确定所述语音中的各时刻音素对应的面下系数，其中，所述面下系数用于调整嘴部开合程度；根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数；采用所述第二BS系数驱动面部动作。本申请通过对各个时刻的面下系数进行调整，来实现根据音频属性自动控制口型幅度来驱动面部，能够增强面部驱动效果。能够增强面部驱动效果。能够增强面部驱动效果。

【技术实现步骤摘要】
一种面部驱动方法、系统、电子设备和可读存储介质


[0001]本申请实施例涉及面部驱动
，尤其涉及一种面部驱动方法、系统、电子设备和可读存储介质。

技术介绍

[0002]通过输入一段语音，模型自动生成匹配该语音的口型、表情等面部动作的面部驱动技术，可应用于虚拟人、数字孪生、动画等领域。
[0003]在驱动的过程中，不同的语音状态会对应不同的口型幅度，比如用压抑低沉状态下的语音驱动面部时，虚拟人的口型幅度要相对较小；明快激昂的语音驱动面部时，口型幅度要相对较大。目前面部驱动中体现这种带有情绪差异的方案，一般是通过采集不同状态下的数据如：低沉、平静、激扬等，然后用带状态标签的数据进行训练，得到可选状态的表情驱动模型。
[0004]但是，这样通过设定指定状态的表情驱动模型通常是在语音前设定，即整段语音通用一种状态的表情驱动规则，不能根据音频属性自动控制口型幅度来驱动面部；并且这样通过采集不同状态下的数据进行训练的方案，可能会出现采集的数据不理想的问题，很难录制到指定状态下的自然表情数据，表情会显得刻意，导致训练的模型效果不佳。

技术实现思路

[0005]本申请实施例提供一种面部驱动方法、系统、电子设备和可读存储介质，以解决现有的根据音频属性自动控制口型幅度来驱动面部的问题。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，本申请实施例提供了一种面部驱动方法，包括：
[0008]根据输入的语音，确定所述语音中各时刻音素对应的第一混合形变变形器BS系数，其中，所述BS系数用于表示所述语音对应的面部状态；
[0009]确定所述语音中的各时刻音素对应的面下系数，其中，所述面下系数用于调整嘴部开合程度；
[0010]根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数；
[0011]采用所述第二BS系数驱动面部动作。
[0012]可选的，所述面下系数包括嘴唇系数和下巴系数，所述嘴唇系数用于调整嘴唇开合程度，所述下巴系数用于调整下巴开合程度。
[0013]可选的，所述确定所述语音中的各时刻音素对应的面下系数包括：
[0014]根据输入的语音，确定当前音素的音高和响度；
[0015]根据所述当前音素的音高和响度，确定当前音素的面下系数。
[0016]可选的，所述根据输入的语音，确定当前音素的音高和响度包括：
[0017]根据输入的语音，确定该语音对应的音素序列和每个音素的发音时长组成的时长
序列；
[0018]根据当前音素在所述音素序列和所述时长序列中对应的项，确定当前音素的音高和响度。
[0019]可选的，还包括：
[0020]确定情绪系数，所述情绪系数用于表示情绪基调；
[0021]其中，根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数，包括：
[0022]根据所述情绪系数和所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数。
[0023]可选的，所述确定情绪系数包括：
[0024]根据用户设定确定所述情绪系数，或，根据当前语音的平均响度确定所述情绪系数。
[0025]第二方面，本申请实施例提供了一种面部驱动系统，包括：
[0026]第一系数模块，用于根据输入的语音，确定所述语音中各时刻音素对应的第一混合形变变形器BS系数，其中，所述BS系数用于表示所述语音对应的面部状态；
[0027]第二系数模块，用于确定所述语音中的各时刻音素对应的面下系数，其中，所述面下系数用于调整嘴部开合程度；
[0028]输出模块，用于根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数；
[0029]驱动模块，用于采用所述第二BS系数驱动面部动作。
[0030]可选的，所述第二系数模块包括：
[0031]第二系数第一子模块，用于根据输入的语音，确定当前音素的音高和响度；
[0032]第二系数第二子模块，用于根据所述当前音素的音高和响度，确定当前音素的面下系数。
[0033]第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述第一方面所述的面部驱动方法的步骤。
[0034]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的面部驱动方法的步骤。
[0035]在本申请中，首先根据输入的语音，确定语音中各时刻音素对应的第一混合形变变形器BS系数；确定语音中的各时刻音素对应的面下系数，其中，面下系数用于调整嘴部开合程度；根据各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数；采用第二BS系数驱动面部动作，通过调整各时刻音素对应的第一BS系数来实现根据音频属性自动控制口型幅度来驱动面部，避免了整段语音通用一种状态的表情驱动规则，并且不会受到采集的数据状态质量的影响，面部驱动结果的稳定性更高，面部驱动的动作更融洽和生动，增加虚拟人的表现力，提升用户体验。
附图说明
[0036]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0037]图1是本申请实施例提供的一种面部驱动方法的流程图；
[0038]图2是本申请实施例提供的一种面部驱动方法的实施例的流程图；
[0039]图3是本申请实施例提供的一种面部驱动系统的结构示意图；
[0040]图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0041]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0042]请参考图1和图2，本申请实施例提供了一种面部驱动方法，包括：
[0043]步骤11：根据输入的语音，确定所述语音中各时刻音素对应的第一混合形变变形器BS系数，其中，所述BS系数用于表示所述语音对应的面部状态；
[0044]步骤12：确定所述语音中的各时刻音素对应的面下系数，其中，所述面下系数用于调整嘴部开合程度；
[0045]步骤13：根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部驱动方法，其特征在于，包括：根据输入的语音，确定所述语音中各时刻音素对应的第一混合形变变形器BS系数，其中，所述BS系数用于表示所述语音对应的面部状态；确定所述语音中的各时刻音素对应的面下系数，其中，所述面下系数用于调整嘴部开合程度；根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数；采用所述第二BS系数驱动面部动作。2.根据权利要求1所述的方法，其特征在于，所述面下系数包括嘴唇系数和下巴系数，所述嘴唇系数用于调整嘴唇开合程度，所述下巴系数用于调整下巴开合程度。3.根据权利要求1所述的方法，其特征在于，所述确定所述语音中的各时刻音素对应的面下系数包括：根据输入的语音，确定当前音素的音高和响度；根据所述当前音素的音高和响度，确定当前音素的面下系数。4.根据权利要求3所述的方法，其特征在于，所述根据输入的语音，确定当前音素的音高和响度包括：根据输入的语音，确定该语音对应的音素序列和每个音素的发音时长组成的时长序列；根据当前音素在所述音素序列和所述时长序列中对应的项，确定当前音素的音高和响度。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，还包括：确定情绪系数，所述情绪系数用于表示情绪基调；其中，根据所述各时刻音素对应的面下系数，动态调整各时刻音素对应的第一BS系数，获得各时刻音素对应的第二BS系数，包括：根据所述情绪系数和所述各时刻音素对...

【专利技术属性】
技术研发人员：李宏龙，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：