数字人脸生成方法、装置、存储介质以及电子设备制造方法及图纸

本公开涉及一种数字人脸生成方法、装置、存储介质以及电子设备，涉及计算机技术领域，该方法通过确定目标音频对应的HuBERT特征序列，并将HuBERT特征序列输入训练好的关键点预测模型，获得人脸关键点序列，然后基于人脸关键点序列，获得目标音频对应的数字人脸。通过使用HuBERT特征预测人脸关键点，使得人脸关键点与目标音频对应的说话人进行解耦，不仅可以接入其他说话人的音色，而且关键点预测模型无需使用特定语种的数据进行训练也能够输出特定语种的人脸关键点。例如，无需使用小语种数据对关键点预测模型进行训练，即可生成小语种的人脸关键点，当然，也能够应用至方言的人脸关键点预测。关键点预测。关键点预测。

【技术实现步骤摘要】
数字人脸生成方法、装置、存储介质以及电子设备


[0001]本公开涉及计算机
，具体地，涉及一种数字人脸生成方法、装置、存储介质以及电子设备。

技术介绍

[0002]随着计算机技术的不断发展，语音识别与文本合成语音技术被越来越多地应用于音频驱动的数字人脸动画生成，即通过输入文本或音频，生成与文本或音频相匹配的数字人脸。
[0003]但是，目前的数字人脸生成技术，要么是生成的数字人脸与训练时的音素紧耦合，导致无法使用训练数据之外的音素，要么是与训练时的音频的音色紧耦合，导致在使用训练数据以外的说话人时，效果变差。因此，相关的数字人脸生成技术有待改进。

技术实现思路

[0004]提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，本公开实施例提供一种数字人脸生成方法，包括：
[0006]确定目标音频对应的HuBERT特征序列；
[0007]将所述HuBERT特征序列输入训练好的关键点预测模型，获得所述关键点预测模型输出的人脸关键点序列；
[0008]基于所述人脸关键点序列，获得所述目标音频对应的数字人脸。
[0009]第二方面，本公开实施例提供一种数字人脸生成装置，包括：
[0010]确定模块，被配置为确定目标音频对应的HuBERT特征序列；
[0011]获得模块，被配置为将所述HuBERT特征序列输入训练好的关键点预测模型，获得所述关键点预测模型输出的人脸关键点序列；
[0012]生成模块，被配置为基于所述人脸关键点序列，获得所述目标音频对应的数字人脸图像。
[0013]第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。
[0014]第四方面，本公开实施例提供一种电子设备，包括：
[0015]存储装置，其上存储有至少一个计算机程序；
[0016]至少一个处理装置，用于执行所述存储装置中的所述至少一个计算机程序，以实现第一方面所述方法的步骤。
[0017]基于上述技术方案，通过确定目标音频对应的HuBERT特征序列，并将HuBERT特征序列输入训练好的关键点预测模型，获得人脸关键点序列，然后基于人脸关键点序列，获得目标音频对应的数字人脸，由于HuBERT特征不包含音色信息，关键点预测模型在预测的过
程中，可以更换不同人的HuBERT特征，并且输出正确的关键点。可见，通过使用HuBERT特征预测人脸关键点，使得人脸关键点与目标音频对应的说话人进行解耦，不仅可以接入其他说话人的音色，而且关键点预测模型无需使用特定语种的数据进行训练也能够输出特定语种的人脸关键点。例如，无需使用小语种数据对关键点预测模型进行训练，即可生成小语种的人脸关键点，当然，也能够应用至方言的人脸关键点预测。
[0018]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0019]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0020]图1是根据一示例性实施例示出的一种数字人脸生成方法的流程图。
[0021]图2是根据一示例性实施例示出的获得关键点预测模型的流程图。
[0022]图3是根据一示例性实施例示出的获得目标训练样本的流程图。
[0023]图4是根据一示例性实施例示出的关键点预测模型的结构示意图。
[0024]图5是图2所示步骤220的详细流程图。
[0025]图6是根据另一示例性实施例示出的关键点预测模型的结构示意图。
[0026]图7是根据一示例性实施例示出的一种数字人脸生成方法的应用场景图。
[0027]图8是根据另一示例性实施例示出的一种数字人脸生成方法的应用场景图。
[0028]图9是根据一示例性实施例示出的一种数字人脸生成装置的模块连接示意图。
[0029]图10是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
[0030]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0031]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0032]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0033]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0034]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0035]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性
的目的，而并不是用于对这些消息或信息的范围进行限制。
[0036]本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
[0037]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0038]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0039]作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人脸生成方法，其特征在于，包括：确定目标音频对应的HuBERT特征序列；将所述HuBERT特征序列输入训练好的关键点预测模型，获得所述关键点预测模型输出的人脸关键点序列；基于所述人脸关键点序列，获得所述目标音频对应的数字人脸。2.根据权利要求1所述的方法，其特征在于，所述训练好的关键点预测模型通过以下步骤获得：获取目标训练样本，其中，所述目标训练样本包括标记有人脸关键点的HuBERT特征；基于所述目标训练样本，对初始的关键点预测模型进行训练，获得所述训练好的关键点预测模型。3.根据权利要求2所述的方法，其特征在于，所述获取目标训练样本，包括：对目标视频进行音视频分离处理，获得样本音频以及样本视频；将所述样本音频输入训练好的HuBERT模型，获得所述HuBERT模型输出的样本HuBERT特征序列；将所述样本视频输入训练好的关键点提取模型，获得所述关键点提取模型输出的样本人脸关键点序列；基于所述样本HuBERT特征序列以及所述样本人脸关键点序列，获得所述目标训练样本。4.根据权利要求3所述的方法，其特征在于，所述基于所述样本HuBERT特征序列以及所述样本人脸关键点序列，获得所述目标训练样本，包括：针对所述样本HuBERT特征序列中的每一帧HuBERT特征，根据在该帧HuBERT特征之前的第一数量的HuBERT特征以及在该帧HuBERT特征之后的第二数量的HuBERT特征，获得初始训练样本；将所述样本人脸关键点序列中与该帧HuBERT特征对应的关键点作为所述初始训练样本的标签，获得所述目标训练样本。5.根据权利要求2所述的方法，其特征在于，所述基于所述目标训练样本，对初始的关键点预测模型进行训练，获得所述训练好的关键点预测模型，包括：将所述目标训练样本以及说话...

【专利技术属性】
技术研发人员：梁爽，樊博，张昊宇，马泽君，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：