模型训练、动作映射方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种模型训练、动作映射方法、装置、电子设备及存储介质。该模型训练方法包括：获取已与数字人面部进行面部绑定的样本面部数据；通过所述样本面部数据驱动所述数字人面部进行样本动作，并对正在进行所述样本动作的所述数字人面部进行采集，得到样本视频；将所述样本视频输入到动作捕捉模型中，得到样本动作数据；基于作为实际输入数据的所述样本动作数据，以及，作为期望输出数据的所述样本面部数据，对原始映射模型进行训练，得到目标映射模型。本发明专利技术实施例的技术方案，可以降低面部绑定成本和工作量。降低面部绑定成本和工作量。降低面部绑定成本和工作量。

【技术实现步骤摘要】
模型训练、动作映射方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及数字人领域，尤其涉及一种模型训练、动作映射方法、装置、电子设备及存储介质。

技术介绍

[0002]在数字人领域中，面部绑定可以用于设定数字人面部上的各个不同部位的动作能力。具体的，通过动作捕捉模型对真实人面部的动作视频进行处理，以从动作视频中捕捉到动作数据，然后将这些动作数据人工绑定到数字人面部上，以让数字人面部进行与真实人面部同样的动作。
[0003]需要说明的是，由于不同的动作捕捉模型在动作捕捉过程中可能存在差异，这意味着针对某动作捕捉模型完成的面部绑定不一定适用于另一动作捕捉模型。也就是说，在新增动作捕捉模型的情况下，需要针对新增的动作捕捉模型重新进行面部绑定。显然，这会导致面部绑定成本和工作量居高不下。

技术实现思路

[0004]本专利技术实施例提供了一种模型训练、动作映射方法、装置、电子设备及存储介质，解决了面部绑定成本和工作量居高不下的问题。
[0005]根据本专利技术的一方面，提供了一种模型训练方法，可以包括：
[0006]获取已与数字人面部进行面部绑定的样本面部数据；
[0007]通过样本面部数据驱动数字人面部进行样本动作，并对正在进行样本动作的数字人面部进行采集，得到样本视频；
[0008]将样本视频输入到动作捕捉模型中，得到样本动作数据；
[0009]基于作为实际输入数据的样本动作数据，以及，作为期望输出数据的样本面部数据，对原始映射模型进行训练，得到目标映射模型。
[0010]根据本专利技术的另一方面，提供了一种动作映射方法，可以包括：
[0011]在目标人面部进行目标动作的情况下，获取对目标人面部进行采集后得到的目标视频，并将目标视频输入到动作捕捉模型，得到目标动作数据；
[0012]获取按照本专利技术任意实施例所提供的模型训练方法训练得到的目标映射模型；
[0013]将目标动作数据输入至目标映射模型，并根据目标映射模型的输出结果，映射得到可在数字人面部上进行面部绑定的目标面部数据；
[0014]其中，数字人面部和动作捕捉模型，与目标映射模型关联。
[0015]根据本专利技术的另一方面，提供了一种模型训练装置，可以包括：
[0016]样本面部数据获取模块，用于获取已与数字人面部进行面部绑定的样本面部数据；
[0017]样本视频得到模块，用于通过样本面部数据驱动数字人面部进行样本动作，并对正在进行样本动作的数字人面部进行采集，得到样本视频；
[0018]样本动作数据得到模块，用于将样本视频输入到动作捕捉模型中，得到样本动作数据；
[0019]目标映射模型得到模块，用于基于作为实际输入数据的样本动作数据，以及，作为期望输出数据的样本面部数据，对原始映射模型进行训练，得到目标映射模型。
[0020]根据本专利技术的另一方面，提供了一种动作映射装置，可以包括：
[0021]目标动作数据得到模块，用于在目标人面部进行目标动作的情况下，获取对目标人面部进行采集后得到的目标视频，并将目标视频输入到动作捕捉模型，得到目标动作数据；
[0022]目标映射模型获取模块，用于获取按照本专利技术任意实施例所提供的模型训练方法训练得到的目标映射模型；
[0023]目标面部数据得到模块，用于将目标动作数据输入至目标映射模型，并根据目标映射模型的输出结果，映射得到可在数字人面部上进行面部绑定的目标面部数据；
[0024]其中，数字人面部和动作捕捉模型，与目标映射模型关联。
[0025]根据本专利技术的另一方面，提供了一种电子设备，可以包括：
[0026]至少一个处理器；以及
[0027]与至少一个处理器通信连接的存储器；其中，
[0028]存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行本专利技术任意实施例所提供的模型训练方法，或者本专利技术任意实施例所提供的动作映射方法。
[0029]根据本专利技术的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本专利技术任意实施例所提供的模型训练方法，或者本专利技术任意实施例所提供的动作映射方法。
[0030]本专利技术实施例的技术方案，通过获取已与数字人面部进行面部绑定的样本面部数据；再通过样本面部数据驱动数字人面部进行样本动作，并对正在进行样本动作的数字人面部进行采集，得到样本视频；将样本视频输入到动作捕捉模型中，得到样本动作数据；并基于作为实际输入数据的样本动作数据，以及，作为期望输出数据的样本面部数据，对原始映射模型进行训练，得到目标映射模型。本专利技术实施例的技术方案，可以通过训练出目标映射模型自适应的学习和完成的面部绑定，并且只需对数字人与动作捕捉模型面部绑定一次，无需使其他动作捕捉模型也与数字人进行面部绑定，从而降低面部绑定成本和工作量。
[0031]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或是重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术实施例一提供的一种模型训练方法的流程图；
[0034]图2是本专利技术实施例一提供的一种模型训练方法中数字人眼部在不同张合程度下
的示意图；
[0035]图3是本专利技术实施例二提供的一种模型训练方法的流程图；
[0036]图4是本专利技术实施例二提供的一种模型训练方法中将样本动作数据映射至样本图像中的示意图；
[0037]图5是本专利技术实施例二提供的一种模型训练方法中的可选示例的流程图；
[0038]图6是本专利技术实施例二提供的一种卷积神经网络的结构图；
[0039]图7是本专利技术实施例三提供的一种模型训练方法的流程图；
[0040]图8是本专利技术实施例三提供的一种模型训练方法中的可选示例的流程图；
[0041]图9是本专利技术实施例三提供的一种模型训练方法中的另一可选示例的流程图；
[0042]图10是本专利技术实施例四提供的一种动作映射方法的流程图；
[0043]图11是本专利技术实施例四提供的一种动作映射方法中的可选示例的流程图；
[0044]图12是本专利技术实施例四提供的一种动作映射方法中的另一可选示例的流程图；
[0045]图13是本专利技术实施例五提供的一种模型训练装置的结构框图；
[0046]图14是本专利技术实施例六提供的一种动作映射装置的结构框图；
[0047]图15是实现本专利技术实施例的模型训练方法或是动作映射方法的电子设备的结构示意图。...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取已与数字人面部进行面部绑定的样本面部数据；通过所述样本面部数据驱动所述数字人面部进行样本动作，并对正在进行所述样本动作的所述数字人面部进行采集，得到样本视频；将所述样本视频输入到动作捕捉模型中，得到样本动作数据；基于作为实际输入数据的所述样本动作数据，以及，作为期望输出数据的所述样本面部数据，对原始映射模型进行训练，得到目标映射模型。2.根据权利要求1所述的方法，其特征在于，在所述得到样本动作数据之后，所述方法还包括：对所述样本动作数据进行位置编码，得到位置特征，并对各所述位置特征进行组合排列，得到样本图像；将所述样本动作数据放置在所述样本图像中，并将放置后得到的所述样本图像作为所述样本动作数据。3.根据权利要求2所述的方法，其特征在于，用于进行回归的所述原始映射模型中包括卷积神经网络；基于作为实际输入数据的所述样本动作数据，以及，作为期望输出数据的所述样本面部数据，对原始映射模型进行训练，得到目标映射模型，包括：将作为实际输入数据的所述样本动作数据输入到所述卷积神经网络中，以通过所述卷积神经网络对所述样本动作数据进行特征提取，并且根据特征提取结果回归出与所述样本面部数据对应的回归面部数据；将作为期望输出数据的所述样本面部数据，以及作为实际输出数据的所述回归面部数据进行对比，并根据对比结果调整所述原始映射模型中的网络参数，以训练得到目标映射模型。4.根据权利要求1所述的方法，其特征在于，所述样本面部数据的数量是多帧，在所述获取已与数字人面部进行面部绑定的样本面部数据之后，还包括：针对多帧所述样本面部数据组成的多个视频片段中的每个所述视频片段，为所述视频片段中的首帧所述样本面部数据设置目标声音信号；在所述得到样本视频之后，所述方法还包括：对所述样本视频中的声音分量进行侦测，得到所述样本视频中包含有所述目标声音信号的样本视频帧，并确定所述包含有所述目标声音信号的样本视频帧在所述样本视频中的视频帧位置；结合各所述样本动作数据在所述样本视频中分别对应的样本视频帧，从各所述样本动作数据中确定与所述视频帧位置对应的位置动作数据；根据各所述位置动作数据及每个所述视频片段的片段时长，对各所述样本动作数据中存在裁剪需求的所述样本动作数据进行裁剪，并基于裁剪后保留下来的所述样本动作数据对捕捉到的所述样本动作数据进行更新。5.根据权利要求4所述的方法，其特征在于，在所述结合各所述样本动作数据在所述样本视频中分别对应的样本视频帧之前，还包括：对各所述样本动作数据进行重采样，并基于重采样结果对捕捉到的所述样本动作数据
进行更新。6.根据权利要求1所述的方法，其特征在于，所述获取已与数字人面部进行面部绑定的样本面部数据，包括：获取面部数据集合，其中，所述面部数据集合中包...

【专利技术属性】
技术研发人员：胡瑛皓，赵明璧，郭林海，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：