驱动数字人的方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了驱动数字人的方法、装置、电子设备和存储介质，本公开涉及人工智能技术领域，尤其数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙等技术领域。具体实现方案为：从目标文件中读取至少一条数据记录；每条数据记录中包括中之人的面部动作数据和/或肢体动作数据；基于至少一条数据记录驱动至少一个目标数字人。本公开通过录制好的目标文件驱动数字人，将录制和驱动分开进行，可以解决数字人的驱动受中之人的工作时间影响较大的问题。的驱动受中之人的工作时间影响较大的问题。的驱动受中之人的工作时间影响较大的问题。

【技术实现步骤摘要】
驱动数字人的方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙等
，具体涉及一种驱动数字人的方法、装置、电子设备和存储介质。

技术介绍

[0002]随着数字人产品的发展，数字人的驱动方式已从简单的AI(人工智能，Artificial Intelligence)口型驱动发展到可以通过对真人的面部动作捕捉(以下简称面捕)、肢体动作捕捉(以下简称动捕)来驱动数字人。面捕驱动、动捕驱动的需求越来越多，这些驱动方式赋予了数字人更多的表现能力。
[0003]基于面捕和动捕来驱动数字人的真人称之为中之人。如何基于中之人来驱动数字人仍是值得探讨的方向。

技术实现思路

[0004]本公开提供了一种用于驱动数字人的方法、装置、设备以及存储介质。
[0005]根据本公开的一方面，提供了一种驱动数字人的方法，包括：
[0006]从目标文件中读取至少一条数据记录；每条数据记录中包括中之人的面部动作数据和/或中之人的肢体动作数据；
[0007]基于至少一条数据记录驱动至少一个目标数字人。
[0008]根据本公开的另一方面，提供了一种驱动数字人的装置，包括：
[0009]读取模块，用于从目标文件中读取至少一条数据记录；每条数据记录中包括中之人的面部动作数据和/或所述中之人的肢体动作数据；
[0010]驱动模块，用于基于所述至少一条数据记录驱动至少一个目标数字人。
[0011]根据本公开的另一方面，提供了一种电子设备，包括：
[0012]至少一个处理器；以及
[0013]与该至少一个处理器通信连接的存储器；其中，
[0014]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0015]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0016]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0017]通过录制好的目标文件驱动数字人，将录制和驱动分开进行，可以解决数字人的驱动受中之人的工作时间较大的问题。一份目标文件可以驱动多个数字人，可提高目标文件利用率。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0020]图1是根据本公开一实施例提供的录制目标文件的流程示意图；
[0021]图2是根据本公开又一实施例提供的录制目标文件的流程示意图
[0022]图3是根据本公开一实施例提供的录制文件的示意图；
[0023]图4是根据本公开一实施例提供的驱动数字人的流程示意图；
[0024]图5是根据本公开一实施例提供的确定指定起始驱动时间点的示意图；
[0025]图6是根据本公开又一实施例提供的驱动数字人的流程示意图；
[0026]图7是根据本公开一实施例提供的驱动数字人的场景示意图；
[0027]图8是根据本公开一实施例提供的驱动数字人的装置的结构示意图；
[0028]图9是用来实现本公开实施例的驱动数字人的方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]随着元宇宙概念的发展，越来越多的数字人进入人们的眼帘。数字人，可狭义的理解为是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。其包括四个交叉重叠的发展阶段，可视人，物理人，生理人，智能人。广义的数字人是指数字技术在人体解剖、物理、生理及智能各个层次，各个阶段的渗透，数字人是正在发展阶段的相关领域的统称。
[0031]本公开所涉及的数字人主要指可视人。当前应用比较普遍的数字人是数字虚拟人，数字虚拟人可作为视频平台的主播、动画形象等。数字人需要真人驱动才能表现出与真人相似的表情或动作。驱动的方式一般包括：首先对中之人进行面捕和/或动捕，以通过面捕获得面部动作数据，并通过动捕获得肢体动作数据。之后，可基于获得的数据驱动数字人做出与真人相近的动作与表情。
[0032]相关技术中，需要中之人实时驱动数字人。但受限于中之人的在线时间，数字人的使用也受到了时间限制。
[0033]为了解决中之人的在线时间对数字人影响较大的问题，本公开实施例提供了一种驱动数字人的方法。在该方法中，对中之人进行面捕和动捕时，可以将面捕数据和动捕数据录制下来，得到目标文件。当然，面捕和动捕可以择一执行，以获得目标文件。之后可以采用目标文件驱动数字人。由此，即使中之人不在线，也能够基于目标文件驱动数字人，且同一目标文件可驱动多个数字人。
[0034]本公开实施例中主要包括两部分，一部分是录制目标文件，另一部分是基于目标文件驱动数字人。为便于理解，下面将从这两部分分别进行说明。
[0035]一、录制目标文件
[0036]在一些实施例中，如图1所示，录制目标文件可包括：
[0037]S101、对中之人进行面部动作捕捉和/或肢体动作捕捉，得到至少一条数据记录。
[0038]其中，在对中之人进行面捕的情况下，每条数据记录中包括中之人的面部动作数据。在对中之人进行动捕的情况下，每条数据记录中包括中之人的肢体动作数据。在对中之人进行面捕和动捕的情况下，每条数据记录中包括中之人的面部动作数据和肢体动作数据。
[0039]在一些实施例中，当在接收到开始录制的指令的情况下，确定开始录制目标文件。确定开始录制目标文件的情况下，执行步骤S101以对中之人进行面捕和/或动捕得到数据记录。
[0040]S102、将至少一条数据记录写入到目标文件中。
[0041]本公开实施例中，对中之人进行面捕、动捕，进而得到包括数据记录的目标文件，使目标文件保存了驱动数字人所需的关键信息，因而可使得目标文件具有驱动数字人的能力，且不会受中之人的在线时间的影响。此外，同一目标文件也可以驱动多个数字人。
[0042]在一些实施例中，面捕得到的面部动作数据包括面捕关键点名称及其对应的面部动作值。在一些实施例中，面捕的关键点为blendshape(混合形状)关键点。使用blendshape前，需提前设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驱动数字人的方法，包括：从目标文件中读取至少一条数据记录；每条数据记录中包括中之人的面部动作数据和/或所述中之人的肢体动作数据；基于所述至少一条数据记录驱动至少一个目标数字人。2.根据权利要求1所述的方法，其中，所述从目标文件中读取至少一条数据记录，包括：获取所述目标文件的总驱动时长中的指定起始驱动时间点；从所述目标文件的所述指定起始驱动时间点开始读取至少一条数据记录。3.根据权利要求2所述的方法，所述目标文件的总驱动时长划分为多个时间段，各时间段具有分别对应的参考时间点，所述目标文件中包括各参考时间点、各参考时间点分别对应的数据记录在所述目标文件中的偏移位置以及每条数据记录在所述总驱动时长中的时间戳；所述从所述目标文件的所述指定起始驱动时间点开始读取至少一条数据记录，包括：获取与所述指定起始驱动时间点最近的参考时间点作为基准时间点；确定所述基准时间点对应的数据记录在所述目标文件中的偏移位置；基于所述偏移位置确定至少一条参考数据记录的时间戳；选取时间戳距离所述指定起始驱动时间点最近的参考数据记录，作为开始驱动位置；从所述目标文件中所述开始驱动位置读取至少一条数据记录。4.根据权利要求2所述的方法，所述从所述目标文件的所述指定起始驱动时间点开始读取至少一条数据记录，还包括：获取与所述指定起始驱动时间点距离最近的时间戳作为起始时间戳；从所述起始时间戳对应的数据记录开始读取至少一条数据记录。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述基于所述至少一条数据记录驱动至少一个目标数字人，包括：针对每个目标数字人分别执行：针对所述至少一条数据记录中的每条数据记录，在该数据记录为所述至少一条数据记录中的第一条数据记录的情况下，基于该数据记录驱动所述目标数字人；存在该数据记录的上一条数据记录的情况下，等待所述上一条数据记录对所述目标数字人驱动结束后，基于该数据记录驱动所述目标数字人。6.根据权利要求5所述的方法，其中，所述等待所述上一条数据记录对所述目标数字人驱动结束后，基于该数据记录驱动所述目标数字人，包括：从所述目标文件中获取该数据记录的时间戳，并获取该数据记录的所述上一条数据记录的时间戳；确定该数据记录的时间戳和所述上一条数据记录的时间戳之间的时间差；确定所述上一条数据记录驱动所述目标数字人的开始时间和所述时间差之间的和值，得到触发时间；在等待至所述触发时间的情况下，确定所述上一条数据记录对所述目标数字人驱动结束，并基于该数据记录驱动所述目标数字人。7.根据权利要求1
‑
6中任一项所述的方法，还包括基于以下方法生成所述目标文件：对所述中之人进行面部动作捕捉和/或肢体动作捕捉，得到至少一条数据记录；
将所述至少一条数据记录写入到所述目标文件中。8.根据权利要求3或4所述的方法，还包括：针对每条数据记录分别执行以下操作，以获取所述数据记录的时间戳：在将所述数据记录写入所述目标文件的情况下，确定所述数据记录的写入结束时间；确定所述写入结束时间和写入所述目标文件的第一条数据记录的写入时间之间的时间差，作为所述数据记录的时间戳。9.根据权利要求3所述的方法，还包括基于以下方法获取各参考时间点和参考时间点对应的数据记录的偏移位置：在向所述目标文件写入数据记录的过程中，每间隔指定时长生成一个参考时间点，并记录所述参考时间点对应的数据记录在所述目标文件中的偏移位置。10.根据权利要求1
‑
9中任一项所述的方法，其中，所述从目标文件中读取至少一条数据记录，包括：在所述至少一条数据记录中包括所述面部动作数据的情况下，从所述目标文件的文件头中读取面部关键点标识，并从所述目标文件中读取所述至少一条数据记录中各条数据记录的面部关键点标识对应的面部动作值；以及，在所述至少一条数据记录中包括所述肢体动作数据的情况下，从所述文件头中读取肢体关键点标识，并从所述目标文件中读取所述至少一条数据记录中各条数据记录的肢体关键点标识对应的肢体动作值。11.一种驱动数字人的装置，包括：读取模块，用于从目标文件中读取至少一条数据记录；每条数据记录中包括中之人的面部动作数据和/或所述中之人的肢体动作数据；驱动模块，用于基于所述至少一条数据记录驱动至少一个目标数字人。12.根据权利要求11所述的装...

【专利技术属性】
技术研发人员：高治力，丁良宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：