数字人驱动方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种数字人驱动方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：基于指定运动视频，提取所述指定运动视频在三维空间的运动状态特征；对所述指定运动视频中的运动进行触地检测，获取触地检测结果；基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库，获取所述指定运动视频所展示的运动的目标运动状态特征；基于所述目标运动状态特征，对数字人进行迁移驱动。本公开的技术，能够有效地提高数字人的运动驱动的设计效率。率。率。

【技术实现步骤摘要】
数字人驱动方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及人工智能
，具体为增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙、虚拟数字人等场景。尤其涉及一种数字人驱动方法、装置、电子设备及存储介质。

技术介绍

[0002]虚拟的数字人是创建元宇宙虚拟世界的关键元素之一。数字人的高质量的写实驱动和生成驱动一直是一个难题。
[0003]为了满足虚拟的数字人的动态写实和逼真等自然需求，对数字人的动态驱动和渲染需要对数字人几何材质、骨骼权重等进行细粒度建模优化。对应的运动驱动，往往是根据业务需求，依赖专业设计人员进行设计、迭代和优化得到的。目前，高质量的虚拟数字人的驱动设计，由专业的动画师对虚拟形象及其服饰进行几何建模、权重绑定估计等专业优化设计，以达到适配业务需求的基本资产生成驱动。

技术实现思路

[0004]本公开提供了一种数字人驱动方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种数字人驱动方法，包括：
[0006]基于指定运动视频，提取所述指定运动视频在三维空间的运动状态特征；
[0007]对所述指定运动视频中的运动进行触地检测，获取触地检测结果；
[0008]基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库，获取所述指定运动视频所展示的运动的目标运动状态特征；
[0009]基于所述目标运动状态特征，对数字人进行迁移驱动。
[0010]根据本公开的另一方面，提供了一种数字人驱动装置，包括：
[0011]特征提取模块，用于基于指定运动视频，提取所述指定运动视频在三维空间的运动状态特征；
[0012]检测结果获取模块，用于对所述指定运动视频中的运动进行触地检测，获取触地检测结果；
[0013]特征获取模块，用于基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库，获取所述指定运动视频所展示的运动的目标运动状态特征；
[0014]驱动模块，用于基于所述目标运动状态特征，对数字人进行迁移驱动。
[0015]根据本公开的再一方面，提供了一种电子设备，包括：
[0016]至少一个处理器；以及
[0017]与所述至少一个处理器通信连接的存储器；其中，
[0018]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式
的方法。
[0019]根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
[0020]根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
[0021]根据本公开的技术，能够有效地提高数字人的运动驱动的设计效率。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开第一实施例的示意图；
[0024]图2是根据本公开第二实施例的示意图；
[0025]图3是根据本公开第三实施例的示意图；
[0026]图4是根据本公开第四实施例的示意图；
[0027]图5是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
[0028]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0029]显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0030]需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
[0031]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0032]现有的专业动画师对虚拟的数字人的驱动的设计，需要专业软件进行操作，并对运动建立物理约束，进而得到每个特定的数字人的运动驱动方法。而且不同的数字人的运动不同，相应的运动驱动方案也不同，整个过程不仅成本非常高，而且费时费力，数字人的运动驱动方案的设计效率非常低。
[0033]图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种数字人驱动方法，具体可以包括如下步骤：
[0034]S101、基于指定运动视频，提取指定运动视频在三维空间的运动状态特征；
[0035]本实施例的指定运动视频，可以指的是运动对象如人做运动的视频。例如，这里的运动可以是伸胳膊、抬腿、打羽毛球、踢足球等任何运动操作。本实施例的目的是通过该指定运动视频，驱动虚拟的数字人按照指定运动视频中的运动方式，也执行该运动。也可以说是，驱动虚拟的数字人模仿指定运动视频中的运动。
[0036]为了实现运动视频驱动数字人的运动，需要先提取该指定运动视频在三维空间的运动状态特征，该运动状态特征可以标识指定运动视频中的人在运动中的状态特征信息。
[0037]S102、对指定运动视频中的运动进行触地检测，获取触地检测结果；
[0038]本实施例的触地检测，指的是检测运动视频中的运动对象在运动过程中是否接触地面。由于运动过程中，接触地面会出现速度迅速降为0、加速度较大等比较明显的运动状态特征，这些运动状态特征在驱动数字人的时候，需要特别注意。所以，本实施例中，为了准确、有效地对数字人进行驱动，需要对运动视频中的运动进行触地检测。
[0039]S103、基于指定运动视频的运动状态特征、触地检测结果和预先建立的运动状态数据库，获取指定运动视频所展示的运动的目标运动状态特征；
[0040]本实施例中，运动状态数据库中可以包括运动对象如人在三维空间中做各种运动时的运动状态特征。该运动状态数据库为预先采集并建立的。
[0041]S10本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人驱动方法，包括：基于指定运动视频，提取所述指定运动视频在三维空间的运动状态特征；对所述指定运动视频中的运动进行触地检测，获取触地检测结果；基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库，获取所述指定运动视频所展示的运动的目标运动状态特征；基于所述目标运动状态特征，对数字人进行迁移驱动。2.根据权利要求1所述的方法，其中，基于指定运动视频，提取所述指定运动视频在三维空间的运动状态特征，包括：感知所述指定运动视频的各帧图像中的二维空间的第一运动状态信息；将所述指定运动视频的各帧图像中的所述第一运动状态信息映射至三维参数化模型中，得到三维空间的第二运动状态信息；基于所述指定运动视频的各帧图像的所述第二运动状态信息，构建所述指定运动视频在三维空间的所述运动状态特征。3.根据权利要求1所述的方法，其中，基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库，获取所述指定运动视频所展示的运动的目标运动状态特征，包括：检测所述触地检测结果标识的所述指定运动视频中的运动是否触地；若触地，从所述运动状态数据库中获取与所述运动状态特征最匹配的第一候选运动状态特征以及相应的第一匹配度；基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征，获取所述指定运动视频所展示的运动的所述目标运动状态特征。4.根据权利要求3所述的方法，其中，基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征，获取所述指定运动视频所展示的运动的所述目标运动状态特征，包括：若所述第一匹配度大于或者等于所述第一预设匹配度阈值，将所述第一候选运动状态特征作为所述目标运动状态特征。5.根据权利要求4所述的方法，其中，基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征，获取所述指定运动视频所展示的运动的所述目标运动状态特征，还包括：若所述第一匹配度小于所述第一预设匹配度阈值，基于所述第一候选运动状态特征和所述运动状态特征，进行插值计算，获取所述目标运动状态特征。6.根据权利要求3所述的方法，其中，基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库，获取所述指定运动视频所展示的运动的目标运动状态特征，还包括：若所述触地检测结果标识的所述指定运动视频中的运动未触地，基于所述运动状态特征，抽取关键帧运动状态特征；从所述运动状态数据库中获取与所述关键帧运动状态特征最匹配的候选关键帧运动状态特征以及相应的第二匹配度；基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键
帧运动状态特征和所述运动状态特征，获取所述指定运动视频所展示的运动的所述目标运动状态特征。7.根据权利要求6所述的方法，其中，基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键帧运动状态特征和所述运动状态特征，获取所述指定运动视频所展示的运动的所述目标运动状态特征，包括：若所述第二匹配度大于或者等于所述第二预设匹配度阈值，基于所述候选关键帧运动状态特征和所述运动状态特征，获取所述目标运动状态特征。8.根据权利要求7所述的方法，其中，基于所述候选关键帧运动状态特征和所述运动状态特征，获取所述目标运动状态特征，包括：将所述运动状态特征中，所述关键帧运动状态特征替换为所述候选关键帧运动状态特征，作为所述目标运动状态特征。9.根据权利要求7所述的方法，其中，基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键帧运动状态特征和所述运动状态特征，获取所述指定运动视频所展示的运动的所述目标运动状态特征，还包括：若所述第二匹配度小于第二预设匹配度阈值，基于所述候选关键帧运动状态特征和所述关键帧运动状态特征进行插值计算，获取目标关键帧运动状态特征；基于所述目标关键帧运动状态特征和所述运动状态特征，获取所述目标运动状态特征。10.根据权利要求9所述的方法，其中，基于所述目标关键帧运动状态特征和所述运动状态特征，获取所述目标运动状态特征，包括：将所述运动状态特征中，所述关键帧运动状态特征替...

【专利技术属性】
技术研发人员：李杰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：