本发明专利技术公开一种数字人动作生成方法、装置及设备，本发明专利技术涉及人工智能识别领域，用于解决现有技术中数字人动作生成无法准确实现的问题。包括：构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；获取目标数字人的图像信息；将图像信息中的姿态信息以及面部信息分别输入人体姿态识别模型以及面部识别模型中，得到目标数字人的姿态数据以及面部数据；与广谱性的数字人生物数据进行融合比对，确定缺失数据；缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。该方法不需要进行动捕，即使模型原型人物无法到现场配合制作或是原型人物已经去世也可以实时预测并生成数字人的新动作，以实现逼真的人物再现效果。物再现效果。物再现效果。
【技术实现步骤摘要】
一种数字人动作生成方法、装置及设备
[0001]本专利技术涉及人工智能识别
，尤其涉及一种数字人动作生成方法、装置及设备。
技术介绍
[0002]虚拟数字人(Metahuman)是“元宇宙”中的基本行为主体，融合了计算机图形学、语音合成技术、计算科学等众多新兴科技，是物理世界用户与“元宇宙”实现交互的媒介，被视为未来人们进入“元宇宙”的入口，简称“数字人”。依靠相对成熟的支撑技术和明确的应用场景，虚拟数字人成为“元宇宙”率先突围落地的
，近年来涌现出虚拟客服、虚拟主播、虚拟主持、虚拟偶像等大量应用方案。数字人，是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真，通过建立多学科和多层次的数字模型以达到对人体从微观到宏观的精确模拟。数字人视频目前已被应用于各种场合，其能够为人们带来比较好的体验。
[0003]目前很多影视和制作流程都可以采用动捕加面捕的技术快速对动画场景搭建，数字人动作都是通过预先录制或者动画构成来实现的。传统的数字人动作生成方式主要是通过动捕和美工动画搭建两种方式来完成。但是，一些情况下我们无法要求一些模型原型人物到现场配合制作，或是原型人物已经去世。从而导致无法实现数字人动作生成。
[0004]因此，亟需提供一种新型的数字人动作生成方案。
技术实现思路
[0005]本专利技术的目的在于提供一种数字人动作生成方法、装置及设备，用于解决现有技术中必须通过预先录制或者动画构成来实现数字人动作生成，在模型原型人物无法到现场配合制作，或是原型人物已经去世的情况下，无法准确实现数字人动作生成的问题。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]第一方面，本专利技术提供一种数字人动作生成方法，方法包括：
[0008]构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；
[0009]获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；
[0010]将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；
[0011]将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；
[0012]将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；
[0013]缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。
[0014]与现有技术相比，本专利技术提供的数字人动作生成方法，通过构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；获取目标数字人的图像信息；将图像
信息中的姿态信息输入人体姿态识别模型中，得到目标数字人的姿态数据；将图像信息中的面部信息输入面部识别模型中，得到目标数字人的面部数据；将姿态数据以及面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。该方法只需要采集目标数字人的动作以及表情即可，不需要进行动捕，即使模型原型人物无法到现场配合制作或是原型人物已经去世也可以实时预测并生成数字人的新动作，以实现逼真的人物再现效果。
[0015]第二方面，一种数字人动作生成装置，装置包括：
[0016]广谱性数字人生物数据生成模块，用于构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；
[0017]目标数字人图像信息获取模块，用于获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；
[0018]姿态数据确定模块，用于将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；
[0019]面部数据确定模块，用于将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；
[0020]缺失数据确定模块，用于将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；
[0021]目标数字人指定动作生成模块，用于缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。
[0022]第三方面，本专利技术提供一种数字人动作生成设备，设备包括：
[0023]通信单元/通信接口，用于获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；
[0024]处理单元/处理器，用于构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；
[0025]将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；
[0026]将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；
[0027]将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；
[0028]缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。
[0029]第四方面，本专利技术提供一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令被运行时，实现上述的数字人动作生成方法。
[0030]第二方面提供的装置类方案、第三方面提供的设备类方案以及第四方面提供的计算机存储介质方案所实现的技术效果与第一方面提供的方法类方案相同，此处不再赘述。
附图说明
[0031]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0032]图1为本专利技术提供的一种数字人动作生成方法流程示意图；
[0033]图2为本专利技术提供的一种数字人动作生成方法的实现步骤示意图；
[0034]图3为本专利技术提供的一种数字人动作生成装置结构示意图；
[0035]图4为本专利技术提供的一种数字人动作生成设备结构示意图。
具体实施方式
[0036]为了便于清楚描述本专利技术实施例的技术方案，在本专利技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0037]需要说明的是，本专利技术中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本专利技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0038]本专利技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字人动作生成方法，其特征在于，方法包括：构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。2.根据权利要求1所述的方法，其特征在于，构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据，具体包括：获取海量用户动作捕捉信息以及面部表情信息；基于海量用户的基本身份信息构建用户生物数据；所述基本身份信息至少包括年龄以及性别；基于所述用户生物数据进行机器学习，构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据。3.根据权利要求2所述的方法，其特征在于，基于所述用户生物数据进行机器学习，构建人体姿态识别模型，具体包括：基于海量用户的动作捕捉信息，采用神经网络算法确定各用户全身关键点数据；基于各用户全身关键点数据做笛卡尔积，得出输入网络的人体姿态数据；基于所述人体姿态数据进行随机森林的训练，得到广谱性的人体姿态识别模型。4.根据权利要求2所述的方法，其特征在于，基于所述用户生物数据进行机器学习，构建面部识别模型，具体包括：基于海量用户的面部表情信息，采用神经网络算法确定各用户的面部检测点信息；对各用户的面部检测点信息与肌肉进行匹配，并对各用户的面部表情进行学习，得到广谱性的面部识别模型。5.根据权利要求1所述的方法，其特征在于，缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作，具体包括：将所述目标数字人的生物数据与广谱性的数字人生物数据进行补充融合，以广谱性的数字人生物数据为基准，对目标数字人的生物数据进行补充融合，得到补充融合后的生物数据库；基于补充融合后的生物数据库中的生物数据生成目标数字人的指定动作。6.根据权利要求3所述的方法，其特征在于，所述图像信息至少包括图片信息、视频信息以及动画信息；基...
【专利技术属性】
技术研发人员：翁海昕，
申请(专利权)人：地球山北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。