【技术实现步骤摘要】
本申请涉及计算机视觉，更具体地说，涉及一种数字人物的实时生成方法及装置。
技术介绍
1、二维数字人物生成技术是一项运用计算机视觉技术创造出来的与人类形象接近的数字化人物形象的方法，二维数字人生成技术旨在通过移植人的动作，表情来驱动二维数字人物做出跟人类一样的行为动作，在直播、电商、虚拟社交等领域有着广泛的应用。
2、但是，现有二维数字人物生成动作比较单调，内容表达单一，很多都是采用预设动作和音频驱动进行数字人物驱动，由于数字人物驱动的过程中，数字人物表情和动作都是分开驱动，资源消耗大，难以满足实时的应用需求，从而降低与用户的互动体验。
3、因此，如何提高数字人物与用户的互动性和真实性，是本申请亟需解决的问题。
技术实现思路
1、有鉴于此，本申请公开了一种数字人物的实时生成方法及装置，旨在得到全身动作、面部表情和语音内容语义一致的二维数字人物视频，提高数字人物与用户的互动性和真实性。
2、为了实现上述目的，其公开的技术方案如下：
3、本申请第一...
【技术保护点】
1.一种数字人物的实时生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，训练全身动作生成模型的过程，包括：
3.根据权利要求1所述的方法，其特征在于，所述三维全身姿态序列至少包括肢体骨架信息和表情坐标信息，所述将所述三维全身姿态序列映射为二维全身姿态序列，包括：
4.根据权利要求1所述的方法，其特征在于，所述实时姿态驱动生成模型至少包括外观控制网络、潜在扩散模型和姿态控制模块，训练实时姿态驱动生成模型的过程，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过预先训练的实时姿态驱动生成...
【技术特征摘要】
1.一种数字人物的实时生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，训练全身动作生成模型的过程，包括：
3.根据权利要求1所述的方法，其特征在于，所述三维全身姿态序列至少包括肢体骨架信息和表情坐标信息，所述将所述三维全身姿态序列映射为二维全身姿态序列，包括：
4.根据权利要求1所述的方法，其特征在于，所述实时姿态驱动生成模型至少包括外观控制网络、潜在扩散模型和姿态控制模块，训练实时姿态驱动生成模型的过程，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过预先训练的实时姿态驱动生成模型，对所述二维全身姿态序列和所述二维数字人物形象图像进行实时姿态驱动，得到对应姿态视频，包括：
...【专利技术属性】
技术研发人员：胡灿，张康，姚广，祁晗，杨杰，杨涛，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。