一种卡通数字人实时表情驱动方法、电子设备及存储介质技术

技术编号:46092025 阅读:10 留言:0更新日期:2025-08-12 18:11
本申请提供了一种卡通数字人实时表情驱动方法、电子设备及存储介质,涉及终端技术领域。其中,该方法包括:终端设备首先通过摄像头按照预设频率获取包含目标用户脸部信息的目标图像,再将各个目标图像逐帧输入FaceMesh网络进行目标用户脸部图像的3D重建处理,得到目标用户的脸部3D关键点信息。接着将目标用户的脸部3D关键点信息输入卡通角色表情驱动网络模型,预测得到卡通角色表情基系数和旋转特征表示;进而利用该卡通角色表情基系数和旋转特征表示,结合预设的BlendShape参数模型,根据计算机图形学相关知识进行渲染,得到目标图像对应的卡通角色表情动画图像,并持续输出卡通角色表情动画图像,以形成目标用户对应的卡通数字人实时面部表情驱动动画。

【技术实现步骤摘要】

本申请涉及终端,尤其涉及一种卡通数字人实时表情驱动方法、电子设备及存储介质


技术介绍

1、随着科技的不断发展,以手机和平板电脑为代表的移动终端设备在人们的生活和工作中的应用越来越多,为人们带来了极大的便利。如人们可以通过这些终端设备进行拍照、录制视频以及进行社交通信等。

2、目前,用户在利用终端设备进行社交通信时,通常会自定义卡通数字人形象,以提高社交趣味性。但是,现有的对于卡通数字人表情的驱动方式,往往无法满足移动终端设备的实时性要求,且精度较低,难以达到理想的驱动效果。


技术实现思路

1、为了解决上述问题,本申请提供了一种卡通数字人实时表情驱动方法、电子设备及存储介质,目的在于当用户使用移动终端设备进行社交通信时,能够实现卡通数字人的较高实时性、较高精度的表情驱动,从而为用户提供更加新奇且有趣的社交体验。

2、第一方面,本申请提供了一种卡通数字人实时表情驱动方法,该方法包括:当接收到用户对终端设备拍摄界面触发的卡通数字人生成指令后,终端设备首先响应于该指令,通过摄像头按照预设频率本文档来自技高网...

【技术保护点】

1.一种卡通数字人实时表情驱动方法,其特征在于,应用于终端设备,所述终端设备配置有摄像头,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像输入面部网格FaceMesh网络进行目标用户脸部图像的3D重建处理,得到所述目标用户的脸部3D关键点信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述卡通角色表情驱动网络模型包括关键信息编码器、卡通角色表情基系数预测模块和旋转表示预测模块;所述将所述目标用户的脸部3D关键点信息输入预先构建的卡通角色表情驱动网络模型,预测得到卡通角色表情基系数和旋转特征表示,包括:

4.根据权利要...

【技术特征摘要】

1.一种卡通数字人实时表情驱动方法,其特征在于,应用于终端设备,所述终端设备配置有摄像头,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像输入面部网格facemesh网络进行目标用户脸部图像的3d重建处理,得到所述目标用户的脸部3d关键点信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述卡通角色表情驱动网络模型包括关键信息编码器、卡通角色表情基系数预测模块和旋转表示预测模块;所述将所述目标用户的脸部3d关键点信息输入预先构建的卡通角色表情驱动网络模型,预测得到卡通角色表情基系数和旋转特征表示,包括:

4.根据权利要求3所述的方法,其特征在于,所述关键信息编码器是基于全连接网络结构构建的编码器;所述卡通角色表情基系数预测模块是基于全连接网络结构构建的解码器;所述旋转表示预测模块是基于卷积结构构建的解码器。

5.根据权利要求2所述的方法,其特征在于,所述利用所述卡通角色表情基系数和旋转特征表示,结合预设的混合变形blendshape参数模型,渲染得到所述目标图像对应的卡通角色表情动画图像,包括:

6.根据权利要求1所述的方法,其特征在于,所述持续输出所述卡通角色表情动画图像,以形成所述目标用户对应的卡通数字人实时面部表情驱动动画,包...

【专利技术属性】
技术研发人员:张涵君
申请(专利权)人:荣耀终端股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1