数字人渲染方法、设备、存储介质及程序产品技术

技术编号:46565864 阅读:2 留言:0更新日期:2025-10-10 21:15
本说明书一个或多个实施例提供一种数字人渲染方法、设备、存储介质及程序产品。数字人渲染方法包括:将与待渲染数字人配合的目标语音流进行解析,得到音素序列以及音素序列中的各个音素的语音特征向量;获取预存储的口型向量库,口型向量库用于存储不同音素的语音特征向量与口型控制参数之间的映射关系;基于音素序列中的各个音素的语音特征向量,从口型向量库中,检索得到口型控制参数序列,口型控制参数序列中的各个口型控制参数与音素序列中的各个音素一一对应;基于口型控制参数序列执行数字人渲染任务。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及数字媒体,尤其涉及一种数字人渲染方法、电子设备、计算机可读存储介质及计算机程序产品。


技术介绍

1、在数字媒体技术快速发展的当下,数字人技术的应用已渗透到影视制作、动画生成、虚拟客服、虚拟直播、智能教育等多个领域。随着人工智能、计算机图形学和大数据分析等技术的不断进步,数字人不再仅仅是虚拟角色的代名词,更是各行各业中不可或缺的重要工具。比如在虚拟主播实时直播、智能客服在线沟通、虚拟教师远程授课等场景中,数字人需配合语音的播放实时呈现自然逼真的口型变化。

2、传统方法中,较多采用实时渲染的逐帧计算模式,该模式需要对每帧画面进行完整的顶点运算、光照计算、纹理映射等图形学渲染流程,每一帧都依赖gpu(graphicsprocessing unit,图形处理器)进行大量计算,对硬件算力需求极高。即便是采用云渲染技术,往往一个渲染通道(如单个数字人实时交互通道)就需要独占一张如rtx 4090级别的高端gpu显卡——这类显卡单卡成本较高,导致硬件投入成本居高不下。


技术实现思路</b>

本文档来自技高网...

【技术保护点】

1.一种数字人渲染方法,包括:

2.根据权利要求1所述的方法,在所述基于所述口型控制参数序列执行数字人渲染任务之前,还包括:

3.根据权利要求1所述的方法,所述基于所述口型控制参数序列执行数字人渲染任务,包括:

4.根据权利要求1所述的方法,所述音素序列中的各个音素的语音特征向量,通过对所述音素在至少一个维度的语音特征进行向量化处理得到,所述至少一个维度的语音特征包括语音节奏特征;

5.根据权利要求4所述的方法,所述基于所述口型控制参数序列生成口型控制曲线,包括:

6.根据权利要求5所述的方法,所述语音节奏特征包括所述音素序列中...

【技术特征摘要】

1.一种数字人渲染方法,包括:

2.根据权利要求1所述的方法,在所述基于所述口型控制参数序列执行数字人渲染任务之前,还包括:

3.根据权利要求1所述的方法,所述基于所述口型控制参数序列执行数字人渲染任务,包括:

4.根据权利要求1所述的方法,所述音素序列中的各个音素的语音特征向量,通过对所述音素在至少一个维度的语音特征进行向量化处理得到,所述至少一个维度的语音特征包括语音节奏特征;

5.根据权利要求4所述的方法,所述基于所述口型控制参数序列生成口型控制曲线,包括:

6.根据权利要求5所述的方法,所述语音节奏特征包括所述音素序列中的各个音素的音素持续时长和/或音素变化速度;...

【专利技术属性】
技术研发人员:施晓宇
申请(专利权)人:杭州蚂蚁酷爱科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1