【技术实现步骤摘要】
基于模板化编辑的AI数字人视频生成方法、装置及设备
[0001]本专利技术涉及人工智能
,尤其涉及一种基于模板化编辑的AI数字人视频生成方法、装置及设备。
技术介绍
[0002]现有的AI虚拟主播、虚拟形象产品,操作流程为主播视频采集
‑
>数据处理
‑
>模型训练
‑
>形象输出;制作输出阶段基于训练好的主播形象,根据输入的文稿、语音,加上可选的主播情绪,背景图片、视频,站姿、坐姿等进行视频生成输出;只能实现文字、声音到表情的驱动,无肢体动作;只能使用图片或预制的视频做背景进行合成输出,不能与三维图文包装内容进行合成;亦不能对三维图文包装内容在视频生成过程中进行播放控制。因此,现有的基于AI虚拟主播的视频生成方法存在灵活性不足、视频生成效率不高的问题。
技术实现思路
[0003]本专利技术实施例提供了一种基于模板化编辑的AI数字人视频生成方法、装置、设备及介质,旨在解决现有技术方法中所存在的无法高效生成AI数字人视频的问题。
[0004]第一方面,本专利技术实施例提供了一种基于模板化编辑的AI数字人视频生成方法,所述方法包括:
[0005]根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,所述AI数字人形象包包括每一所述目标对象对应的多个组合形象以及与每一所述组合形象对应的蓝背景预览视频;所述AI数字人形象包可以包含2D AI数字人形象数据包和/或3D AI数 ...
【技术保护点】
【技术特征摘要】
1.一种基于模板化编辑的AI数字人视频生成方法,其特征在于,所述方法包括:根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,所述AI数字人形象包包括每一所述目标对象对应的多个组合形象以及与每一所述组合形象对应的蓝背景预览视频;所述AI数字人形象包可以包含2D AI数字人形象数据包和/或3D AI数字人形象数据包;对3D模板及所述AI数字人形象包中每一蓝背景预览视频进行模板化图文视频编辑及预览,以制作得到与每一所述蓝背景预览视频对应的播出条目组成的播出列表;将包含蓝背景预览视频的播出条目与文本内容进行组合,以生成与每一所述播出条目对应的播出条目文稿,其中所述文本内容包括文本、情绪及肢体动作;将播出条目和播出条目文稿中可变化/替换的内容导出为模板参数,以将播出列表转换为播出模板;根据播出列表中每一所述播出条目文稿或播出模板对应的播出列表中每一所述播出条目文稿进行AI推理以生成对应的蓝背景AI数字人视频及控制指令,或者是生成对应的面部表情数据、骨骼模型数据及控制指令;对每一所述播出条目文稿对应的蓝背景AI数字人视频进行抠像后,与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;或者是,对每一所述播出条目文稿对应的面部表情数据和骨骼模型数据驱动AI数字人3d模型与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;所述控制指令用于生成合成视频时对播出内容进行播放控制。2.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,包括:使用蓝箱中采集的目标对象的音视频数据对所述AI模型进行训练,以得到与每一组合形象对应的AI数字人形象模型;根据所述AI数字人形象模型分别生成与每一所述组合形象对应的蓝背景预览视频,每一所述组合形象均由姿势、肢体动作及表情组合得到。3.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述对3D模板及所述AI数字人形象包中每一蓝背景预览视频进行模板化图文视频编辑及预览,以制作得到与每一所述蓝背景预览视频对应的播出条目组成的播出列表,包括:根据所述3D模板中的形象标识,获取所述AI数字人形象包中与每一所述形象标识对应组合形象的蓝背景预览视频作为场景元素替换所述形象标识;对添加至所述3D模板中的蓝背景预览视频进行抠像生成带Alpha通道的视频帧序列后,与所述3D模板中的三维虚拟元素结合并进行模板化图文视频编辑及预览,以制作得到与每一目标对象对应的播出条目。4.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述播出列表中播出条目的播出方式包括自动播出、手动播出、定时播出、顺序播出、热键触发播出及VR手柄触发,所述播出条目可单独播出或与其它播出条目进行组合播出。5.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述控制指令用于对PPT的标注、动画播放、文字显示或视频播放进行播放控制。6.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述
对每一所述播出条目文稿对...
【专利技术属性】
技术研发人员:刘玉婷,丁淑华,刘子健,
申请(专利权)人:深圳迪乐普数码科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。