基于模板化编辑的AI数字人视频生成方法、装置及设备制造方法及图纸

技术编号:33135959 阅读:20 留言:0更新日期:2022-04-17 01:00
本发明专利技术公开了基于模板化编辑的AI数字人视频生成方法、装置及设备,方法包括:采集目标对象的音视频数据进行AI模型训练以生成AI数字人形象包,对3D模板及AI数字人形象包进行模板化图文视频编辑及预览,制作得到包含播出条目的播出列表,将包含蓝背景预览视频的播出条目与文本内容进行组合以生成播出条目文稿,根据AI数字人形象模型及每一播出条目文稿进行AI推理生成蓝背景AI数字人视频及控制指令,对蓝背景AI数字人视频进行抠像后与对应的3D模板进行渲染合成得到合成视频。本发明专利技术属于人工智能技术领域,通过模板化编辑的方法生成包含AI数字人视频的合成视频,只需修改模板参数即可快速、批量制作AI数字人视频内容,大幅提升了视频的生成效率。了视频的生成效率。了视频的生成效率。

【技术实现步骤摘要】
基于模板化编辑的AI数字人视频生成方法、装置及设备


[0001]本专利技术涉及人工智能
,尤其涉及一种基于模板化编辑的AI数字人视频生成方法、装置及设备。

技术介绍

[0002]现有的AI虚拟主播、虚拟形象产品,操作流程为主播视频采集

>数据处理

>模型训练

>形象输出;制作输出阶段基于训练好的主播形象,根据输入的文稿、语音,加上可选的主播情绪,背景图片、视频,站姿、坐姿等进行视频生成输出;只能实现文字、声音到表情的驱动,无肢体动作;只能使用图片或预制的视频做背景进行合成输出,不能与三维图文包装内容进行合成;亦不能对三维图文包装内容在视频生成过程中进行播放控制。因此,现有的基于AI虚拟主播的视频生成方法存在灵活性不足、视频生成效率不高的问题。

技术实现思路

[0003]本专利技术实施例提供了一种基于模板化编辑的AI数字人视频生成方法、装置、设备及介质,旨在解决现有技术方法中所存在的无法高效生成AI数字人视频的问题。
[0004]第一方面,本专利技术实施例提供了一种基于模板化编辑的AI数字人视频生成方法,所述方法包括:
[0005]根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,所述AI数字人形象包包括每一所述目标对象对应的多个组合形象以及与每一所述组合形象对应的蓝背景预览视频;所述AI数字人形象包可以包含2D AI数字人形象数据包和/或3D AI数字人形象数据包;
[0006]对3D模板及所述AI数字人形象包中每一蓝背景预览视频进行模板化图文视频编辑及预览,以制作得到与每一所述蓝背景预览视频对应的播出条目组成的播出列表;
[0007]将包含蓝背景预览视频的播出条目与文本内容进行组合,以生成与每一所述播出条目对应的播出条目文稿,其中所述文本内容包括文本、情绪及肢体动作;
[0008]将播出条目和播出条目文稿中可变化/替换的内容导出为模板参数,以将播出列表转换为播出模板;
[0009]根据播出列表中每一所述播出条目文稿或播出模板对应的播出列表中每一所述播出条目文稿进行AI推理以生成对应的蓝背景AI数字人视频及控制指令,或者是生成对应的面部表情数据、骨骼模型数据及控制指令;对每一所述播出条目文稿对应的蓝背景AI数字人视频进行抠像后,与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;或者是,对每一所述播出条目文稿对应的面部表情数据和骨骼模型数据驱动AI数字人3d模型与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;所述控制指令用于生成合成视频时对播出内容进行播放控制。
[0010]第二方面,本专利技术实施例提供了一种基于模板化编辑的AI数字人视频生成装置,
其包括:
[0011]形象包生成单元,用于根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,所述AI数字人形象包包括每一目标对象对应的多个组合形象以及与每一所述组合形象对应的蓝背景预览视频;所述AI数字人形象包可以包含2D AI数字人形象数据包和/或3D AI数字人形象数据包;
[0012]播出列表生成单元,用于对3D模板及所述AI数字人形象包中每一蓝背景预览视频进行模板化图文视频编辑及预览,以制作得到与每一所述蓝背景预览视频对应的播出条目组成的播出列表;
[0013]播出条目文稿生成单元,用于将包含蓝背景预览视频的播出条目与文本内容进行组合,以生成与每一所述播出条目对应的播出条目文稿,其中所述文本内容包括文本、情绪及肢体动作;
[0014]播出模板获取单元,用于将播出条目和播出条目文稿中可变化/替换的内容导出为模板参数,以将播出列表转换为播出模板;
[0015]合成视频生成单元,用于根据播出列表中每一所述播出条目文稿或播出模板对应的播出列表中每一所述播出条目文稿进行AI推理以生成对应的蓝背景AI数字人视频及控制指令,或者是生成对应的面部表情数据、骨骼模型数据及控制指令;对每一所述播出条目文稿对应的蓝背景AI数字人视频进行抠像后,与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;或者是,对每一所述播出条目文稿对应的面部表情数据和骨骼模型数据驱动AI数字人3d模型与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;所述控制指令用于生成合成视频时对播出内容进行播放控制。
[0016]第三方面,本专利技术实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的基于模板化编辑的AI数字人视频生成方法。
[0017]第四方面,本专利技术实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于模板化编辑的AI数字人视频生成方法。
[0018]本专利技术实施例提供了一种基于模板化编辑的AI数字人视频生成方法、装置及设备。采集目标对象的音视频数据进行AI模型训练以生成AI数字人形象包,对3D模板及AI数字人形象包进行模板化图文视频编辑及预览,制作得到包含播出条目的播出列表,将包含蓝背景预览视频的播出条目与文本内容进行组合以生成播出条目文稿,根据AI数字人形象模型及每一播出条目文稿进行AI推理生成蓝背景AI数字人视频及控制指令,对蓝背景AI数字人视频进行抠像后与对应的3D模板进行渲染合成得到合成视频。通过上述方法,通过模板化编辑的制作方法生成包含AI数字人视频的合成视频,只需修改模板参数,就可快速、批量制作AI数字人视频内容,大幅提升了AI数字人视频内容的生成效率。
附图说明
[0019]为了更清楚地说明本专利技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普
通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术实施例提供的基于模板化编辑的AI数字人视频生成方法的流程示意图;
[0021]图2为本专利技术实施例提供的基于模板化编辑的AI数字人视频生成方法的子流程示意图;
[0022]图3为本专利技术实施例提供的基于模板化编辑的AI数字人视频生成方法的另一子流程示意图;
[0023]图4为本专利技术实施例提供的基于模板化编辑的AI数字人视频生成方法的又一子流程示意图;
[0024]图5为本专利技术实施例提供的基于模板化编辑的AI数字人视频生成方法的再一子流程示意图;
[0025]图6为本专利技术实施例提供的基于模板化编辑的AI数字人视频生成装置的示意性框图;
[0026]图7为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于模板化编辑的AI数字人视频生成方法,其特征在于,所述方法包括:根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,所述AI数字人形象包包括每一所述目标对象对应的多个组合形象以及与每一所述组合形象对应的蓝背景预览视频;所述AI数字人形象包可以包含2D AI数字人形象数据包和/或3D AI数字人形象数据包;对3D模板及所述AI数字人形象包中每一蓝背景预览视频进行模板化图文视频编辑及预览,以制作得到与每一所述蓝背景预览视频对应的播出条目组成的播出列表;将包含蓝背景预览视频的播出条目与文本内容进行组合,以生成与每一所述播出条目对应的播出条目文稿,其中所述文本内容包括文本、情绪及肢体动作;将播出条目和播出条目文稿中可变化/替换的内容导出为模板参数,以将播出列表转换为播出模板;根据播出列表中每一所述播出条目文稿或播出模板对应的播出列表中每一所述播出条目文稿进行AI推理以生成对应的蓝背景AI数字人视频及控制指令,或者是生成对应的面部表情数据、骨骼模型数据及控制指令;对每一所述播出条目文稿对应的蓝背景AI数字人视频进行抠像后,与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;或者是,对每一所述播出条目文稿对应的面部表情数据和骨骼模型数据驱动AI数字人3d模型与所述播出条目文稿对应的3D模板进行渲染合成得到与每一所述播出条目对应的合成视频;所述控制指令用于生成合成视频时对播出内容进行播放控制。2.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述根据预置的AI模型生成与蓝箱中采集的目标对象的音视频数据对应的AI数字人形象包,包括:使用蓝箱中采集的目标对象的音视频数据对所述AI模型进行训练,以得到与每一组合形象对应的AI数字人形象模型;根据所述AI数字人形象模型分别生成与每一所述组合形象对应的蓝背景预览视频,每一所述组合形象均由姿势、肢体动作及表情组合得到。3.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述对3D模板及所述AI数字人形象包中每一蓝背景预览视频进行模板化图文视频编辑及预览,以制作得到与每一所述蓝背景预览视频对应的播出条目组成的播出列表,包括:根据所述3D模板中的形象标识,获取所述AI数字人形象包中与每一所述形象标识对应组合形象的蓝背景预览视频作为场景元素替换所述形象标识;对添加至所述3D模板中的蓝背景预览视频进行抠像生成带Alpha通道的视频帧序列后,与所述3D模板中的三维虚拟元素结合并进行模板化图文视频编辑及预览,以制作得到与每一目标对象对应的播出条目。4.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述播出列表中播出条目的播出方式包括自动播出、手动播出、定时播出、顺序播出、热键触发播出及VR手柄触发,所述播出条目可单独播出或与其它播出条目进行组合播出。5.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述控制指令用于对PPT的标注、动画播放、文字显示或视频播放进行播放控制。6.根据权利要求1所述的基于模板化编辑的AI数字人视频生成方法,其特征在于,所述
对每一所述播出条目文稿对...

【专利技术属性】
技术研发人员:刘玉婷丁淑华刘子健
申请(专利权)人:深圳迪乐普数码科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1