一种视频生成方法和相关装置制造方法及图纸

技术编号:41584227 阅读:28 留言:0更新日期:2024-06-06 23:59
本申请实施例公开了一种视频生成方法和相关装置,可应用于人工智能、数字人、虚拟人、游戏、虚拟现实、扩展现实等场景,获取参考面部图像和待转换内容序列,根据参考面部图像确定参考面部的网格模型,以便显式地体现参考面部的外部特征。根据待转换内容序列,确定网格参数差值序列,从而标识多个待转换内容指示的面部运动特征之间的差异,进而通过网格参数差值序列调整参考面部的网格模型,即不再采用固定的面部轮廓参数,而是通过随时间变化的面部运动特征进行动态调节,以使得调整得到的面部网格模型序列中参考面部的外形特征与原始面部的面部运动特征更好地融合。从而根据面部网格模型序列和参考面部图像,生成目标视频,提高目标视频的质量。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种视频生成方法和相关装置


技术介绍

1、随着人工智能技术的发展,可以通过一张包括参考面部的参考面部图像生成该参考面部的发声视频(即目标视频),从而实现视频直播、视频制作等。

2、相关技术中,一般会利用模型生成目标视频。以扩散模型为例,从待转换内容序列(如音频或视频)中提取与原始面部的表情相关的运动系数,将参考面部图像和运动系数输入至扩散模型中,扩散模型将生成一系列的图像帧,从而得到目标视频。

3、但是,上述方式生成的目标视频的质量较差,如参考面部与原始面部的表情融合的不自然等问题。


技术实现思路

1、为了解决上述技术问题,本申请提供了一种视频生成方法和相关装置,用于提高生成的目标视频的质量。

2、本申请实施例公开了如下技术方案:

3、一方面,本申请实施例提供一种视频生成方法,所述方法包括:

4、获取参考面部图像和待转换内容序列,所述参考面部图像包括参考面部的外形特征,所述待转换内容序列包括多个随时间变化的待转换内容,本文档来自技高网...

【技术保护点】

1.一种视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述待转换内容序列,确定网格参数差值序列,包括:

3.根据权利要求1所述的方法,其特征在于,若所述参考面部的表情为第一状态,则所述根据所述待转换内容序列,确定网格参数差值序列,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述面部网格模型序列和所述参考面部图像,生成目标视频,包括:

6.根据权利要求5所述的方法,其特征在于,若所述待转换内容序列为音频,所述方法...

【技术特征摘要】

1.一种视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述待转换内容序列,确定网格参数差值序列,包括:

3.根据权利要求1所述的方法,其特征在于,若所述参考面部的表情为第一状态,则所述根据所述待转换内容序列,确定网格参数差值序列,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述面部网格模型序列和所述参考面部图像,生成目标视频,包括:

6.根据权利要求5所述的方法,其特征在于,若所述待转换内容序列为音频,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,若所述待转换内容序列为音频,则所述根据所述待转换内容序列,获取头部姿态向量序列,包括:

8.根据权利要求1所述的方法,其特征在于,所述根据所述面部网格模型序列和所述参考面部图像,生成目标视频,包括:

9.根据权利要求8所...

【专利技术属性】
技术研发人员:卫华威杨泽军
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1