【技术实现步骤摘要】
本专利技术涉及动画视频生成，具体为一种动画视频生成方法。
技术介绍
1、随着互联网技术的发展，计算机图形学广泛应用于动画制作、游戏人物制作、虚拟现实、人机交互等场景，丰富场景中人物的表情、形态以及动作，通过动画制作的方式，使得各场景中的虚拟人物更加真实生动。现如今的动画视频生成方法，需要先建立角色模型，然后获取设备的摄像头拍摄的场景，配置角色模型至摄像头拍摄的场景中，确定角色模型的在场景中的约束位，采集设备的动作数据，根据设备的动作数据，确定骨骼模型受到的作用力，骨骼模型在作用力下改变骨骼模型的骨骼位置，渲染角色模型以生成角色模型在场景中的动作画面，由上述可知，在进行动画视频生成的时候，需要先建立角色模型这一步，因此这样导致外行人很难自行生成动画视频。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺陷，提供一种动画视频生成方法，以解决目前在进行动画视频生成的时候，需要先建立角色模型这一步，因此这样导致外行人很难自行生成动画视频的问题。
2、一种动画视频生成方法，包括以下步骤：
3、s1、将关键词输入chatgpt，chatgpt根据关键字生成一段简短的描述；
4、s2、将chatgpt生成的描述输入到dall-e模型中，dall-e将根据输入的描述生成对应的图片；
5、s3、将dall-e生成的图片输入到lumen 5中，lumen 5会生成一段连环画效果的短视频；
6、s4、lumen 5生成的短视频经过视频编码
7、优选的，所述视频编码为训练了一个离散变分自动编码器，离散变分自动编码器将每个256×256的rgb图像压缩成一个32×32的图像标记网格。
8、优选的，将256个bpe编码的文本标记与32×32图像标记连接起来，并训练一个自回归变换器来建立联合模型，训练了一个自回归变换器，用于模拟文本和图像标记的联合分布。
9、优选的，所述视频编码的过程中最大化模型分布在图像的x、图像的y和编码的rgb图像标记z上的联合可能性的下限证据，对这个分布进行建模，pθ，ψ(x，y，z)＝pθ(x|y，z)pψ(y，z)，并使用因子分解方法来简化建模过程得到下限该约束仅在β＝1时成立。
10、优选的，qφ表示由dvae编码器生成的32×32图像标记的分布，用于给rgb图像标记，pθ表示由给定图像标记dvae解码器生成的rgb图像的分布，pψ表示文本和图像标记的联合分布，该分布由变换器建模。
11、优选的，kl散度用于衡量两个概率分布之间的差异，kl散度的值越小，表示两个分布越接近，β用来控制kl散度的权重，通过调整β的值，平衡生成图像的多样性与与先验分布一致性之间的权衡关系。
12、本专利技术的有益效果：该动画视频生成方法，基于chatgpt的会话与提取关键词的功能，我们利用chatgpt给出一个戏出年画或杨柳青年画的样例，并根据关键字生成一段简短的描述，随后，我们将描述输入到dall-e模型中，dall-e将根据输入的描述生成相应的图片，将dall-e生成的图片输入到lumen 5中，lumen 5即会生成一段类似于连环画效果的短视频，这样就算外行人，也可进行动画视频的生成，降低门槛。
本文档来自技高网...【技术保护点】
1.一种动画视频生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种动画视频生成方法，其特征在于：所述视频编码为训练了一个离散变分自动编码器，离散变分自动编码器将每个256×256的RGB图像压缩成一个32×32的图像标记网格。
3.根据权利要求2所述的一种动画视频生成方法，其特征在于：将256个BPE编码的文本标记与32×32图像标记连接起来，并训练一个自回归变换器来建立联合模型，训练了一个自回归变换器，用于模拟文本和图像标记的联合分布。
4.根据权利要求3所述的一种动画视频生成方法，其特征在于：所述视频编码的过程中最大化模型分布在图像的x、图像的y和编码的RGB图像标记z上的联合可能性的下限证据，对这个分布进行建模，pθ，ψ(x，y，z)＝pθ(x|y，z)pψ(y，z)，并使用因子分解方法来简化建模过程得到下限该约束仅在β＝1时成立。
5.根据权利要求4所述的一种动画视频生成方法，其特征在于：qφ表示由dVAE编码器生成的32×32图像标记的分布，用于给RGB图像标记，pθ表示由给定图像标记dVAE解码器生成的R
6.根据权利要求5所述的一种动画视频生成方法，其特征在于：KL散度用于衡量两个概率分布之间的差异，KL散度的值越小，表示两个分布越接近，β用来控制KL散度的权重，通过调整β的值，平衡生成图像的多样性与与先验分布一致性之间的权衡关系。
...【技术特征摘要】
1.一种动画视频生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种动画视频生成方法，其特征在于：所述视频编码为训练了一个离散变分自动编码器，离散变分自动编码器将每个256×256的rgb图像压缩成一个32×32的图像标记网格。
3.根据权利要求2所述的一种动画视频生成方法，其特征在于：将256个bpe编码的文本标记与32×32图像标记连接起来，并训练一个自回归变换器来建立联合模型，训练了一个自回归变换器，用于模拟文本和图像标记的联合分布。
4.根据权利要求3所述的一种动画视频生成方法，其特征在于：所述视频编码的过程中最大化模型分布在图像的x、图像的y和编码的rgb图像标记z上的联合可能性的下限证据...
【专利技术属性】
技术研发人员：王洪亮，周满玲，王春华，靳聪，张佳一，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。