当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于可微渲染器的视频生成大模型的数据集生成方法、系统及装置制造方法及图纸

技术编号:42804964 阅读:42 留言:0更新日期:2024-09-24 20:49
本发明专利技术公开了一种基于可微渲染器的视频生成大模型的数据集生成方法、系统及装置,所述方法包括:3D资产管理,获取场景构建所需的3D资产及模型,以及对应词汇描述;场景结构生成,基于场景的文本描述生成场景结构树;3D场景构建,构建场景的布局,结合3D资产生成3D场景;场景优化,在多个视角下进行可微渲染,利用稳定扩散模型和分数蒸馏采样损失进行场景优化;视频渲染,在3D场景中生成动态相机轨迹,渲染生成视频;视频重描述,基于视频基础模型生成关于生成视频的描述,作为视频的标签,构建数据集。本发明专利技术不仅能为各种应用提供必要的训练数据集,还能显著提高内容创建的效率和质量,有利于推动相关行业的技术进步和发展。

【技术实现步骤摘要】

本专利技术属于人工智能内容生成领域,特别是涉及一种基于可微渲染器的视频生成大模型的数据集生成方法、系统及装置


技术介绍

1、视频内容作为信息传递和用户互动的重要形式,在各个领域应用广泛。因此,开发高效、自动化的视频内容生成工具具有极大的商业价值和社会影响。在当前的人工智能(artificial intelligence,ai)领域,基于生成式人工智能(artificial intelligencegenerated content,aigc)的技术正迅速发展。在视频内容生成领域,aigc技术的发展已经成为了行业焦点,sora大模型以惊艳的视频生成效果证明了视频生成大模型的潜力。因此,如何为训练大模型收集大量高质量的文本-视频数据集具有重要意义。

2、视频生成大模型的训练是aigc领域的关键环节,其核心在于构建高质量、多样化的数据集。总的来说,根据数据来源的不同,视频数据集大致可以分为三类:公开数据集、用户生成数据集和公司自购或自收集数据集。

3、公开数据集通常由学术机构或大型企业在遵循特定协议的前提下公开,如vatex(video本文档来自技高网...

【技术保护点】

1.一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,3D资产管理具体包括如下步骤:

3.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,场景结构生成具体包括如下步骤:

4.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,3D场景构建具体包括如下步骤:

5.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,场景优...

【技术特征摘要】

1.一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,3d资产管理具体包括如下步骤:

3.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,场景结构生成具体包括如下步骤:

4.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,3d场景构建具体包括如下步骤:

5.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,场景优化具体包括如下步骤:

6.根据权利要求1所述的一种基于可微渲染器的视频生成大模型的数据集生成方法,其特征在于,视频渲染具体包括如下步骤:

7...

【专利技术属性】
技术研发人员:徐晖曜魏宁凌泽宇邹常青赵志峰
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1