【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及图像和视频处理，包括视频合成。
技术介绍
1、图像和视频合成是各自根据噪声生成内容的相关领域。这些领域的重点包括图像合成方法，其产生能够实现改进的分辨率和渲染以及图像内容中的更宽变化的基于图像的模型。
技术实现思路
【技术保护点】
1.一种条件视频合成方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述多模态输入信号包括视觉控制和文本控制。
3.根据权利要求2所述的方法，其中，所述MMVID是包括第一阶段和第二阶段的两阶段视频生成框架，所述方法还包括：
4.根据权利要求3所述的方法，其中，所述预训练的自动编码器包括编码器和解码器，并且所述方法还包括：使用所述预训练的自动编码器获取图像的量化表示。
5.根据权利要求4所述的方法，其中，所述预训练的双向转换器是非自回归的。
6.根据权利要求5所述的方法，还包括：
7.根...
【技术特征摘要】
【国外来华专利技术】
1.一种条件视频合成方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述多模态输入信号包括视觉控制和文本控制。
3.根据权利要求2所述的方法，其中，所述mmvid是包括第一阶段和第二阶段的两阶段视频生成框架，所述方法还包括：
4.根据权利要求3所述的方法，其中，所述预训练的自动编码器包括编码器和解码器，并且所述方法还包括：使用所述预训练的自动编码器获取图像的量化表示。
5.根据权利要求4所述的方法，其中，所述预训练的双向转换器是非自回归的。
6.根据权利要求5所述的方法，还包括：
7.根据权利要求4所述的方法，其中，所述文本控制是由所述语言模型对输入文本进行文本增强来产生的。
8.根据权利要求7所述的方法，其中，所述文本控制和所述视觉控制是独立的。
9.根据权利要求7所述的方法，其中，所述文本控制和所述视觉控制是相关的，并且其中，所述mmvid从所述视觉控制中提取由所述文本控制建议的视觉信息。
10.根据权利要求7所述的方法，其中，所述视觉控制由图像和视频的组合组成。
11.根据权利要求7所述的方法，其中，生成所述时间上一致的视频是通过视频内插来完成的。
12.根据权利要求7所述的方法，其中，生成所述时间上一致的视频是通过视频外插来完成的。
13.一种系统，包括：
14.根据权利要求13所述的系统，其中，所述预训练的自动编码器包括编码器和解码器，其中，所述预训练的自动编码器被配置为获取图像的量化...
【专利技术属性】
技术研发人员：弗朗西斯科·巴尔贝里，韩立龙，李欣颖，谢尔文·米纳伊，凯尔·奥尔泽夫斯基，任健，谢尔盖·图利亚科夫，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。