【技术实现步骤摘要】
本公开的示例性实现方式总体涉及计算机视觉，特别地涉及使用机器学习模型来生成视频的方法、装置、设备和计算机可读存储介质。
技术介绍
1、机器学习技术已经被广泛地用于多个
，在计算机视觉领域中，已经提出了利用机器学习模型来自动生成视频的多种技术方案。例如，可以基于预先指定的图像和用于描述视频内容的文本来生成相应的视频。然而，目前所生成的视频中的画面通常动态性较差，例如视频中的对象缺乏明显动作和动态效果等，因而难以达到真实的运动视觉效果。此时，期望可以以更为方便并且有效的方式来生成包括期望内容的视频。
技术实现思路
1、在本公开的第一方面，提供了一种用于生成视频的方法。在该方法中，从参考视频中的多个参考图像中确定第一参考图像和第二参考图像。接收用于描述参考视频的参考文本。基于第一参考图像、第二参考图像和参考文本，获取生成模型，生成模型用于基于第一图像、第二图像和文本来生成目标视频。
2、在本公开的第二方面，提供了一种用于生成视频的装置。该装置包括：图像确定模块，被配置用于从参考...
【技术保护点】
1.一种用于生成视频的方法，包括：
2.根据权利要求1所述的方法，其中确定所述第一参考图像包括：将位于所述参考视频的头部的参考图像确定为所述第一参考图像。
3.根据权利要求1所述的方法，其中确定所述第二参考图像包括：从位于所述参考视频的尾部的预定范围内的一组参考图像中，确定所述第二参考图像。
4.根据权利要求1所述的方法，其中所述生成模型包括编码器模型和扩散模型，以及基于所述第一参考图像、所述第二参考图像和所述参考文本来获取所述生成模型包括：
5.根据权利要求4所述的方法，其中所述第一参考图像特征在所述第二参考特征中的第...
【技术特征摘要】
1.一种用于生成视频的方法，包括：
2.根据权利要求1所述的方法，其中确定所述第一参考图像包括：将位于所述参考视频的头部的参考图像确定为所述第一参考图像。
3.根据权利要求1所述的方法，其中确定所述第二参考图像包括：从位于所述参考视频的尾部的预定范围内的一组参考图像中，确定所述第二参考图像。
4.根据权利要求1所述的方法，其中所述生成模型包括编码器模型和扩散模型，以及基于所述第一参考图像、所述第二参考图像和所述参考文本来获取所述生成模型包括：
5.根据权利要求4所述的方法，其中所述第一参考图像特征在所述第二参考特征中的第一位置对应于所述第一参考图像在所述参考视频中的位置，并且所述第二参考图像特征在所述第二参考特征中的第二位置对应于所述第二参考图像在所述参考视频中的位置。
6.根据权利要求5所述的方法，其中所述第二参考特征的维度等于所述第一参考特征的维度，并且所述第二参考特征中的所述第一位置和所述第二位置以外的其他位置处的特征被设置为空。
7.根据权利要求5所述的方法，进一步包括：按照预定条件来将所述第二参考图像特征设置为空。
8.根据权利要求4所述的方法，其中基于所述第一参考特征、所述第二参考特征、以及所述...
【专利技术属性】
技术研发人员：曾妍，魏国强，邹嘉欣，张雨辰，李航，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。