视频流生成方法、电子设备及计算机可读存储介质技术

技术编号:46520072 阅读:1 留言:0更新日期:2025-09-30 18:47
本申请公开了一种视频流生成方法、电子设备及计算机可读存储介质,涉及大模型技术、视频处理技术领域。该方法包括:获取虚拟相机的设置信息,其中,虚拟相机用于在数字孪生世界中录制虚拟视频流,数字孪生世界为模拟真实世界的虚拟世界,设置信息用于调整虚拟相机的拍摄角度;确定待生成的目标仿真视频流中的画面信息;基于设置信息和画面信息,生成初始仿真视频流;基于目标视频生成模型和目标风格图像对初始仿真视频流进行转换,生成目标仿真视频流,其中,目标风格图像为真实世界中的真实图像,目标仿真视频流的画面风格与目标风格图像的画面风格相对应。本申请解决了虚拟视频流的画面逼真程度低的技术问题。

【技术实现步骤摘要】

本申请涉及大模型技术、视频处理,具体而言,涉及一种视频流生成方法、电子设备及计算机可读存储介质


技术介绍

1、数字孪生系统是一种基于数字化模型的虚拟仿真系统,用于将真实世界中的实体或系统与数字化模型相结合,从而构建出与真实世界相对应的虚拟的数字孪生世界。数字孪生系统能够使用渲染引擎生成用于模拟真实世界的虚拟视频流,从对真实世界进行模拟和分析。

2、目前,针对自动驾驶领域提出了卡拉(carla)仿真器,carla仿真器通过借助强大的渲染引擎的能力能够生成用于模拟真实场景的虚拟视频流。但是carla仿真器仅针对自动驾驶场景,并不适用于一般应用场景,其应用场景十分受限。此外,carla仿真器依赖渲染引擎的能力,其所生成的虚拟视频流的画面逼真程度有待提高。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种视频流生成方法、电子设备及计算机可读存储介质,以至少解决虚拟视频流的画面逼真程度低的技术问题。

2、根据本申请实施例的一个方面,提供了一本文档来自技高网...

【技术保护点】

1.一种视频流生成方法,其特征在于,包括:

2.根据权利要求1所述的视频流生成方法,其特征在于,所述基于所述设置信息和所述画面信息,生成初始仿真视频流包括:

3.根据权利要求1所述的视频流生成方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的视频流生成方法,其特征在于,获取所述第二图像样本包括:

5.根据权利要求3所述的视频流生成方法,其特征在于,获取所述第二图像样本包括:

6.根据权利要求3所述的视频流生成方法,其特征在于,所述基于所述第一图像样本和所述第二图像样本对初始视频生成模型进行训练,得到所述目标视频生成模型...

【技术特征摘要】

1.一种视频流生成方法,其特征在于,包括:

2.根据权利要求1所述的视频流生成方法,其特征在于,所述基于所述设置信息和所述画面信息,生成初始仿真视频流包括:

3.根据权利要求1所述的视频流生成方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的视频流生成方法,其特征在于,获取所述第二图像样本包括:

5.根据权利要求3所述的视频流生成方法,其特征在于,获取所述第二图像样本包括:

6.根据权利要求3所述的视频流生成方法,其特征在于,所述基于所述第一图像样本和所述第二图像样本对初始视频生成模型进行训练,得到所述目标视频生成模型包括:

7.根据权利要求6所述的视频流生成方法,其特征在于,所述基于所述第一图像样本、所述第二图像样本、所述第三图像样本和所述第四图像样本对所述初始视频生成模型进行训练,得到所述目标视频生成模型包括:

8.根据权利要求7所述的视频流生成方法,其特征在于,所述基于所述第一图像样本、所述第二图像样本、所述第三图像样本和所述第四图像样本对初始编码器进行训练,得到目标编码器包括:

9.根据权利要求7所述的视频流生成方法,其特征在于,所述基于所述第一图像样本和所述第三图像样本对初始解码器进行训...

【专利技术属性】
技术研发人员:郭鑫金仲明叶杰平潘成路余正旭童潘榕刘洋魏振勇马康炜张露露
申请(专利权)人:杭州阿里云飞天信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1