【技术实现步骤摘要】
本公开涉及人工智能,尤其涉及一种视频生成方法、装置、电子设备、存储介质及芯片。
技术介绍
1、随着人工智能(artificial intelligence,ai)技术的不断发展,越来越多的具有智能座舱的车辆配置了自动驾驶系统,自动驾驶系统需要不同天气的视频进行训练。
2、在视频生成的相关技术中,通常是基于图像进行视频生成,基于图像生成的视频与自动驾驶场景对时序视频的需求不符,且基于图像生成的视频的天气效果的强度与视频中物体及其运动的物理合理性之间相矛盾。
技术实现思路
1、本公开提供一种视频生成方法、装置、电子设备、存储介质及芯片,以解决相关技术中的问题。
2、本公开的第一方面实施例提出一种视频生成方法,该方法包括:
3、获取待处理视频的深度图视频、线稿图视频、轮廓图视频,及获取所述待处理视频所需的目标天气信息;
4、按照视频维度通道,对所述深度图视频、所述线稿图视频及所述轮廓图视频进行拼接,得到拼接视频;
5、根据所述拼接视频及
...【技术保护点】
1.一种视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述按照视频维度通道,对所述深度图视频、所述线稿图视频及所述轮廓图视频进行拼接,得到拼接视频包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一掩码、所述第二掩码,将相同视频维度通道的所述深度图视频、所述线稿图视频及所述轮廓图视频进行拼接,得到所述拼接视频包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述拼接视频及所述目标天气信息,生成目标视频包括:
5.根据权利要求4所述的方法,其特征在于,所述视频生成
...【技术特征摘要】
1.一种视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述按照视频维度通道,对所述深度图视频、所述线稿图视频及所述轮廓图视频进行拼接,得到拼接视频包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一掩码、所述第二掩码,将相同视频维度通道的所述深度图视频、所述线稿图视频及所述轮廓图视频进行拼接,得到所述拼接视频包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述拼接视频及所述目标天气信息,生成目标视频包括:
5.根据权利要求4所述的方法,其特征在于,所述视频生成模型包括编解码器、视频生成网络,所述将所述拼接视频、所述目标天气信息及所述待处理视频输入训练完成的视频生成模型进行视频生成,得到所述目标视频包括:
6.根据权利要求5所述的方法,其特征在于,所述利用所述编解码器,分别确定所述拼接视频的第一隐向量、所述目标天气信息的第二隐向量及所述待处理视频的第三隐向量包括:
7.根据权利要求5所述的方法,其特征在于,所述利用所述视频生成网络,对所述第一隐向量、所述第二隐向量及所述第三隐向量进行视频隐向...
【专利技术属性】
技术研发人员:廖文华,胡佳高,王泽鹏,付单振,王飞,周代国,
申请(专利权)人:小米科技武汉有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。