视频生成方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种视频生成方法及装置、电子设备和存储介质，所述方法包括：将待处理图像输入编码模型进行处理，获得待处理图像的编码；对编码进行高斯分布采样，获得待处理图像的随机噪声；将随机噪声和编码输入光流生成模型，获得待处理图像的后向光流；根据后向光流和待处理图像，生成以待处理图像为首个视频帧的视频流。根据本公开的实施例的视频生成方法，通过对待处理图像的编码进行采样，并将采样获得的随机噪声以及待处理图像的编码进行处理，产生待处理图像的后向光流，可基于后向光流来获得待处理图像的后续视频帧。能够通过一帧待处理图像来生成动态图或短视频。

Video Generation Method and Device, Electronic Equipment and Storage Media

The present disclosure relates to a video generation method and device, an electronic device and a storage medium. The method includes: processing the input coding model of the image to be processed to obtain the coding of the image to be processed; sampling the coding with Gaussian distribution to obtain the random noise of the image to be processed; and inputting the random noise and the coding into the optical flow. The model is generated to obtain the backward optical flow of the image to be processed. According to the backward optical flow and the image to be processed, the video stream with the image to be processed as the first video frame is generated. According to the embodiment of the present disclosure, a video generation method generates a backward optical flow of the image to be processed by sampling the encoding of the image to be processed, and processing the random noise acquired by sampling and the encoding of the image to be processed. The subsequent video frames of the image to be processed can be obtained based on the backward optical flow. A dynamic graph or short video can be generated by a frame of image to be processed.

【技术实现步骤摘要】
视频生成方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种视频生成方法及装置、电子设备和存储介质。
技术介绍
在相关技术中，可根据多帧图像来预测图像中的目标的运动轨迹，进而生成这些图像的后续视频帧，使图像中展示的画面具有连续性。在一帧图像中，图像中的目标的运动轨迹通常具有较大的随机性，因此，目标的运动轨迹难以预测，仅通过一帧图像来生成多个连续的视频帧难以实现。
技术实现思路
针对上述问题，本公开提出了一种视频生成方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种视频生成方法，包括：将待处理图像输入编码模型进行处理，获得所述待处理图像的编码；对所述编码进行高斯分布采样，获得所述待处理图像的随机噪声；将所述随机噪声和所述编码输入光流生成模型进行处理，获得所述待处理图像的后向光流；根据所述后向光流和所述待处理图像，生成以待处理图像为首个视频帧的视频流，其中，所述视频流包括所述待处理图像与所述待处理图像的后续视频帧。在一种可能的实现方式中，所述编码模型的训练过程包括：将训练视频流的第一训练图像输入初始编码模型进行处理，获得所述第一训练图像的编码，其中，所述训练视频本文档来自技高网...

【技术保护点】
1.一种视频生成方法，其特征在于，所述方法包括：将待处理图像输入编码模型进行处理，获得所述待处理图像的编码；对所述编码进行高斯分布采样，获得所述待处理图像的随机噪声；将所述随机噪声和所述编码输入光流生成模型进行处理，获得所述待处理图像的后向光流；根据所述后向光流和所述待处理图像，生成以待处理图像为首个视频帧的视频流，其中，所述视频流包括所述待处理图像与所述待处理图像的后续视频帧。

【技术特征摘要】
1.一种视频生成方法，其特征在于，所述方法包括：将待处理图像输入编码模型进行处理，获得所述待处理图像的编码；对所述编码进行高斯分布采样，获得所述待处理图像的随机噪声；将所述随机噪声和所述编码输入光流生成模型进行处理，获得所述待处理图像的后向光流；根据所述后向光流和所述待处理图像，生成以待处理图像为首个视频帧的视频流，其中，所述视频流包括所述待处理图像与所述待处理图像的后续视频帧。2.根据权利要求1所述的方法，其特征在于，所述编码模型的训练过程包括：将训练视频流的第一训练图像输入初始编码模型进行处理，获得所述第一训练图像的编码，其中，所述训练视频流由第一训练图像和第一训练图像的第一后续视频帧组成，所述第一训练图像为训练视频流的首个视频帧；对所述第一训练图像的编码进行高斯分布采样，获得所述第一训练图像的随机噪声；将所述第一训练图像的编码和所述第一训练图像的随机噪声输入初始光流生成模型，获得训练光流；根据训练光流和训练视频流，确定所述初始编码模型和所述初始光流生成模型的综合模型损失；根据所述综合模型损失调整所述初始编码模型，获得调整后的编码模型；当满足训练条件时，将调整后的编码模型作为所述编码模型。3.根据权利要求1所述的方法，其特征在于，所述光流生成模型的训练过程包括：将训练视频流的第一训练图像输入初始编码模型进行处理，获得所述第一训练图像的编码，其中，所述训练视频流由第一训练图像和第一训练图像的第一后续视频帧组成，所述第一训练图像为训练视频流的首个视频帧；对所述第一训练图像的编码进行高斯分布采样，获得所述第一训练图像的随机噪声；将所述第一训练图像的编码和所述第一训练图像的随机噪声输入初始光流生成模型，获得训练光流；根据训练光流和训练视频流，确定所述初始编码模型和所述初始光流生成模型的综合模型损失；根据所述综合模型损失调整所述初始光流生成模型，获得调整后的光流生成模型；当满足训练条件时，将调整后的光流生成模型作为所述光流生成模型。4.根据权利要求2或3所述的方法，其特征在于，对所述第一训练图像的编码进行高斯分布采样，获得所述第一训练图像的随机噪声，包括：将所述训练视频流输入运动识别模型，获得用于高斯分布采样的均值和方差；根据所述均值和方差，对所述第一训练图像的编码进行高斯分布采样，获得所述第一...

【专利技术属性】
技术研发人员：郭家明，盛律，邵婧，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海,31