光流预测模型的训练方法及系统和视频生成方法及系统技术方案

本发明专利技术公开了一种光流预测模型的训练方法及系统和视频生成方法及系统，该光流预测模型的训练方法包括：加载初始光流预测模型，所述初始光流预测模型包括生成对抗网络结构；获取训练数据集，所述训练数据集包括若干数据对，所述数据对由训练图像及其对应的光流构成；对所述初始光流预测模型进行修改，并将所述训练数据集输入修改后的初始光流预测模型进行训练，以获得目标光流预测模型。本发明专利技术所提供的光流预测模型的训练方法中，通过对修改后的模型进行训练，从而使得训练后的目标光流预测模型输出的光流质量较高，根据该生成的图像的棋盘效应和水滴效应显著降低，具有较好的分辨率，并因此能够大幅提升最终生成的视频的画面效果。画面效果。画面效果。

【技术实现步骤摘要】
光流预测模型的训练方法及系统和视频生成方法及系统


[0001]本专利技术涉及图像处理
，特别涉及一种光流预测模型的训练方法及系统和视频生成方法及系统。

技术介绍

[0002]随着OTA(在线旅游)行业的发展和智能设备的进步，其发展和使用过程中所产生的图像和视频的数量呈现出了指数级的增长，与此同时，人们对图像和视频的多样性和质量的要求也越来越高。但是，由于视频的采集成本相对于图像的采集成本要高出很多，因此，随着人力成本的迅速提高，利用人工进行视频采集难以满足对海量数据进行处理的需求。基于此，如何低成本且快速有效地利用图像生成视频已经成为相关人员的一个重要课题。
[0003]随着硬件(如GPU)设备的快速发展，深度学习在近年来受到了学术与工业界的关注，很多基于神经网络的由图像生成视频的方法也应运而生。现有技术中，可以通过光流预测来追踪图像中的目标物的运动轨迹，从而模拟生成目标物的运动场。但是，现有的光流预测模型所预测的出的光流序列所生成的图像通常具有严重的棋盘效应和水滴效应，无法很好地用于后续生成视频。
专利
技术实现思路

本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光流预测模型的训练方法，其特征在于，所述光流预测模型的训练方法包括：加载初始光流预测模型，所述初始光流预测模型包括生成对抗网络结构；获取训练数据集，所述训练数据集包括若干数据对，所述数据对由训练图像及其对应的光流构成；对所述初始光流预测模型进行修改，并将所述训练数据集输入修改后的初始光流预测模型进行训练，以获得目标光流预测模型；其中，所述对所述初始光流预测模型进行修改，包括：将所述初始光流预测模型的上采样设置为采用双线性插值的卷积上采样；将所述初始光流预测模型的归一化操作设置为实例正则化；在所述初始光流预测模型的Loss函数中增加以下函数：其中，flow
pre
表示预测获得的光流，flow
label
表示实际光流，n表示生成光流的数量。2.如权利要求1所述的光流预测模型的训练方法，其特征在于，所述获取训练数据集的步骤之前，还包括：获取训练视频；对所述训练视频进行拆帧，以获得若干帧所述训练图像；将所述训练图像的第N帧及其后的第α帧作为图像对输入训练光流预测模型，以获取所述第N帧训练图像对应的训练光流；将所述第N帧训练图像及所述训练光流作为所述数据对，以构建所述训练数据集；其中，N和α为大于等于2的整数，并且N小于或等于α。3.一种光流预测模型的训练系统，其特征在于，所述光流预测模型的训练系统包括：模型加载模块，用于加载初始光流预测模型，所述初始光流预测模型包括生成对抗网络结构；训练数据获取模块，用于获取训练数据集，所述训练数据集包括若干数据对，所述数据对由训练图像及其对应的光流构成；模型训练模块，用于对所述初始光流预测模型进行修改，并将所述训练数据集输入修改后的所述初始光流预测模型进行训练，以获得目标光流预测模型；其中，所述对所述初始光流预测模型进行修改，包括：将所述初始光流预测模型的上采样设置为采用双线性插值的卷积上采样；将所述初始光流预测模型的归一化操作设置为实例正则化；在所述初始光流预测模型的Loss函数中增加以下函数：其中，flow
pre
表示预测获得的光流，flow
label
表示实际光流，n表示生成光流的数量。4.一种视频生成方法，其特征在于，所述视频生成方法包括：获取待处理数据，所述待处理数据包括目标图像；将所述待处理数据输入通过如权利要求1
‑
2中任一项所述的光流预测模型的训练方法
训练得到的目标光流预测模型，以获...

【专利技术属性】
技术研发人员：康睿文，罗超，成丹妮，邹宇，
申请(专利权)人：携程旅游信息技术上海有限公司，
类型：发明
国别省市：