【技术实现步骤摘要】
模型训练、图像风格化方法、装置、电子设备及存储介质
[0001]本专利技术涉及图像处理
，特别是涉及一种模型训练方法、一种图像风格化方法，一种模型训练装置、一种图像风格化装置、一种电子设备及一种存储介质。
技术介绍
[0002]随着计算机技术的发展，智能终端的使用得到广泛普及，越来越多的应用程序被开发出来用于方便和丰富人们的工作与生活。目前，不少应用程序致力于为智能终端用户提供更加个性化与视觉感受更佳的视觉特效，例如滤镜效果、贴纸效果、形变效果等等。
[0003]其中，改变图像风格的特效是一种常见的视觉特效，通过改变图像的色彩、纹理等属性，能够将图像变成另一种风格。
[0004]现有的图像风格化的生成模型通常只考虑了图到图的生成问题，而没有考虑到视频中帧间的时序关系，仅是将每个帧单独进行风格化，相邻帧的风格化图像中的形状轮廓可能差异较大。因此，现有的图像风格化的生成模型在视频拍摄方面表现很差，具体表现为拍摄的视频中帧间存在着不可预测的闪动问题。
技术实现思路
[0005]本专利技术实施例...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取第一训练样本集，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像；根据所述原始图像和对应的运动模拟后的原始图像，生成对应的光流图像；根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型。2.根据权利要求1所述的方法，其特征在于，所述运动模拟包括旋转、平移、随机变形、运动模糊中至少一种。3.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型包括：对所述原始图像，风格化图像和光流图像在通道维度上进行图像拼接，得到输入图像；根据所述输入图像和运动模拟后的风格化图像，组成第二训练样本集，所述第二训练样本集中的每组训练样本包括一个所述输入图像和对应的一个运动模拟后的风格化图像；根据所述第二训练样本集，训练得到所述第一风格化图像生成模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述第二训练样本集，训练得到所述第一风格化图像生成模型包括：根据图像损失和对抗损失的第一比例，对所述图像损失和对抗损失进行加权求和，得到第一总损失，所述第一比例与1的差值小于第一预设值；基于所述第一总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第一总损失收敛；在所述第一总损失收敛之后，根据所述图像损失和对抗损失的第二比例，对所述图像损失和对抗损失进行加权求和，得到第二总损失，所述第二比例大于等于第二预设值；基于所述第二总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第二总损失收敛。5.一种图像风格化方法，其特征在于，包括：获取视频数据；将所述视频数据的上一帧图像输入第二风格化图像生成模型进行风格化处理，得到对应的上一帧风格化图像，所述第二风格化图像生成模型是根据第一训练样本集训练得到，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；根据所述视频数据的当前帧图像与上一帧图像，生成对应的光流图像；将所述上一帧图像、上一帧风格化图像、光流图像输入第一风格化图像生成模型进行风格化处理，得到对应的当前帧风格化图像，所述第一风格化图像生成模型是通过获取所述第一训练样本集，针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像，根据所述原始图像和对应的运动模拟后的原始图像，生成对应的...
【专利技术属性】
技术研发人员：蒋剑斌，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。