本发明专利技术实施例提供了模型训练、图像风格化方法、装置、设备及介质。该方法包括：获取第一训练样本集，每组训练样本包括目标对象的原始图像和风格化图像，对原始图像和风格化图像中的目标对象进行相同的运动模拟，得到运动模拟后的原始图像和风格化图像，根据原始图像和对应的运动模拟后的原始图像，生成光流图像，根据训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型，使得利用运动模拟制造出视频中的相邻帧，并引入光流图像，从而模型能在生成风格化图像时，相邻帧的风格化图像之间的运动变化能与相邻帧之间的运动变化保持一致，避免帧间风格化图像存在不可预测的闪动，继而提高风格化视频的稳定性。性。性。
【技术实现步骤摘要】
模型训练、图像风格化方法、装置、电子设备及存储介质
[0001]本专利技术涉及图像处理
，特别是涉及一种模型训练方法、一种图像风格化方法，一种模型训练装置、一种图像风格化装置、一种电子设备及一种存储介质。
技术介绍
[0002]随着计算机技术的发展，智能终端的使用得到广泛普及，越来越多的应用程序被开发出来用于方便和丰富人们的工作与生活。目前，不少应用程序致力于为智能终端用户提供更加个性化与视觉感受更佳的视觉特效，例如滤镜效果、贴纸效果、形变效果等等。
[0003]其中，改变图像风格的特效是一种常见的视觉特效，通过改变图像的色彩、纹理等属性，能够将图像变成另一种风格。
[0004]现有的图像风格化的生成模型通常只考虑了图到图的生成问题，而没有考虑到视频中帧间的时序关系，仅是将每个帧单独进行风格化，相邻帧的风格化图像中的形状轮廓可能差异较大。因此，现有的图像风格化的生成模型在视频拍摄方面表现很差，具体表现为拍摄的视频中帧间存在着不可预测的闪动问题。
技术实现思路
[0005]本专利技术实施例的目的在于提供一种模型训练方法、一种图像风格化方法，一种模型训练装置、一种图像风格化装置、一种电子设备及一种存储介质，从而解决拍摄的视频中帧间存在着不可预测的闪动问题。
[0006]为了解决上述问题，在本专利技术实施的第一方面，首先提供了一种模型训练方法，包括：
[0007]获取第一训练样本集，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；
[0008]针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像；
[0009]根据所述原始图像和对应的运动模拟后的原始图像，生成对应的光流图像；
[0010]根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型。
[0011]可选地，所述运动模拟包括旋转、平移、随机变形、运动模糊中至少一种。
[0012]可选地，所述根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型包括：
[0013]对所述原始图像，风格化图像和光流图像在通道维度上进行图像拼接，得到输入图像；
[0014]根据所述输入图像和运动模拟后的风格化图像，组成第二训练样本集，所述第二训练样本集中的每组训练样本包括一个所述输入图像和对应的一个运动模拟后的风格化
图像；
[0015]根据所述第二训练样本集，训练得到所述第一风格化图像生成模型。
[0016]可选地，所述根据所述第二训练样本集，训练得到所述第一风格化图像生成模型包括：
[0017]根据图像损失和对抗损失的第一比例，对所述图像损失和对抗损失进行加权求和，得到第一总损失，所述第一比例与1的差值小于第一预设值；
[0018]基于所述第一总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第一总损失收敛；
[0019]在所述第一总损失收敛之后，根据所述图像损失和对抗损失的第二比例，对所述图像损失和对抗损失进行加权求和，得到第二总损失，所述第二比例大于等于第二预设值；
[0020]基于所述第二总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第二总损失收敛。
[0021]在本专利技术实施的第二方面，还提供了一种图像风格化方法，包括：
[0022]获取视频数据；
[0023]将所述视频数据的上一帧图像输入第二风格化图像生成模型进行风格化处理，得到对应的上一帧风格化图像，所述第二风格化图像生成模型是根据第一训练样本集训练得到，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；
[0024]根据所述视频数据的当前帧图像与上一帧图像，生成对应的光流图像；
[0025]将所述上一帧图像、上一帧风格化图像、光流图像输入第一风格化图像生成模型进行风格化处理，得到对应的当前帧风格化图像，所述第一风格化图像生成模型是通过获取所述第一训练样本集，针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像，根据所述原始图像和对应的运动模拟后的原始图像，生成对应的光流图像，并根据所述训练样本，光流图像以及运动模拟后的风格化图像训练得到。
[0026]可选地，所述方法还包括：
[0027]根据所述当前帧图像和对应的当前帧风格化图像，组成第三训练样本集，所述第三训练样本集中的每组训练样本包括一个当前帧图像和对应的一个当前帧风格化图像；
[0028]根据所述第三训练样本集，训练得到第三风格化图像生成模型；
[0029]获取目标视频数据；
[0030]将所述目标视频数据中的帧图像输入所述第三风格化图像生成模型进行风格化处理，得到对应的风格化图像。
[0031]在本专利技术实施的第三方面，还提供了一种模型训练装置，包括：
[0032]样本集获取模块，用于获取第一训练样本集，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；
[0033]运动模型模块，用于针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像；
[0034]图像生成模块，用于根据所述原始图像和对应的运动模拟后的原始图像，生成对
应的光流图像；
[0035]模型训练模块，用于根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型。
[0036]可选地，所述运动模拟包括旋转、平移、随机变形、运动模糊中至少一种。
[0037]可选地，所述模型训练模块包括：
[0038]图像拼接子模块，用于对所述原始图像，风格化图像和光流图像在通道维度上进行图像拼接，得到输入图像；
[0039]样本集组成子模块，用于根据所述输入图像和运动模拟后的风格化图像，组成第二训练样本集，所述第二训练样本集中的每组训练样本包括一个所述输入图像和对应的一个运动模拟后的风格化图像；
[0040]模型训练子模块，用于根据所述第二训练样本集，训练得到所述第一风格化图像生成模型。
[0041]可选地，所述模型训练子模块包括：
[0042]第一加和单元，用于根据图像损失和对抗损失的第一比例，对所述图像损失和对抗损失进行加权求和，得到第一总损失，所述第一比例与1的差值小于第一预设值；
[0043]第一训练单元，用于基于所述第一总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第一总损失收敛；
[0044]第二本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取第一训练样本集，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像；根据所述原始图像和对应的运动模拟后的原始图像，生成对应的光流图像；根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型。2.根据权利要求1所述的方法，其特征在于，所述运动模拟包括旋转、平移、随机变形、运动模糊中至少一种。3.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型包括：对所述原始图像，风格化图像和光流图像在通道维度上进行图像拼接，得到输入图像；根据所述输入图像和运动模拟后的风格化图像，组成第二训练样本集，所述第二训练样本集中的每组训练样本包括一个所述输入图像和对应的一个运动模拟后的风格化图像；根据所述第二训练样本集，训练得到所述第一风格化图像生成模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述第二训练样本集，训练得到所述第一风格化图像生成模型包括：根据图像损失和对抗损失的第一比例，对所述图像损失和对抗损失进行加权求和，得到第一总损失，所述第一比例与1的差值小于第一预设值；基于所述第一总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第一总损失收敛；在所述第一总损失收敛之后，根据所述图像损失和对抗损失的第二比例，对所述图像损失和对抗损失进行加权求和，得到第二总损失，所述第二比例大于等于第二预设值；基于所述第二总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第二总损失收敛。5.一种图像风格化方法，其特征在于，包括：获取视频数据；将所述视频数据的上一帧图像输入第二风格化图像生成模型进行风格化处理，得到对应的上一帧风格化图像，所述第二风格化图像生成模型是根据第一训练样本集训练得到，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；根据所述视频数据的当前帧图像与上一帧图像，生成对应的光流图像；将所述上一帧图像、上一帧风格化图像、光流图像输入第一风格化图像生成模型进行风格化处理，得到对应的当前帧风格化图像，所述第一风格化图像生成模型是通过获取所述第一训练样本集，针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像，根据所述原始图像和对应的运动模拟后的原始图像，生成对应的...
【专利技术属性】
技术研发人员：蒋剑斌，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。