风格迁移模型的训练方法、视频风格迁移的方法以及装置制造方法及图纸

本申请涉及人工智能领域，公开了风格迁移模型的训练方法、视频风格迁移的方法以及装置。训练方法包括获取训练数据，包括N帧样本内容图像和N个样本风格图像；通过风格去除模型，将N帧样本内容图像和N个样本风格图像进行图像风格迁移，得到N帧第一真实图像；通过风格恢复模型，将N帧样本内容图像和N帧第一真实图像进行图像风格迁移，得到N帧第二真实图像；根据N帧样本内容图像和N帧第一真实图像之间的第一损失函数、以及N帧样本内容图像和N帧第二真实图像之间的第二损失函数，确定风格去除模型的第一参数和风格恢复模型的第二参数。本发明专利技术可以高效地将风格图像的风格迁移给视频帧，同时不造成扭曲与伪影，并且不会造成前后帧的不连贯。连贯。连贯。

【技术实现步骤摘要】
风格迁移模型的训练方法、视频风格迁移的方法以及装置


[0001]本申请涉人工智能领域，更具体地，涉及计算机视觉领域中的风格迁移模型的训练方法、视频风格迁移的方法、装置、介质、电子设备、计算机程序产品。

技术介绍

[0002]人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0003]图像风格迁移等图像渲染任务在终端设备上具有广泛的应用需求场景。随着终端设备的性能和网络性能的高速提升，终端设备的娱乐需求渐渐从图像级别转为了视频级别，即从对单张图像的图像风格迁移处理转为对视频的图像风格迁移处理。
[0004]近年来，视频风格迁移方法已经能很成功得将一张图片的艺术风格迁移到一段视频输入上。然而，如果希望迁移后的视频像是由相机拍摄的真实视频一样，那就需要解决艺术风格迁移会引入的油画般扭曲与不连贯伪影。
[0005]摄影设备的快速发展使得视频成了一种主流信息载体。人们常常在社交媒体上发布颜色风格不同的视频以分享他们的日常生活，表达不同的情感，以及增加曝光度。因此，在许多移动设备中，真实图像风格迁移或者自动颜色迁移成为了热门的功能。不同于艺术风格迁移,真实图像风格迁移或者自动颜色迁移需要在用一张或多张参考图像的颜色风格改变输入视频的颜色风格的同时，保证输出像“真实的图像”。
[0006]风格迁移中的真实图像风格迁移意味着迁移结果应该像是用相机拍摄的真实图像，且没有任何扭曲或不真实的伪影。目前一些流行的真实图像风格迁移算法例如有：DeepPhoto，PhotoWCT,WCT2,PhotoNAS等等。然而这些算法的迁移结果中仍存在一些扭曲或伪影。

技术实现思路

[0007]本申请实施例提供了风格迁移模型的训练方法、视频风格迁移的方法、装置、介质、电子设备、计算机程序产品。
[0008]第一方面，本申请实施例提供了一种风格迁移模型的训练方法，用于电子设备，所述方法包括：
[0009]获取步骤，获取训练数据，所述训练数据包括N帧样本内容图像和N个样本风格图像；
[0010]风格去除步骤，通过风格去除模型，将所述N帧样本内容图像和所述N个样本风格图像进行图像风格迁移，得到N帧第一真实图像；
[0011]风格恢复步骤，通过风格恢复模型，将所述N帧样本内容图像和所述N帧第一真实
图像进行图像风格迁移，得到N帧第二真实图像；
[0012]参数确定步骤，根据所述N帧样本内容图像和所述N帧第一真实图像之间的第一损失函数、以及所述N帧样本内容图像和所述N帧第二真实图像之间的第二损失函数，确定所述风格去除模型的第一参数和所述风格恢复模型的第二参数。
[0013]在上述第一方面的一种可能的实现中，在所述风格恢复步骤中，从连续两帧所述样本内容图像生成N
‑
1个光流图，并将所述N
‑
1个光流图输入所述风格恢复模型，
[0014]其中，所述光流图包括光流信息。
[0015]在上述第一方面的一种可能的实现中，所述风格去除模型包括第一特征提取模块、第一特征转换模块、以及第一解码模块，
[0016]其中所述风格去除步骤进一步包括：
[0017]第一特征提取步骤，将所述N帧样本内容图像和所述N个样本风格图像输入所述第一特征提取模块，得到N个样本内容特征集合和N个样本风格特征集合；
[0018]第一特征转换步骤，将所述N个样本内容特征集合和所述N个样本风格特征集合输入所述第一特征转换模块，得到N个第一合成特征集合；
[0019]第一解码步骤，将所述N个第一合成特征集合输入所述第一解码模块，得到所述N帧第一真实图像。
[0020]在上述第一方面的一种可能的实现中，所述风格恢复模型包括第二特征提取模块、第二特征转换模块、神经网络模型、以及第二解码模块，
[0021]其中所述风格恢复步骤进一步包括：
[0022]第二特征提取步骤，将所述N帧第一真实图像输入所述第二特征提取模块，得到N个真实图像特征集合；
[0023]第二特征转换步骤，将所述N个真实图像特征集合和所述N个样本内容特征集合输入所述第二特征转换模块，得到N个第二合成特征集合；
[0024]生成步骤，根据连续两帧所述样本内容图像，生成所述N
‑
1个光流图；
[0025]融合步骤，将所述N个第二合成特征集合和所述N
‑
1个光流图输入所述神经网络模型，得到N个融合合成特征集合；
[0026]第二解码步骤，将所述N个融合合成特征集合输入所述第二解码模块，得到所述N帧第二真实图像。
[0027]在上述第一方面的一种可能的实现中，所述第一特征转换模块包括第一白化模块、第一卷积模块、以及第一风格化模块，
[0028]其中，所述第一白化模块将输入的每个样本内容特征集合进行白化计算，得到第一白化结果，所述第一卷积模块对所述第一白化结果和所述样本内容特征集合进行卷积计算，得到第一卷积结果，并且所述第一风格化模块对所述第一卷积结果进行风格化计算，得到所述第一合成特征集合。
[0029]在上述第一方面的一种可能的实现中，所述第二特征转换模块包括第二白化模块、第二卷积模块、以及第二风格化模块，
[0030]其中，所述第二白化模块将输入的每个真实图像特征集合进行白化计算，得到第二白化结果，所述第二卷积模块对所述第二白化结果和所述样本内容特征集合进行卷积计算，得到第二卷积结果，并且所述第二风格化模块对所述第二卷积结果进行风格化计算，得
到所述第二合成特征集合。
[0031]在上述第一方面的一种可能的实现中，所述第一合成特征集合包括多个第一合成特征，对于输入的每个第一合成特征集合，所述第一解码模块将每个第一合成特征进行下采样后与接下来的第一合成特征进行融合，并进行下采样，从而得到下采样合成特征，并将所述下采样合成特征进行上采样后依次与每个第一合成特征一起进行上采样，从而得到所述N帧第一真实图像。
[0032]在上述第一方面的一种可能的实现中，所述融合合成特征集合包括多个融合合成特征，对于输入的每个融合合成特征集合，所述第二解码模块将每个融合合成特征进行下采样后与接下来的融合合成特征进行融合，并进行下采样，从而得到下采样融合合成特征，并将所述下采样融合合成特征进行上采样后依次与每个融合合成特征一起进行上采样，从而得到所述N帧第二真实图像。
[0033]在上述第一方面的一种可能的实现中，所述第一损失函数和所述第二损失函数是内容损失函数。
[0034]在上述第一方面的一种可能的实现中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风格迁移模型的训练方法，用于电子设备，其特征在于，所述方法包括：获取步骤，获取训练数据，所述训练数据包括N帧样本内容图像和N个样本风格图像；风格去除步骤，通过风格去除模型，将所述N帧样本内容图像和所述N个样本风格图像进行图像风格迁移，得到N帧第一真实图像；风格恢复步骤，通过风格恢复模型，将所述N帧样本内容图像和所述N帧第一真实图像进行图像风格迁移，得到N帧第二真实图像；参数确定步骤，根据所述N帧样本内容图像和所述N帧第一真实图像之间的第一损失函数、以及所述N帧样本内容图像和所述N帧第二真实图像之间的第二损失函数，确定所述风格去除模型的第一参数和所述风格恢复模型的第二参数。2.根据权利要求1所述的训练方法，其特征在于，在所述风格恢复步骤中，从连续两帧所述样本内容图像生成N
‑
1个光流图，并将所述N
‑
1个光流图输入所述风格恢复模型，其中，所述光流图包括光流信息。3.根据权利要求2所述的训练方法，其特征在于，所述风格去除模型包括第一特征提取模块、第一特征转换模块、以及第一解码模块，其中所述风格去除步骤进一步包括：第一特征提取步骤，将所述N帧样本内容图像和所述N个样本风格图像输入所述第一特征提取模块，得到N个样本内容特征集合和N个样本风格特征集合；第一特征转换步骤，将所述N个样本内容特征集合和所述N个样本风格特征集合输入所述第一特征转换模块，得到N个第一合成特征集合；第一解码步骤，将所述N个第一合成特征集合输入所述第一解码模块，得到所述N帧第一真实图像。4.根据权利要求3所述的训练方法，其特征在于，所述风格恢复模型包括第二特征提取模块、第二特征转换模块、神经网络模型、以及第二解码模块，其中所述风格恢复步骤进一步包括：第二特征提取步骤，将所述N帧第一真实图像输入所述第二特征提取模块，得到N个真实图像特征集合；第二特征转换步骤，将所述N个真实图像特征集合和所述N个样本内容特征集合输入所述第二特征转换模块，得到N个第二合成特征集合；生成步骤，根据连续两帧所述样本内容图像，生成所述N
‑
1个光流图；融合步骤，将所述N个第二合成特征集合和所述N
‑
1个光流图输入所述神经网络模型，得到N个融合合成特征集合；第二解码步骤，将所述N个融合合成特征集合输入所述第二解码模块，得到所述N帧第二真实图像。5.根据权利要求3所述的训练方法，其特征在于，所述第一特征转换模块包括第一白化模块、第一卷积模块、以及第一风格化模块，其中，所述第一白化模块将输入的每个样本内容特征集合进行白化计算，得到第一白化结果，所述第一卷积模块对所述第一白化结果和所述样本内容特征集合进行卷积计算，得到第一卷积结果，并且所述第一风格化模块对所述第一卷积结果进行风格化计算，得到所述第一合成特征集合。
6.根据权利要求4所述的训练方法，其特征在于，所述第二特征转换模块包括第二白化模块、第二卷积模块、以及第二风格化模块，其中，所述第二白化模块将输入的每个真实图像特征集合进行白化计算，得到第二白化结果，所述第二卷积模块对所述第二白化结果和所述样本内容特征集合进行卷积计算，得到第二卷积结果，并且所述第二风格化模块对所述第二卷积结果进行风格化计算，得到所述第二合成特征集合。7.根据权利要求3所述的训练方法，其特征在于，所述第一合成特征集合包括多个第一合成特征，对于输入的每个第一合成特征集合，所述第一解码模块将每个第一合成特...

【专利技术属性】
技术研发人员：戈维峰，邱晓文，何博安，徐瑞泽，
申请(专利权)人：复旦大学，
类型：发明
国别省市：