生成对抗网络训练方法、图像风格迁移方法及装置制造方法及图纸

本发明专利技术实施例公开了一种生成对抗网络训练方法、图像风格迁移方法及装置，训练方法包括：获取内容图像和同一风格的风格图像，初始化生成对抗网络的生成器和判别器的网络参数、生成器的风格动量累积量，提取风格图像输入风格特征提取网络中得到风格特征以更新风格动量累积量，提取内容图像输入生成器以将风格动量累积量注入内容图像中获得风格迁移后的输出图像，将内容图像和输出图像输入判别器进行训练得到输出图像的判定值，对生成器和判别器的网络参数进行调整，一方面，实现了内容和风格的解耦，另一方面，无需获取大量训练用的内容图像风格化后的图像作为标签进行监督训练，既容易获取训练数据，又能获得理想的风格化图像。

Training method, image style transfer method and device of generating countermeasure network

【技术实现步骤摘要】
生成对抗网络训练方法、图像风格迁移方法及装置
本专利技术实施例涉及图像处理
，尤其涉及一种生成对抗网络训练方法、图像风格迁移方法及装置。
技术介绍
漫画化是计算机视觉领域的一项重要技术，广泛用于内容生产，电影制作，娱乐视频中。漫画化是指给定一张内容图像，将内容图像变成某种特定的漫画化风格的图像，漫画化风格后的图像保持内容图像的内容，姿态等信息。目前，图像漫画化可以通过3D渲染或者通过训练神经网络来实现，3D渲染用于制作游戏或者视频里的卡通角色，或者使用图像滤镜(imagefilter)和数学优化的方法来生成漫画化的图像，然而，3D渲染方法很难产生艺术感强的漫画化图片，也很难像艺术家一样产生高级的抽象，比如清新的线条抽象。而对于神经网络，训练神经网络时需要内容图像和风格图像作为训练的输入，内容图像漫画化后的图像作为标签来进行监督学习，一方面，内容图像和风格图像耦合在一个网络中训练，无法灵活约束风格和内容，导致漫画后的图像无法保持内容图像的内容和取得真实的漫画化效果，另一方面，难以获取大量内容图像漫画后的图像作为标签。综上所述本文档来自技高网...

【技术保护点】
1.一种生成对抗网络训练方法，其特征在于，包括：/n获取多张内容图像和同一风格的多张风格图像；/n初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量；/n提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征；/n根据所述风格特征更新所述风格动量累积量；/n提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像；/n将所述内容图像和所述输出图像输入所述判别器进行训练得到所述输出图像的判定值；/n根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的网络参数进行调整。/n

【技术特征摘要】
1.一种生成对抗网络训练方法，其特征在于，包括：
获取多张内容图像和同一风格的多张风格图像；
初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量；
提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征；
根据所述风格特征更新所述风格动量累积量；
提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像；
将所述内容图像和所述输出图像输入所述判别器进行训练得到所述输出图像的判定值；
根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的网络参数进行调整。


2.根据权利要求1所述的方法，其特征在于，所述初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量，包括：
初始化生成对抗网络的判别器的网络参数；
初始化所述生成器的风格动量累积量、编码网络和解码网络的网络参数，以及获取训练好的用于所述生成器中的残差网络。


3.根据权利要求1所述的方法，其特征在于，所述根据所述风格特征更新所述风格动量累积量，包括：
将所述风格特征转换为风格隐含变量；
根据预设衰减系数和所述风格隐含变量更新所述风格动量累积量。


4.根据权利要求2所述的方法，其特征在于，所述提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像，包括：
采用所述编码网络对所述内容图像进行编码处理得到所述内容图像的内容特征图；
将所述内容特征图和所述风格动量累积量输入所述残差网络中得到风格迁移特征图；
采用所述解码网络对所述风格迁移特征图进行解码得到输出图像。


5.根据权利要求4所述的方法，其特征在于，所述将所述内容特征图和所述风格动量累积量输入所述残差网络中得到风格迁移特征图，包括：
对所述风格动量累积量进行转换，获得所述风格动量累积量的均值和方差；
将所述风格动量累积量的均值和方差以及所述内容特征图输入所述残差网络中，以通过所述残差网络将所述风格动量累积量迁移到所述内容特征图上得到风格迁移特征图。


6.根据权利要求2-5任一项所述的方法，其特征在于，所述根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的参数进行调整，包括：
根据所述输出图像的判定值、所述输出图像、所述内容图像和所述风格图像计算总损失；
判断所述总损失是否小于预设阈值；
若是，停止对所述生成器和所述判别器进行训练；
若否，根据所述总损失对所述生成器和所述判别器的参数进行调整，返回提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征的步骤。


7.根据权利要求6所述的方法，其特征在于，所述根据所述判定值、所述输出图像、所述内容图像和所述风格图像计算总损失，包括：
计算所述内容图像和所述输出图像的结构损失；
计算所述内容图像和所述输出图像的内容损失，以及计算所述风格图像和所述输出图像的风格损失；
对所述风格图像进行模糊处理得到模糊处理后的风格图像；
将所述风格图像、所述模糊处理后的风格图像输入所述判别器得到所述风格图像的判定值、所述模糊处理后的风格图像的判定值；
计算所述输出图像的判定值、所述风格图像的判定值、所述模糊处理后的风格图像的判定值的平方和得到对抗损失；
计算所述风格图像和所述输出图像的边缘损失；
对所述结构损失、所述内容损失、所述风格损失、所述对抗损失以及所述边缘损失计算和值得到总损失。


8.根据...

【专利技术属性】
技术研发人员：李玉乐，陈德健，项伟，颜乐驹，
申请(专利权)人：有半岛北京信息科技有限公司，
类型：发明
国别省市：北京;11