一种基于对偶学习的无监督图像风格迁移方法技术

技术编号:22566249 阅读:37 留言:0更新日期:2019-11-16 12:32
本发明专利技术涉及一种基于对偶学习的无监督图像风格迁移方法,属于计算机视觉领域。本发明专利技术首先预处理训练数据,然后设计生成器和判别器的网络结构;接下来设计损失函数并用训练数据和损失函数对生成器、判别器进行训练得到无监督图像风格迁移网络S

An unsupervised image style transfer method based on dual learning

The invention relates to an unsupervised image style transfer method based on dual learning, which belongs to the field of computer vision. The invention first preprocesses the training data, then designs the network structure of the generator and the discriminator; then designs the loss function and trains the generator and the discriminator with the training data and the loss function to obtain the unsupervised image style migration network s

【技术实现步骤摘要】
一种基于对偶学习的无监督图像风格迁移方法
本专利技术设计一种基于对偶学习的无监督图像风格迁移方法,尤其涉及一种基于被称作生成对抗网络、运用多种损失函数训练来进行无监督图像风格迁移的方法,属于计算机视觉

技术介绍
随着人工智能时代深入,大量的图像应用如雨后春笋般涌现,代表之一就是主打滤镜功能的各种图像美化App,而滤镜功能的关键技术就是图像风格迁移。图像风格迁移,是指把原图像转换为另一种风格的图像,同时保持图像主体内容不变,比如不同季节风景的转换,不同绘画风格的转换等。基于神经网络的无监督图像风格迁移,是指模型结构使用神经网络,但训练时采用无标签数据,具体实现通常采用生成对抗网络;无监督学习主要是为了应对缺乏大量标注样本的难题。一些研究人员已经对无监督图像风格迁移进行了部分尝试,通常采用生成对抗网络的形式。但是,单独基于对抗网络的方法得到风格迁移图像往往存在噪点较多、局部畸变等缺点。
技术实现思路
本专利技术的目的是克服现有技术的不足,提出一种基于对偶学习的无监督图像风格迁移方法,能够获得更加清晰真实的风格迁移图像。本专利技术的目的是通过以下技术方案实现的。一种基于对偶学习的无监督图像风格迁移方法:包括:步骤1:预处理训练数据;准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;作为优选,m=n=256。步骤2:设计网络结构模型;网络结构模型共包含五个网络:风格迁移网络GA、GB,判别网络DA、DB,美学评分网络Ns;其中,GA、GB具有相同的网络结构,分别用于不同方向的图像风格迁移;DA、DB具有相同的网络结构,分别判断不同风格的某图像是否真实;Ns是预训练的美学评分模型,作为整个网络的插件使用,本身不参与更新;整个模型由端到端训练的深度卷积神经网络构成;对于A风格原始图像a0,首先经GB生成B风格生成图像b1,再经GA生成A风格重建图像a2;对于B风格原始图像b0,首先经GA生成A风格生成图像a1,再经GB生成B风格重建图像b2;步骤3:设计用于训练网络的损失函数;采用多种损失函数相结合,网络的损失函数包含四部分:对抗损失Ladv、美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle;整体损失函数Loss为:Loss=Ladv+λ1Laes+λ2Ldual+λ3Lstyle其中,λ1、λ2、λ3分别表示美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle的权重;对抗损失Ladv使用最小二乘损失,对于DA和GA,分别表示如下:对于DB和GB,则分别表示如下:其中,DA(·)表示判别网络DA对图像·的判别结果,DB(·)表示判别网络DB对图像·的判别结果;GA(·)表示图像·经过风格迁移网络GA转换后的结果,GB(·)表示图像·经过风格迁移网络GB转换后的结果;表示·关于a0的数学期望,表示·关于b0的数学期望。美学损失Laes通过美学模型进行计算,表示如下:其中,K是自然数,Ns分别给出评分为1-K分的概率,pi表示评分为i的概率;美学损失通过最大化生成图像的美学评分期望,指导风格迁移网络的训练,以消除图像噪点和畸变;对偶一致性损失Ldual同时使用基本像素特征和高级语义特征,并进行一阶范式约束(以下简称L1约束),用于约束风格迁移后的图像与原图像在内容上有对应关系,表示如下:Ldual=θpLp+θsLs其中,Lp、Ls分别表示基本像素特征的L1约束和来自判别网络的高级语义特征的L1约束,θp、θs用于动态调整像素约束和语义约束的权重;像素约束Lp表示如下:语义约束Ls表示如下:其中,||·||1表示·的L1约束;风格平衡损失Lstyle主要用于平衡不同方向上的训练速度,以保证联合训练时的模型可以取得较好的效果;对于风格迁移网络,表示如下:其中,分别表示GA,GB的对抗损失;对于判别网络,表示如下:其中,分别表示DA,DB的对抗损失;步骤4:用步骤1的预处理训练数据、步骤3的损失函数,训练步骤2的网络模型得到无监督图像风格迁移网络ST;作为优选,本步骤通过以下过程实现:Step1:初始化模型参数,将风格迁移网络GA、GB和网络判别器DA、DB的参数进行高斯分布初始化,使用预处理训练数据集开始训练;Step2:将生成图像输入到判别网络DA、DB,计算对抗损失Ladv;Step3:计算重建图像与原始图像的对偶一致性损失Ldual;Step4:将生成图像不经缩放直接输入美学模型NS,计算美学损失Laes;Step5:计算整个模型的风格平衡损失Lstyle;Step6:按步骤3的整体损失函数Loss进行计算,得到最终的损失函数,然后反向传播计算梯度,并更新风格迁移网络与判别网络的参数值,同时保持美学模型的参数值始终不变;Step7:重复Step2-Step6,直到损失函数趋于稳定。针对每个数据集,采用无监督方式,经过上述端到端训练后,得到一个无监督图像风格迁移模型ST;步骤5:进行风格迁移应用,将待转换图像输入步骤4得到的风格迁移网络ST,得到风格迁移后的图像。有益效果本专利技术方法,与现有技术相比,具有以下有益效果:本专利技术引入了美学评分模型,通过最大化美学质量评分,能够更有效地消除图像噪点与图像畸变。本专利技术针重新定义了对偶一致性约束,动态调整像素特征与语义特征的权重,可以加速风格迁移模型的收敛,生成更高质量的风格迁移图像。本专利技术使用风格平衡技术,可以自适应调节模型不同风格迁移方向上的收敛速度,极大的提高模型的稳定性,使模型的网络结构选择和设计更加灵活。本专利技术在多个数据集上的效果均比较理想,具有良好的普适性。附图说明图1为本专利技术方法的工作流程图;图2为本专利技术方法的整体网络架构图;图3为本专利技术方法的普通卷积单元CIR;图4为本专利技术方法的残差块单元ResBlock;图5为本专利技术方法的普通转置卷积单元DIR。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明实施例本实施例为无监督图像风格迁移模型的整体流程和网络结构。一种基于对偶学习的无监督图像风格迁移方法,如图1所示,包括以下步骤:步骤1:预处理训练数据。在公共数据集上获取高分辨率图像,作为训练数据;训练数据集中包含多张不同尺寸的图片,为方便网络结构设计,减少计算量,首先忽略原图像的长宽比例,统一缩放为284×284的尺寸;为弥补训练数据量不足的问题,在缩放图像上随机裁剪出256×256的区域,以实现数据增强;采用此一尺寸是本文档来自技高网...

【技术保护点】
1.一种基于对偶学习的无监督图像风格迁移方法,其特征在于,包括以下步骤:/n步骤1:预处理训练数据;/n准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;/n步骤2:设计网络结构模型;/n网络结构模型共包含五个网络:风格迁移网络G

【技术特征摘要】
20190531 CN 20191046953601.一种基于对偶学习的无监督图像风格迁移方法,其特征在于,包括以下步骤:
步骤1:预处理训练数据;
准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;
步骤2:设计网络结构模型;
网络结构模型共包含五个网络:风格迁移网络GA、GB,判别网络DA、DB,美学评分网络Ns;
其中,GA、GB具有相同的网络结构,分别用于不同方向的图像风格迁移;DA、DB具有相同的网络结构,分别判断不同风格的某图像是否真实;Ns是预训练的美学评分模型,作为整个网络的插件使用,本身不参与更新;整个模型由端到端训练的深度卷积神经网络构成;
对于A风格原始图像a0,首先经GB生成B风格生成图像b1,再经GA生成A风格重建图像a2;对于B风格原始图像b0,首先经GA生成A风格生成图像a1,再经GB生成B风格重建图像b2;
步骤3:设计用于训练网络的损失函数;
采用多种损失函数相结合,网络的损失函数包含四部分:对抗损失Ladv、美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle;整体损失函数Loss为:
Loss=Ladv+λ1Laes+λ2Ldual+λ3Lstyle
其中,λ1、λ2、λ3分别表示美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle的权重;
对抗损失Ladv使用最小二乘损失,对于DA和GA,分别表示如下:






对于DB和GB,则分别表示如下:






其中,DA(·)表示判别网络DA对图像·的判别结果,DB(·)表示判别网络DB对图像·的判别结果;GA(·)表示图像·经过风格迁移网络G#转换后的结果,GB(·)表示图像·经过风格迁移网络GB转换后的结果;表示·关于a0的数学期望,表示·关于b0的数学期望。
美学损失Laes通过美学模型进行计算,表示如下:



其中,K是自然数,Ns分别给出评分为1-K分的概率,pi表示评分为i的概率;美学损失通过最大化生成图像的美学评分期望,指导...

【专利技术属性】
技术研发人员:宋丹丹李志凡
申请(专利权)人:北京理工大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1