The invention relates to an unsupervised image style transfer method based on dual learning, which belongs to the field of computer vision. The invention first preprocesses the training data, then designs the network structure of the generator and the discriminator; then designs the loss function and trains the generator and the discriminator with the training data and the loss function to obtain the unsupervised image style migration network s
【技术实现步骤摘要】
一种基于对偶学习的无监督图像风格迁移方法
本专利技术设计一种基于对偶学习的无监督图像风格迁移方法,尤其涉及一种基于被称作生成对抗网络、运用多种损失函数训练来进行无监督图像风格迁移的方法,属于计算机视觉
技术介绍
随着人工智能时代深入,大量的图像应用如雨后春笋般涌现,代表之一就是主打滤镜功能的各种图像美化App,而滤镜功能的关键技术就是图像风格迁移。图像风格迁移,是指把原图像转换为另一种风格的图像,同时保持图像主体内容不变,比如不同季节风景的转换,不同绘画风格的转换等。基于神经网络的无监督图像风格迁移,是指模型结构使用神经网络,但训练时采用无标签数据,具体实现通常采用生成对抗网络;无监督学习主要是为了应对缺乏大量标注样本的难题。一些研究人员已经对无监督图像风格迁移进行了部分尝试,通常采用生成对抗网络的形式。但是,单独基于对抗网络的方法得到风格迁移图像往往存在噪点较多、局部畸变等缺点。
技术实现思路
本专利技术的目的是克服现有技术的不足,提出一种基于对偶学习的无监督图像风格迁移方法,能够获得更加清晰真实的风格迁移图像。本专利技术的目的是通过以下技术方案实现的。一种基于对偶学习的无监督图像风格迁移方法:包括:步骤1:预处理训练数据;准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;作为优选,m=n=256。步骤2:设计网络结构模型;网络结构模型共包含五个网络: ...
【技术保护点】
1.一种基于对偶学习的无监督图像风格迁移方法,其特征在于,包括以下步骤:/n步骤1:预处理训练数据;/n准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;/n步骤2:设计网络结构模型;/n网络结构模型共包含五个网络:风格迁移网络G
【技术特征摘要】
20190531 CN 20191046953601.一种基于对偶学习的无监督图像风格迁移方法,其特征在于,包括以下步骤:
步骤1:预处理训练数据;
准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;
步骤2:设计网络结构模型;
网络结构模型共包含五个网络:风格迁移网络GA、GB,判别网络DA、DB,美学评分网络Ns;
其中,GA、GB具有相同的网络结构,分别用于不同方向的图像风格迁移;DA、DB具有相同的网络结构,分别判断不同风格的某图像是否真实;Ns是预训练的美学评分模型,作为整个网络的插件使用,本身不参与更新;整个模型由端到端训练的深度卷积神经网络构成;
对于A风格原始图像a0,首先经GB生成B风格生成图像b1,再经GA生成A风格重建图像a2;对于B风格原始图像b0,首先经GA生成A风格生成图像a1,再经GB生成B风格重建图像b2;
步骤3:设计用于训练网络的损失函数;
采用多种损失函数相结合,网络的损失函数包含四部分:对抗损失Ladv、美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle;整体损失函数Loss为:
Loss=Ladv+λ1Laes+λ2Ldual+λ3Lstyle
其中,λ1、λ2、λ3分别表示美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle的权重;
对抗损失Ladv使用最小二乘损失,对于DA和GA,分别表示如下:
对于DB和GB,则分别表示如下:
其中,DA(·)表示判别网络DA对图像·的判别结果,DB(·)表示判别网络DB对图像·的判别结果;GA(·)表示图像·经过风格迁移网络G#转换后的结果,GB(·)表示图像·经过风格迁移网络GB转换后的结果;表示·关于a0的数学期望,表示·关于b0的数学期望。
美学损失Laes通过美学模型进行计算,表示如下:
其中,K是自然数,Ns分别给出评分为1-K分的概率,pi表示评分为i的概率;美学损失通过最大化生成图像的美学评分期望,指导...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。