任意风格迁移方法、系统、存储介质、计算机设备及终端技术方案

本发明专利技术属于计算机视觉中的生成对抗网络及风格迁移技术领域，公开了一种任意风格迁移方法、系统、存储介质、计算机设备及终端，所述任意风格迁移系统网络的输入由内容图像I

【技术实现步骤摘要】
任意风格迁移方法、系统、存储介质、计算机设备及终端


[0001]本专利技术属于计算机视觉中的生成对抗网络及风格迁移
，尤其涉及一种任意风格迁移方法、系统、存储介质、计算机设备及终端。

技术介绍

[0002]目前，风格迁移是一种利用算法学习艺术图像风格的技术，它可以将一副图像转换为另一种艺术风格，同时可以保持内容图像的局部结构不变性。Gatys等人在2016年创造性地提出使用深度卷积网络来完成从真实图像到艺术图像的转换，并将这一技术称之为“风格迁移”。风格迁移技术在摄影领域、相机软件等应用上已经有相当规模的应用，可以预见随着这一技术的进一步发展与改进，在电影特效制作、CG渲染等工业场景会有广阔的应用前景。
[0003]继Gatys等人的工作之后，许多研究者提出了不同风格的迁移算法，但是这些方法有一个共同的局限性，即每个模型只能转换一种风格，针对其他艺术类别模型需要进行重新训练。
[0004]任意风格迁移算法消除了这一限制，可以通过一次训练来完成任意艺术风格类别的实时转换。目前这一领域内常用的技术在本质上都是，通过调整图像特征图在每一个特征通道上的统计参数来改变图像的风格特征：Li等人提出的WCT算法，通过对内容图像的特征图进行白化变换，从而去除风格信息而保留内容信息；Avatar
‑
Net算法采用基于样式补丁的方法，在保持内容结构的同时，将内容特征映射到样式补丁；SANet算法引入自注意力机制，通过重新排列特征空间来学习内容特征和风格特征之间的语义关系；AdaIN算法通过匹配内容图像特征图和风格图像特征图之间的方差和均值来实现风格特征的转换。
[0005]目前业界现有的这些方法，通常可以合成具有明显风格特征的艺术化图像，但是很难在转换过程中平衡内容信息与风格信息，容易出现当内容信息保存较好时风格信息不够突出，或者当风格特点保持较好时内容信息丢失严重。并且现有方法生成的艺术化图像在局部结构上容易出现模糊块、色块和无意义的线条等缺陷。除此之外，现有方法在高分辨率下(内容图像为1024*1024分辨率)的转换结果表现较差，风格化特点不突出且内容细节丢失较多。
[0006]通过上述分析，现有技术存在的问题及缺陷为：
[0007](1)现有的任意风格迁移算法无法解耦图像中的内容信息和风格信息，难以平衡生成的艺术化图像中的内容结构和风格化特点。
[0008](2)现有技术方法生成的艺术化图像中存在大量模糊块、色块和无意义的线条等缺陷，并且在高分辨率上的转换结果不佳。
[0009](3)现有技术方法在训练集之外的艺术风格类别上的泛化能力较差，风格化特点不突出且内容细节丢失较多。
[0010]解决以上问题及缺陷的难度和意义为：
[0011](1)解耦内容信息和风格信息是风格迁移领域的关键难点之一，平衡两者可以使
得风格迁移算法在对图像的转换上有更大的操作空间，更加灵活的生成艺术化图像。
[0012](2)风格迁移算法生成的艺术化图像存在的视觉缺陷难以找到直接原因，且现有算法在高分辨率下表现不佳，因此消除图像视觉缺陷和提高算法在高分辨率下的生成结果可以最直观的改善视觉表现。
[0013](3)任意风格迁移方法的目的是可以实现用户指定任意的风格图像，但训练集所能包含的风格类别总是有限的，因此风格泛化能力是极其重要的。

技术实现思路

[0014]针对现有技术存在的问题，本专利技术提供了一种任意风格迁移方法、系统、存储介质、计算机设备及终端，尤其涉及一种基于自适应通道网络的任意风格迁移方法、系统、存储介质、计算机设备及终端。
[0015]本专利技术是这样实现的，一种任意风格迁移系统，所述任意风格迁移系统网络的输入由一个内容图像I
c
和一个风格图像I
s
组成，输出为风格化图像I
cs
；所述网络结构由图像编码器Enc、自适应通道网络AdaNet、解码器Dec、判别器D和辅助分类器Q共五部分组成；
[0016]其中，所述图像编码器Enc使用预训练的VGG
‑
19网络，由卷积层、池化层和激活层组成，以内容图像和风格图像为输入，得到各自的特征图；
[0017]所述自适应通道网络AdaNet由向量β组成，β的各个分量取值为0或1，在网络训练的过程中自适应的调节各个分量的值，自适应网络利用向量β选择内容特征图的部分通道进行风格信息转换，从而得到目标特征图F
cs
；
[0018]所述解码器Dec采用反向的VGG结构，由卷积层、上采样层和激活层组成，以目标特征图F
cs
为输入，输出即为生成的艺术化图像I
cs
；
[0019]所述判别器D使用Patch
‑
GAN结构，由卷积层、池化层和激活层组成，在判别器末端不使用全连接层，对卷积层的输出进行均值计算，从而得到输入图像是否是真实艺术图像的概率；
[0020]所述辅助分类器Q和判别器D共享一部分卷积层，共享的部分使用ResNet结构，在卷积层之后使用全连接层和Sigmoid激活层得到输入图像所在艺术类别的分类结果。
[0021]本专利技术的另一目的在于提供一种应用所述的任意风格迁移系统的任意风格迁移方法，所述任意风格迁移方法包括以下步骤：
[0022]步骤一，利用训练数据集训练任意风格迁移网络模型，使得网络可以对内容信息和风格信息进行解耦，并且转换内容图像的风格信息；
[0023]步骤二，网络模型训练完成后，使用图像编码器Enc、自适应通道网络AdaNet、解码器Dec进行网络前馈，即可得到风格化图像，完成风格迁移。
[0024]进一步，步骤一中，所述利用训练数据集训练任意风格迁移网络模型，可表述为以下最大最小化问题：
[0025][0026]损失函数为：
[0027][0028]其中，损失函数中表示对抗损失，表示辅助分类损失，和分别表示内容重建损失和风格一致性损失，λ
gan
、λ
cla
、和分别表示各部分损失的权重参数。
[0029]进一步，步骤一中，所述利用训练数据集训练任意风格迁移网络模型，包括：
[0030](1)从训练集数据集中提取一组内容图像和风格图像，使用图像编码器提取内容图像和风格图像的特征图，保存VGG
‑
19网络的relu
1_1
、relu
2_1
、relu
3_1
和relu
4_1
层的输出；
[0031](2)使用自适应通道网络和解码器完成网络前馈，计算内容重建损失和风格一致性损失使用反向传播算法更新图像编码器、自适应通道网络和解码器的参数；
[0032](3)使用判别器和辅助分类器对前馈的输出图像以及训练集中的艺术图片分别进行真假判断和类别判断，计算对抗损失和辅助分类损失使用反向传播算法更新图像编码器、解码器、判别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任意风格迁移系统，其特征在于，所述任意风格迁移系统网络的输入由一个内容图像I
c
和一个风格图像I
s
组成，输出为风格化图像I
cs
；所述网络结构由图像编码器Enc、自适应通道网络AdaNet、解码器Dec、判别器D和辅助分类器Q共五部分组成；其中，所述图像编码器Enc使用预训练的VGG
‑
19网络，由卷积层、池化层和激活层组成，以内容图像和风格图像为输入，得到各自的特征图；所述自适应通道网络AdaNet由向量β组成，β的各个分量取值为0或1，在网络训练的过程中自适应的调节各个分量的值，自适应网络利用向量β选择内容特征图的部分通道进行风格信息转换，得到目标特征图F
cs
；所述解码器Dec采用反向的VGG结构，由卷积层、上采样层和激活层组成，以目标特征图F
cs
为输入，输出即为生成的艺术化图像I
cs
；所述判别器D使用Patch
‑
GAN结构，由卷积层、池化层和激活层组成，在判别器末端不使用全连接层，对卷积层的输出进行均值计算，从而得到输入图像是否是真实艺术图像的概率；所述辅助分类器Q和判别器D共享一部分卷积层，共享的部分使用ResNet结构，在卷积层之后使用全连接层和Sigmoid激活层得到输入图像所在艺术类别的分类结果。2.一种实施权利要求1所述的任意风格迁移系统的任意风格迁移方法，其特征在于，所述任意风格迁移方法包括以下步骤：步骤一，利用训练数据集训练任意风格迁移网络模型；步骤二，网络模型训练完成后，使用图像编码器Enc、自适应通道网络AdaNet、解码器Dec进行网络前馈，即可得到风格化图像。3.如权利要求2所述的任意风格迁移方法，其特征在于，步骤一中，所述利用训练数据集训练任意风格迁移网络模型，表述为以下最大最小化问题：损失函数为：其中，损失函数中表示对抗损失，表示辅助分类损失，和分别表示内容重建损失和风格一致性损失，λ
gan
、λ
cla
、和分别表示各部分损失的权重参数。4.如权利要求2所述的任意风格迁移方法，其特征在于，步骤一中，所述利用训练数据集训练任意风格迁移网络模型，包括：(1)从训练集数据集中提取一组内容图像和风格图像，使用图像编码器提取内容图像和风格图像的特征图，保存VGG
‑
19网络的relu
1_1
、relu
2_1
、relu
3_1
和relu4‑1层的输出；(2)使用自适应通道网络和解码器完成网络前馈，计算内容重建损失和风格一致性损失使用反向传播算法更新图像编码器、自适应通道网络和解码器的参数；(3)使用判别器和辅助分类器对前馈的输出图像以及训练集中的艺术图片分别进行真假判断和类别判断，计算对抗损失和辅助分类损失使用反向传播算法更新图像编码器、解码器、判别器和辅助分类器的参数；(4)循环执行步骤(1)至步骤(3)，按照固定频率保存当前网络参数，直到网络收敛。
5.如权利要求4所述的任意风格迁移方法，其特征在于，步骤(1)中，所述训练数据集中风格图像使用...

【专利技术属性】
技术研发人员：王愈焯，耿艳林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：