一种基于结构线提取的图像卡通化方法技术

本发明专利技术提供一种基于结构线提取的图像卡通化方法，其包括：获取源域和目标域的训练集；构建基于结构线提取的图像卡通化生成对抗网络，其中结构线提取网络利用下采样提取图像特征，当下采样在较粗尺度上生成粗略结构线时，上采样再对其进行卷积，并从粗到细重建输出图像线条；构建损失函数，利用损失值调整所述生成对抗网络模型的参数，优化生成器和判别器网络；循环迭代多轮整个生成对抗网络模型，得到训练好的卡通图像生成式网络；将待处理的自然图像输入到训练好的卡通图像生成式网络，即可得到对应风格的卡通图像

【技术实现步骤摘要】
一种基于结构线提取的图像卡通化方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于结构线提取的图像卡通化方法
。

技术介绍

[0002]卡通制作是一个工作量很大的创作形式，仅依靠个人力量往往难以完成，同时创作者们需要利用各种资源来设计艺术性的视觉内容
。
图像卡通化就是将自然拍摄到的图片转化成卡通风格的图片，实际上是对图像的内容部分进行平滑处理，对边缘部分进行锐化处理，使得生成的图像更加光滑，边缘更加突出
。
将图片风格化为卡通样式的算法有助于减轻创作者们的劳动量，可以节省大量的时间，以便他们能够专注更具创造性的工作，同时图像卡通化在图像编辑等其他方面也具有实用价值
。
[0003]目前卡通化已经取得了很大的改进，但现有方法还存在一定的不足
。
对于卡通图像来说，清晰的边缘通常分布在局部区域，而不是整张图像，并且边缘的像素占比不大
。
因此，在对抗性损失训练的过程中，清晰边缘的特征很容易被颜色
、
纹理等更明显的全局特征忽视
。

技术实现思路

[0004]为了解决图像卡通化工作中边缘处理不足的问题，本专利技术提出一种基于结构线提取的图像卡通化方法，用于提高生成图像的质量
。
获取源域和目标域的训练集；构建基于结构线提取的图像卡通化生成对抗网络，其中结构线提取网络利用下采样提取图像特征，当下采样在较粗尺度上生成粗略结构线时，上采样再对其进行卷积，并从粗到细重建输出图像线条；构建损失函数，利用损失值调整所述生成对抗网络模型的参数，优化生成器和判别器网络；循环迭代多轮整个生成对抗网络模型，得到训练好的卡通图像生成式网络；将待处理的自然图像输入到训练好的卡通图像生成式网络，即可得到对应风格的卡通图像；本专利技术不仅在重要区域和细节方面生成了高感知质量的卡通化图像，同时避免了内容和颜色的损失
。
[0005]本专利技术的技术方案是这样实现的：
[0006]一种基于结构线提取的图像卡通化方法，其步骤如下：
[0007]步骤一
、
获取源域和目标域的训练集；
[0008]步骤二
、
构建基于结构线提取的图像卡通化生成对抗网络；
[0009]步骤三
、
构建损失函数，利用损失值调整所述生成对抗网络模型的参数；
[0010]步骤四
、
循环迭代多轮整个生成对抗网络模型，得到训练好的卡通图像生成式网络；
[0011]步骤五
、
将待处理的自然图像输入到训练好的卡通图像生成式网络，即可得到对应风格的卡通图像
。
[0012]优选的，所述步骤一中获取源域和目标域的训练集的实现步骤是：
[0013]S11
：收集源域数据集，从循环生成对抗网络
CycleGAN
的训练和定量测试集中选取自然图像集作为源域；
[0014]S12
：收集目标域数据集，选取三种风格的动漫电影，从相同风格的电影中截取关键帧得到目标域数据，具体步骤为：
[0015]S121
：读取视频，获取视频总帧数
、
帧率等信息，将总帧数除以帧率，得到视频的时间；
[0016]S122
：定义
interval
为帧间隔，设置每秒取4帧，即每隔
0.25
秒取一帧，之后视频的总帧数除以
interval
得到提取图片的总数；
[0017]S123
：使用循环语句来逐帧读取视频，并保存为图像文件，直至视频结束；
[0018]S124
：将获取的关键帧图片进行数据预处理，即将数据集图片裁剪为
256
×
256
大小，最后得到目标域数据
。
[0019]优选的，所述步骤二中构建基于结构线提取的图像卡通化生成对抗网络的实现步骤是：
[0020]S21
：构建生成式网络，该部分由
12
个卷积块
、4
个通道空间注意力残差块
、2
个上采样层和1个二维卷积层组成，
12
个卷积块中均包含二维卷积
、
层归一化和
LReLU
非线性激活层，4个通道空间注意力残差块包含残差模块和注意力机制模块，输入源域数据得到生成图像；
[0021]S22
：构建全局判别器网络，与所述生成式网络构成全局分支，该全局判别器网络由7个二维卷积层
、LReLU
和
Sigmoid
非线性激活层和实例归一化组成，全局判别器网络采用前向传播操作，接收输入图像，通过一系列卷积操作得到输出结果，即判别器对输入图像的判别结果；
[0022]S23
：构建局部判别器网络，与所述结构线提取网络构成局部分支，该局部分支包含结构线提取网络
、
匹配
、
提取
、
排序
、
图像的灰度处理以及局部判别器，其中局部判别器网络由5个二维卷积层
、LReLU
和
Sigmoid
非线性激活层和实例归一化组成，局部判别器网络采用前向传播操作，接收输入图像，通过一系列卷积操作得到输出结果，即判别器对输入图像的判别结果
。
[0023]优选的，所述步骤
S21
中通道注意力残差块的具体实现步骤为：
[0024]S211
：将卷积块提取的特征输入到一个1×1的卷积层，进行升维，后使用批归一化进行数据标准化，通过
ReLU
激活函数进行非线性变换，将负值变为零，保留正值；
[0025]S212
：使用一个3×3的卷积层来对特征进行卷积操作，步长为1，填充为1，在空间上对特征进行卷积，提取更高级的特征，应用批归一化进行标准化，通过
ReLU
激活函数进行非线性变换；
[0026]S213
：通过一个1×1的卷积层将通道数进行变换，步长为1，应用批归一化进行标准化，得到特征图；
[0027]S214
：将
S213
的结果输入注意力机制中进行注意力权重调整，得到注意力特征，具体方法为：
[0028]首先将
S213
的结果输入到通道注意力机制中，使用自适应平均池化和自适应最大池化对
S213
的结果进行空间平均池化操作，得到一组通道维度上的平均值和最大值，再使用一系列卷积操作
(
包括卷积核大小为1×1的卷积层
、ReLU
激活函数
)
，将通道维度进行降
维并再次升维，得到调整后的通道特征，通过
Sigmoid
激活函数将调整后的通道特征归一化到<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于结构线提取的图像卡通化方法，其特征在于，构建基于结构线提取的图像卡通化生成对抗网络，其中结构线提取网络利用下采样提取图像特征，当下采样在较粗尺度上生成粗略结构线时，上采样再对其进行卷积，并从粗到细重建输出图像线条，线条图和输入图像经过匹配
、
提取
、
排序以及灰度处理后输入到判别器网络中，利用损失值调整模型参数进行网络优化，得到最优卡通化模型，具体包括以下步骤：步骤一
、
获取源域和目标域的训练集；步骤二
、
构建基于结构线提取的图像卡通化生成对抗网络；步骤三
、
构建损失函数，利用损失值调整所述生成对抗网络模型的参数；步骤四
、
循环迭代多轮整个生成对抗网络模型，得到训练好的卡通图像生成式网络；步骤五
、
将待处理的自然图像输入到训练好的卡通图像生成式网络，即可得到对应风格的卡通图像
。2.
根据权利要求1所述的基于结构线提取的图像卡通化方法，其特征在于，所述步骤一获取源域和目标域的训练集的实现步骤是：
S11
：收集源域数据集，从循环生成对抗网络
CycleGAN
的训练和定量测试集中选取自然图像集作为源域；
S12
：收集目标域数据集，选取三种风格的动漫电影，从相同风格的电影中截取关键帧得到目标域数据，具体步骤为：
S121
：读取视频，获取视频的总帧数
、
帧率等信息，将总帧数除以帧率，得到视频的时间；
S122
：定义
interval
为帧间隔，设置每秒取4帧，即每隔
0.25
秒取一帧，之后视频的总帧数除以
interval
得到提取图片的总数；
S123
：使用循环语句来逐帧读取视频，并保存为图像文件，直至视频结束；
S124
：将获取的关键帧图片进行数据预处理，即将数据集图片裁剪为
256
×
256
大小，最后得到目标域数据
。3.
根据权利要求1所述的基于结构线提取的图像卡通化方法，其特征在于，所述步骤二的构建基于结构线提取的图像卡通化生成对抗网络的实现步骤：
S21
：构建生成式网络，该部分由
12
个卷积块
、4
个通道空间注意力残差块
、2
个上采样层和1个二维卷积层组成，
12
个卷积块中均包含二维卷积
、
层归一化和
LReLU
非线性激活层，4个通道空间注意力残差块包含残差模块和注意力机制模块，输入源域数据得到生成图像；
S22
：构建全局判别器网络，与
S21
所述生成式网络构成全局分支，该全局判别器网络由7个二维卷积层
、LReLU
和
Sigmoid
非线性激活层和实例归一化组成，全局判别器网络采用前向传播操作，接收输入图像，通过一系列卷积操作得到输出结果，即判别器对输入图像的判别结果；
S23
：构建局部判别器网络，与结构线提取网络构成局部分支，具体步骤为：
S231
：随机从生成图像和目标域数据中抽样小批量图像输入到局部分支中，经过结构线提取网络对所输入图像进行线条提取；
S232
：将提取的线条结果和输入图像在垂直方向上进行拼接；
S233
：对
S232
得到的图像进行分块提取，其中使用的块大小为
16
，并将结果保存在变量
patches
中，将变量
patches
进行形状重塑操作，将样本数量和块行列数的维度合并为一个
维度，重塑后的结果依然保存在变量
patches
中，得到相应数量的图像块；
S234
：从
S233
得到的结果中提取边缘块信息，即最后一个通道的信息，通过在第1和第2维度求和来计算每个边缘块的边缘强度，得到
edge_intensity
，从
edge_intensity
中找到前
k
个最大值所对应的索引，根据前
k
个最大值所对应的索引从
patches
中提取对应的图像块，其中
k
取值为
32
；
S235
：将
S234
的图像块的彩色图模式转为灰度图模式，具体实现为：
gray(i
，
j)
＝
0.299R(i
，
j)+0.587G(i
，
j)+0.114B(i
，
j)
，其中，
R(i
，
j)、G(i
，
j)
以及
B(i
，
j)
分别为转换前彩色图像在
(i
，
j)
处的
R、G、B
三个分量的值；
S236
：将得到的灰度图输入到局部判别器网络中进行判别，局部判别器网络包含多个二维卷积层，每个卷积层之后都跟有一个
LReLU
激活函数，用于引入非线性变换，最后一个卷积层输出通道数为1，经过
sigmoid
函数，将输出值限制在0‑1范围内，用于表示真...

【专利技术属性】
技术研发人员：李灿林，王新玥，毕丽华，张卫正，刘岩，王永彪，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：