一种前后景分离的熊猫照片卡通化方法技术

本发明专利技术提供一种前后景分离的熊猫照片卡通化方法包括：获取熊猫照片数据集和卡通图像数据集并进行图像预处理：构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；步骤4，定义所述生成器的损失函数；利用定义的损失函数训练所述熊猫卡通图像生成模型；将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。相比于现有技术，本发明专利技术中(1)前后景分别处理的方法可以有效突出相对简洁的前景主体，(2)通过边缘增强和边缘模糊的处理能够得到边缘清晰的卡通化熊猫图像，(3)网络结构比较简单，在获得卡通效果的同时拥有较小的训练成本。

【技术实现步骤摘要】
一种前后景分离的熊猫照片卡通化方法
本专利技术涉及图像处理
，具体而言，涉及一种前后景分离的熊猫照片卡通化方法。
技术介绍
近年来，人工智能算法逐渐被应用于图像生成领域，同时也为艺术作品的诠释带来了更大的可能性。对图像进行风格化时，图像在保留原图内容的同时，能够具备绘画作品的艺术风格，其创造性和艺术价值得到了人们的肯定。其中，基于生成对抗网络的方法(GAN)自2014年提出以来，越来越受到学术界和工业界的重视，不断在图像生成领域取得突破性进展，且仍然具有巨大潜力。它的对抗思想让生成器和判别器在博弈中互相进步，从而生成以假乱真的图片。卡通风格是动漫的一种，具有高度简化和抽象的特征，作为一种重要的艺术形式，无论是以漫画还是动画为载体，都具有独特的艺术效果，同时还体现角色本身的特点，深受人们的喜爱。若能结合生成对抗网络方法完成卡通图像的生成，则能大大降低人工成本。而卡通风格的图像生成效果一直不是很理想，这主要是因为现有方法大多没有针对卡通作品和其它艺术风格之间的显著区别进行探索：1、卡通风格的作品前景比背景更为简洁；2、卡通风格的作品具有平滑清晰且连贯的线条；3、卡通风格的作品色彩过渡平滑且纹理较为简单，而其它艺术风格大多拥有较为丰富的纹理和色彩变化。现有方法虽然通过添加语义内容损失函数以及边缘损失函数实现了对纹理和色彩的部分简化，但均为全局的图像生成算法，并没有解决前景比背景更加简洁的问题。此外，现有算法虽然能够通驱使模型远离边缘模糊的负样本以生成比较清晰的边缘，但是对于熊猫等多毛发、边缘变化丰富的照片而言，生成的边缘线条不够平滑自然。
技术实现思路
本专利技术旨在提供一种前后景分离的熊猫照片卡通化方法，以解决前景不突出、边缘轮廓不清晰、色彩过渡不平滑以及纹理过多的问题。本专利技术提供的一种前后景分离的熊猫照片卡通化方法，包括如下步骤：步骤1，获取熊猫照片数据集和卡通图像数据集；步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；步骤4，定义所述生成器的损失函数；步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。进一步的，步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集的前景掩膜矩阵；将前景掩膜矩阵取反得到后景掩膜矩阵。进一步的，所述使用基于空洞卷积的U型网络模型的处理过程包括：(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。进一步的，步骤2.3中对所述前景图像集进行边缘增强的过程如下：步骤2.31，边缘检测：(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：选择算子以及计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；然后计算梯度值梯度方向θ＝atan2(Gy,Gx)；(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集。进一步的，步骤2.4中对所述卡通图像数据集进行边缘模糊的过程如下：步骤2.41，边缘检测：(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：选择算子以及计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；然后计算梯度值梯度方向θ＝atan2(Gy,Gx)；(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大本文档来自技高网...

【技术保护点】
1.一种前后景分离的熊猫照片卡通化方法，其特征在于，包括如下步骤：/n步骤1，获取熊猫照片数据集和卡通图像数据集；/n步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：/n步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；/n步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；/n步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；/n步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；/n步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；/n步骤4，定义所述生成器的损失函数；/n步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：/n步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；/n步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；/n步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；/n步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；/n步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。/n...

【技术特征摘要】
1.一种前后景分离的熊猫照片卡通化方法，其特征在于，包括如下步骤：
步骤1，获取熊猫照片数据集和卡通图像数据集；
步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：
步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；
步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；
步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；
步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；
步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；
步骤4，定义所述生成器的损失函数；
步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：
步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；
步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；
步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；
步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；
步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。


2.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集的前景掩膜矩阵；将前景掩膜矩阵取反得到后景掩膜矩阵。


3.根据权利要求2所述的前后景分离的熊猫照片卡通化方法，其特征在于，所述使用基于空洞卷积的U型网络模型的处理过程包括：
(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；
(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；
(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；
(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。


4.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.3中对所述前景图像集进行边缘增强的过程如下：
步骤2.31，边缘检测：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：



其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：
选择算子以及计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；
然后计算梯度值梯度方向θ＝atan2(Gy,Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；
步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集。


5.根据权利要求4所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.4中对所述卡通图...

【专利技术属性】
技术研发人员：周祺钰，向城成，刘启和，程红蓉，周世杰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51