一种通过搭建神经网络生成花鸟艺术字图像的方法技术

本发明专利技术提供了一种通过搭建神经网络生成花鸟艺术字图像的方法，包括以下步骤：(1)提出一个新的图像数据集，即ChineseArtCharacter360，包含360个汉字对应的360幅花鸟艺术字图像；(2)使用8‑connect块构建卷积神经网络作为生成器，构建马尔可夫卷积神经网络作为判别器并设计GLS损失函数作为网络总的损失函数；(3)将构建的图像数据集输入到生成器和判别器进行训练；(4)使用训练好的生成器进行花鸟艺术字图像的生成。本方法针对解决的问题可视作图像到图像的转换问题，通过搭建卷积神经网络，并设计GLS损失函数，可基于简单的输入获取任意汉字对应的花鸟艺术字图像，从而加速甚至省去传统复杂的手工和特殊画具的绘制过程。

A Method of Generating Flower and Bird Art Character Image by Building Neural Network

The invention provides a method for generating flower-and-bird artistic character images by constructing a neural network, which includes the following steps: (1) A new image data set, namely Chinese Art Character 360, is proposed, which contains 360 flower-and-bird artistic character images corresponding to 360 Chinese characters; (2) A convolutional neural network is constructed by using 8 connect block as a generator, and a Markov convolutional neural network is constructed as a discriminator. The GLS loss function is designed as the total loss function of the network; (3) input the constructed image data set to the generator and discriminator for training; (4) use the trained generator to generate the flower and bird art word image. In order to solve the problem, this method can be regarded as image-to-image conversion. By building convolution neural network and designing GLS loss function, the flower-and-bird art-character image corresponding to any Chinese character can be obtained based on simple input, thus speeding up or even eliminating the traditional complex manual and special drawing process.

【技术实现步骤摘要】
一种通过搭建神经网络生成花鸟艺术字图像的方法
本专利技术属于计算机图像处理
，尤其涉及一种通过搭建神经网络生成花鸟艺术字图像的方法。
技术介绍
花鸟艺术字是中国民间特有的艺术瑰宝，它既是一种汉字字体也是一种艺术画。花鸟字因其笔画多用花鸟图案而得名，即把字的笔画用花、鸟、鱼、草、虫、山、水等图案代替，以基本字形组成，集书法绘画为一体。然而获取一个汉字对应的花鸟艺术字图像需要专业级别作画水准并结合特殊的画具如用竹片、麻布、海绵、羊毛等经过精心制作而成。因此，促进花鸟字艺术的弘扬与发展，让更多的人得以欣赏甚至通过计算机自己创作花鸟字具有重要意义。本专利技术试图将花鸟艺术字图像生成的问题视作图像到图像的转换问题，即通过输入汉字的粗线条图像，如手写毛笔字体图像，进而获取对应的彩色花鸟艺术字图像。为此，使用提出的方法搭建神经网络，可基于简单的输入获取任意汉字对应的花鸟艺术字图像，从而加速甚至省去传统复杂的手工和特殊画具的绘制过程。近年来，深度卷积神经网络在各类图像处理任务取得了飞速的发展，例如生成对抗网络在IanJ.Goodfellow等的文章“GenerativeAdversarialNets”(NIPS，2014)中提出，作为一种生成模型在各类图像生成任务中取得了不断发展与突破。该网络在训练过程中，生成器负责生成图像并将其输入判别器，而判别器负责接收真实图像和生成图像并识别区分该接收样本是否为真实图像。生成器与判别器在训练过程中扮演着对抗学习的角色。原始的生成对抗网络存在着难以训练的缺点，如训练过程中当判别器越好时，生成器梯度消失越严重。另外训练的最终甚至出现模式坍塌(collapsemode)现象，即所生成样本出现重复、缺失多样性。许多基于生成对抗网络的变体被提出试图解决生成对抗网络的难以训练以及不稳定的问题，如通过去掉最大池化层、全连接层而加入BN层即批归一化层，并在生成器中除输出层使用tanh激活函数外其余层使用ReLU激活函数，判别器则使用leakyReLU激活函数以达到稳定训练和缓解模式坍塌问题的效果，然而这些网络的生成器输入是随机噪声向量，生成的样本图像不可控，不符合图像到图像的转换问题。与此同时，人们开始将生成对抗网络应用到图像转换的任务中，例如试图解决同一场景白天图像和夜晚图像之间互相转换的风格迁移问题，以及航空摄像图和地图、提包鞋子边缘图像和真实图像、灰度图像和彩色图像之间互相转换的问题等。不难发现其中和花鸟艺术字图像生成最相近的是提包鞋子边缘图像到真实图像的转换，但由于提包和鞋子图像纹理形式等较为简单，并且在这种任务下该这些网络结构往往需要数万图像作为训练数据集，显然无法解决花鸟艺术字图像生成任务中训练数据集少、图像纹理多变而复杂的问题；而在解决灰度图像到彩色图像的转换任务中，灰度图像有着强烈的纹理等图像细节的提醒，又与花鸟艺术字图像生成网络的输入是简单的汉字粗线条图像如手写毛笔字体图像等黑白二值图像不同。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种通过搭建神经网络生成花鸟艺术字图像的方法，基于简单的输入获取任意汉字对应的花鸟艺术字图像，从而加速甚至省去传统复杂的手工和特殊画具的绘制过程。为了达到上述目的，本专利技术采用以下技术方案：本专利技术一种通过搭建神经网络生成花鸟艺术字图像的方法，包括下述步骤：(1)构建一个新的图像数据集，将该图像数据集作为训练的真实目标图像，同时进行网络输入源图像的准备，即目标花鸟艺术字对应汉字的粗线条图像；(2)使用8-connect块构建卷积神经网络作为生成器，构建马尔可夫卷积神经网络作为判别器并设计GLS损失函数作为网络损失函数；(3)将构建的图像数据集输入到生成器和判别器进行训练；(4)使用训练好的生成器进行花鸟艺术字图像的生成。作为优选的技术方案，所述步骤(1)中，构建一个新的图像数据集ChineseArtCharacter360，具体方法为：(1-1)通过网络搜索引擎获取公开、公益性的花鸟艺术字图像，并对图像进行去噪处理、调整分辨率大小处理，选出360个汉字对应的360幅花鸟字图像，作为训练的真实目标图像即为360幅target图像；(1-2)同时进行网络输入源图像的准备，即目标花鸟艺术字对应汉字的粗线条图像360幅，此为360幅input图像；(1-3)将input图像和target图像组成成对图像的数据集作为网络训练与测试的数据集。作为优选的技术方案，所述步骤(2)中，每个8-connect块内部数据流分支形成数字“8”形状，具体计算表达式为：out＝F(R(F(in)+in))+R(F(in)+in)上述式子中in为8-connect块的输入，out为输出，F为卷积、归一化，R为ReLU激活操作；(2-1-1)提取图像整体的粗特征，以分别对其卷积、归一化、ReLU激活为一组操作，重复改组操作3次；(2-1-2)取图像局部的深层特征，将在第一步中得到的特征输出经过8次8-connect块，每个8-connect块输出特征图通道数保持不变；(2-1-3)生成图像，分别重复进行3次反卷积恢复通道数为3。作为优选的技术方案，所述步骤(2)中，构建判别器的具体方法为：(2-2-1)将输入图像对在通道维度上拼接，即两幅通道数为3的图像拼接为通道数为6的特征图；(2-2-2)通过5次卷积操作，其中卷积核大小4×4，步长为2，前四次卷积每次输出通道数为输入通道数的2倍，最后一次卷积输出通道数降为1，即最终得到30×30×1的特征大小作为输出；(2-2-3)除最后一次卷积直接输出结果，前面每次卷积后均进行归一化处理，并使用正半轴斜率为1、负半轴斜率为0.2的LeaklyReLU函数进行激活。作为优选的技术方案，所述步骤(2)中，设计GLS损失函数表达式为：其中，为条件对抗损失，为L1距离损失，为结构相似性损失，α、β分别为权重系数；GLS损失函数中损失部分具体表达式为：GLS损失函数中LL1(G)损失部分具体表达式为：上述和中x为成对图像数据集(input，target)中的input图像，y为target图像，G为生成器网络，D为判别器网络；GLS损失函数中LSSIM(G)损失部分具体表达式为：上式中G为生成器网络，p为x的取13×13像素大小的图像窗口中心，N为窗口数量，x为成对图像数据集(input，target)中的input图像，y为target图像，μx为x的均值，μy为y的均值，σx为x的标准差，σy为y的标准差，σxy为x和y的协方差，c1和c2默认为分别取0.02和0.03。作为优选的技术方案，所述步骤(3)中，将图像数据集输入到生成器和判别器进行训练的具体过程如下：(3-1)将所提供的成对图像数据集中的input图像输入到生成器中，得到生成图像fake-target；(3-2)当将fake-target和input作为生成图像对，输入到判别器中时，计算损失并反向传播梯度，生成器调整参数趋向于生成与目标图像更接近的图像；(3-3)当将target和input作为真实图像对，输入到判别器中时，计算损失并反向传播梯度，判别器调整参数趋向于提高对fake-target与target的区分能力；(3-4)当达到平衡即当判别器无本文档来自技高网...

【技术保护点】
1.一种通过搭建神经网络生成花鸟艺术字图像的方法，其特征在于，包括下述步骤：(1)构建一个新的图像数据集，将该图像数据集作为训练的真实目标图像，同时进行网络输入源图像的准备，即目标花鸟艺术字对应汉字的粗线条图像；(2)使用8‑connect块构建卷积神经网络作为生成器，构建马尔可夫卷积神经网络作为判别器并设计GLS损失函数作为网络损失函数；(3)将构建的图像数据集输入到生成器和判别器进行训练；(4)使用训练好的生成器进行花鸟艺术字图像的生成。

【技术特征摘要】
1.一种通过搭建神经网络生成花鸟艺术字图像的方法，其特征在于，包括下述步骤：(1)构建一个新的图像数据集，将该图像数据集作为训练的真实目标图像，同时进行网络输入源图像的准备，即目标花鸟艺术字对应汉字的粗线条图像；(2)使用8-connect块构建卷积神经网络作为生成器，构建马尔可夫卷积神经网络作为判别器并设计GLS损失函数作为网络损失函数；(3)将构建的图像数据集输入到生成器和判别器进行训练；(4)使用训练好的生成器进行花鸟艺术字图像的生成。2.根据权利要求1所述通过搭建神经网络生成花鸟艺术字图像的方法，其特征在于，所述步骤(1)中，构建一个新的图像数据集ChineseArtCharacter360，具体方法为：(1-1)通过网络搜索引擎获取公开、公益性的花鸟艺术字图像，并对图像进行去噪处理、调整分辨率大小处理，选出360个汉字对应的360幅花鸟字图像，作为训练的真实目标图像即为360幅target图像；(1-2)同时进行网络输入源图像的准备，即目标花鸟艺术字对应汉字的粗线条图像360幅，此为360幅input图像；(1-3)将input图像和target图像组成成对图像的数据集作为网络训练与测试的数据集。3.根据权利要求1所述通过搭建神经网络生成花鸟艺术字图像的方法，其特征在于，所述步骤(2)中，每个8-connect块内部数据流分支形成数字“8”形状，具体计算表达式为：out＝F(R(F(in)+in))+R(F(in)+in)上述式子中in为8-connect块的输入，out为输出，F为卷积、归一化，R为ReLU激活操作；(2-1-1)提取图像整体的粗特征，以分别对其卷积、归一化、ReLU激活为一组操作，重复改组操作3次；(2-1-2)取图像局部的深层特征，将在第一步中得到的特征输出经过8次8-connect块，每个8-connect块输出特征图通道数保持不变；(2-1-3)生成图像，分别重复进行3次反卷积恢复通道数为3。4.根据权利要求1所述通过搭建神经网络生成花鸟艺术字图像的方法，其特征在于，所述步骤(2)中，构建判别器的具体方法为：(2-2-1)将输入图像对在通道维度上拼接，即两幅通道数为3的图像拼接为通道数为6的特征图；(2-2-2)通过5次卷积操作，其中卷积核大小4×4，步长...

【专利技术属性】
技术研发人员：张见威，黎官钊，刘珍梅，陈丹妮，何君婷，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44