基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法技术

本发明专利技术公开一种基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法，网络结构包括ArcGAN网络，ArcGAN网络由第一生成器和第一双鉴别器组成，第一双鉴别器包括第一全局鉴别器和第一局部鉴别器；网络结构还包括Attention模块和LSTM模块；Attention模块由第二生成器和第二鉴别器组成；第二生成器根据输入图片生成第二鉴别器认为是真实的图片，第二生成器由第二编码器、第二转换器和第二解码器三部分组成；第二鉴别器用于判别输入的图片是来自第二生成器的合成图片还是来自训练集的真实图片，由连续的下采样卷积层组成；LSTM模块由第三生成器和第三双鉴别器两部分构成；第三生成器采用encoder‑LSTM‑decoder结构，分为第三编码器、循环神经网络模块、第三解码器三个部分。

Network structure and method of auto coloring 3D architecture based on arcgan network

【技术实现步骤摘要】
基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法
本专利技术主要涉及深度学习领域，尤其涉及一种基于ArcGAN网络的手绘3D建筑自动上色网络结构(AL-GAN)及方法。
技术介绍
自从20世纪90年代以来，深度学习领域开始出现风格迁移方面的研究。所谓图像风格迁移，是指利用算法学习著名画作的风格，然后再把这种风格应用到另外一张图片上的技术。大量研究人员开始研究如何将一幅图像上的风格与另一张图像上的内容结合，从而生成一幅从未出现过的新的画作。Gatys[2]等人于2015年提出了神经风格迁移算法(NST)，该算法使用了卷积神经网络(CNN)来分离并且再结合任意图片的内容和风格,从而生成具有高感知品质的艺术图片，该工作引起了学术界的广泛关注。近几年来，在学术界关于NST的大量后续研究被提出，各种改进或扩展原始NST算法的方法应运而生。深度神经网络是最近使用最多、效果最好、效率最高的方法。最近对生成对抗网络(GAN)[3,4]的研究在广泛的图像合成应用中取得了巨大的成功，包括盲运动去模糊[5,6]，高分辨率图像合成[7,8]，光现实超分本文档来自技高网...

【技术保护点】
1.一种基于ArcGAN网络的手绘3D建筑自动上色网络结构，包括ArcGAN网络，ArcGAN网络由第一生成器和第一双鉴别器组成，第一双鉴别器包括第一全局鉴别器和第一局部鉴别器；其特征在于，自动上色网络结构AL-GAN还包括Attention模块和LSTM模块；/n所述Attention模块由第二生成器和第二鉴别器组成；第二生成器根据输入图片生成第二鉴别器认为是真实的图片，第二生成器由第二编码器、第二转换器和第二解码器三部分组成；第二编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接一个和输入层结构一样的平卷积层；第二转换器包括两个没有池化层的密集卷积块，每个密集卷积块包含五个带有瓶...

【技术特征摘要】
1.一种基于ArcGAN网络的手绘3D建筑自动上色网络结构，包括ArcGAN网络，ArcGAN网络由第一生成器和第一双鉴别器组成，第一双鉴别器包括第一全局鉴别器和第一局部鉴别器；其特征在于，自动上色网络结构AL-GAN还包括Attention模块和LSTM模块；
所述Attention模块由第二生成器和第二鉴别器组成；第二生成器根据输入图片生成第二鉴别器认为是真实的图片，第二生成器由第二编码器、第二转换器和第二解码器三部分组成；第二编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接一个和输入层结构一样的平卷积层；第二转换器包括两个没有池化层的密集卷积块，每个密集卷积块包含五个带有瓶颈层的密集卷积层，密集卷积块之间设有压缩层；第二解码器包括三个上采样反卷积层和一个输出层，每个上采样反卷积层后接一个和输入层结构一样的平卷积层；第二编码器中的每层下采样卷积层和与之对应的解码器中的上采样反卷积层进行复制式连接；
第二鉴别器用于判别输入的图片是来自第二生成器的合成图片还是来自训练集的真实图片，由连续的下采样卷积层组成；
所述LSTM模块由第三生成器和第三双鉴别器两部分构成；
第三生成器采用encoder-LSTM-decoder结构，分为第三编码器、循环神经网络模块、第三解码器三个部分；第三编码器由一个输入层、四个下采样卷积层和四个空洞卷积层组成，每个下采样卷积层后接一个平卷积层；循环神经网络模块采用LSTM网络结构；第三解码器由四个上采样反卷积层和一个输出层组成，每个上采样反卷积层后接一个和输入层结构一样的平卷积层；第三编码器中的每层下采样卷积层和与之对应的解码器中的上采样反卷积层进行复制式连接；
第三双鉴别器用于判别输入的图片是来自第三生成器的合成图片还是来自训练集的真实图片，由连续的下采样卷积层组成；第三双鉴别器包括第三全局鉴别器和第三局部鉴别器；第三全局鉴别器由四层下采样层和一个输出层构成，第三局部鉴别器由五层下采样层和一个输出层构成，将第三双鉴别器计算的损失结合起来，与第三生成器共同完成对抗一致性训练。


2.一种基于ArcGAN网络的手绘3D建筑自动上色方法，基于权利要求1所述自动上色网络结构，其特征在于，包括以下步骤：
(1)建立网络训练集P和训练集C并存储成TFRecords文件；
(2)将训练集P和训练集C输入ArcGAN网络，对ArcGAN网络进行训练；
(3)将上述训练好的ArcGAN网络模型导出成.pb格式的文件；
(4)将训练集P和训练集C输入Attention模块，对Attention模块进行训练；
(5)将上述训练好的Attention模块网络模型导出成.pb格式的文件；
(6)将训练集P和训练集C输入LSTM模块，对LSTM模块进行训练；
(7)将上述训练好的LSTM模块网络模型导出成.pb格式的文件；
(8)制作测试集；
(9)读入测试集，调用训练好的ArcGAN网络，生成ArcGAN网络上色结果图；
(10)将上述经由ArcGAN网络生成得到的上色结果图与测试集建筑线条图作为新一轮测试集，调用训练好的Attention模块，生成Attention上色结果图；
(11)将上述经由Attention模块生成得到的Attention上色结果图复制四组，第一组去除最后三张图片，第二组去除最后两张图片和第一张图片，第三组去除最后一张图片和前两张图片，第四组去除前三张图片，由此让四组图片保持连续顺序，将这四组上的图片与测试集建筑线条图作为新一轮测试集，调用训练好的LSTM模块，生成得到最后上色结果图。


3.根据权利要求2所述一种基于ArcGAN网络的手绘3D建筑自动上色方法，其特征在于，步骤(2)具体如下：
(201)训练第一双鉴别器：训练集C中的一张真实图片ci分别输入两个设有默认参数的第一全局鉴别器和第一局部鉴别器中，第一全局鉴别器和第一局部鉴别器通过卷积提取图片特征，最终分别输出与真实标签0.9之间的差距，再求差距的平均值作为第一双鉴别器的损失值D(ci)，目标是使损失值降低，根据损失值D(ci)经反向传播后更新第一双鉴别器参数；
(202)训练第一生成器：训练集P中的一张图片输入第一生成器中，第一生成器通过编码过程卷积提取图片特征，通过转换过程对图片特征进行相应转换，再通过反卷积将特征图片重构，最终输出生成图片；
(203)将(202)得到的生成图片作为第一双鉴别器的输入，第一双鉴别器在被训练了一次的基础上对本次输入进行卷积，提取图片特征，最终分别输出前后两次与真实标签0.9之间的差距，目标是使此差距变大，将前后两次差距值求平均值后传递给第一生成器即为第一生成器的损失D(G(pi))，第一生成器根据损失D(G...

【专利技术属性】
技术研发人员：孙倩，陈妍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12