一种基于生成模型的水刀自动填色系统及方法技术方案

本发明专利技术公开了一种基于生成模型的水刀自动填色系统及方法，主要包括CAD文件解析模块、水刀拼花区域分组模块、水刀拼花设计图自动生成模块和材质填充模块，CAD文件解析模块得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；水刀拼花区域分组模块对水刀拼花的每个区域进行分组；水刀拼花设计图自动生成模块利用c‑GAN生成器得到水刀拼花效果图；材质填充模块得到最终的水刀拼花设计方案。本发明专利技术使用自动填充，设计师的操作为一次性选取所有需要填充的材质，然后一键填充，极大提升了水刀拼花的设计效率；随着训练数据量的增大和模型的改善，可以方便的对自动设计效果进行改进。

【技术实现步骤摘要】
一种基于生成模型的水刀自动填色系统及方法
本专利技术涉及信息技术的领域，具体涉及一种基于生成模型的水刀自动填色系统及方法。
技术介绍
在当代设计中，精美的石材拼花或简约，或奢华，或精巧，总是能引起人们的惊叹，在空间中起到画龙点睛的作用，能熟练地在设计作品中运用拼花去表达设计理念，是高级的设计手法。优秀的水刀拼花需要精美的轮廓以及色彩搭配的设计，同一个水刀轮廓的设计，通过不同的颜色搭配方式可以产生出不同的水刀设计方案。在水刀拼花设计工具中，设计好轮廓后需要为轮廓中的不同区域选择不同颜色和纹理的材质，从而得到最终的水刀设计方案，但是在为轮廓复杂的水刀拼花填色时，设计师手动给几十甚至上百个区域选择材质进行填充，是一件枯燥而低效的工作。目前有很多文献提出用对抗生成网络进行漫画，人物或自然物体轮廓线的自动填色[1][2]，图像风格转换[3][5]，灰度图像的自动上色[4]，但是都不能直接解决水刀拼花自动设计的问题。因为这些方法最终得到的结果都是一张二维彩色图像，不是水刀拼花的设计方案，一个水刀拼花的设计方案需要能够准确的标识出每个区域的轮廓以及该区域使用的材质。参考文献6中的方法是水刀CAD文件解析到渲染的流程，其S4步的填色过程仅仅是利用简单的布尔运算配合简单的规则，尽量保证有邻接的区域填充的材质不同，其最终的填充效果可能并不符合设计师的常规设计思路。本专利技术的填色方法是根据大量的水刀拼花设计方案训练深度学习模型，生成材质填充后的效果图，然后根据效果图中的颜色找到用户提供的材质中最相似的材质，填充到指定区域，从而保证最终的设计结果的合理性（拟合设计师的设计习惯），而且随着用于训练的数据量增加以及模型的改进，自动设计的效果也会有改善。[1]ZhangL,JiY,LinX,etal.StyleTransferforAnimeSketcheswithEnhancedResidualU-netandAuxiliaryClassifierGAN[C].asianconferenceonpatternrecognition,2017:506-511.[2]SangkloyP,LuJ,FangC,etal.Scribbler:ControllingDeepImageSynthesiswithSketchandColor[C].computervisionandpatternrecognition,2017:6836-6845.[3]XiaoC,HanC,ZhangZ,etal.Example‐BasedColourizationViaDenseEncodingPyramids[J].ComputerGraphicsForum,2020,39(1):20-33.[4]ChangH,FriedO,LiuY,etal.Palette-basedphotorecoloring[C].internationalconferenceoncomputergraphicsandinteractivetechniques,2015,34(4).[5]IsolaP,ZhuJ,ZhouT,etal.Image-to-ImageTranslationwithConditionalAdversarialNetworks[C].computervisionandpatternrecognition,2017:5967-5976.[6]一种基于计算机图论和曲线图形布尔运算的水刀拼花技术。
技术实现思路
本专利技术的目的在于克服现有技术存在的不足，而提供一种基于生成模型的水刀自动填色系统及方法，设计师只需选择需要的填充的材质组合，系统会自动将材质填充到水刀轮廓的各个区域，方便设计师尝试不同的材质组合的效果进行尝试，并可以对最终效果进行微调，从而极大的提升水刀拼花方案的设计效率。本专利技术的目的是通过如下技术方案来完成的：一种基于生成模型的水刀自动填色系统，主要包括CAD文件解析模块、水刀拼花区域分组模块、水刀拼花设计图自动生成模块和材质填充模块，其中，CAD文件解析模块，用于得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；水刀拼花区域分组模块，用于对水刀拼花的每个区域进行分组，从而尽量保证填充结果的对称性，合理性；水刀拼花设计图自动生成模块，用于利用训练c-GAN生成器得到的生成模型，生成水刀拼花效果图；材质填充模块，用于计算水刀拼花每个分组在水刀拼花效果图上映射的区域，并计算水刀拼花效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。更进一步的，所述水刀拼花区域分组模块中分组的方法是计算区域的几何特征，特定几何特征相同的区域分成一组。更进一步的，所述水刀拼花设计图自动生成模块中，c-GAN生成器训练时，使用水刀的轮廓图作为生成器的输入，使用设计好的水刀拼花的效果图作为标签，将标签和c-GAN生成器的输出结果输入判别器进行对抗训练，直至结果稳定。更进一步的，所述水刀拼花设计图自动生成模块在方案生成时，将水刀拼花的轮廓图和用户选择的材质组合的预览图片输入c-GAN生成器生成模型，输出水刀拼花填色的效果图。更进一步的，所述水刀拼花设计图自动生成模块中，c-GAN生成器采用编码器-解码器结构，编码器对水刀拼花的轮廓图提取特征，特征和材质组合的预览图片一起输入解码器。本专利技术同时公开了一种基于生成模型的水刀自动填色方法，包括如下步骤：1）、将水刀拼花CAD文件通过CAD文件解析模块得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；2）、通过水刀拼花区域分组模块，对水刀拼花的每个区域进行分组，分组的方法是计算区域的几何特征，特定几何特征相同的区域分成一组；3）、通过c-GAN生成器得到水刀拼花效果图，c-GAN生成器训练时使用设计好的水刀拼花的效果图作为标签，将标签和c-GAN生成器的输出结果输入判别器进行对抗训练，直至结果稳定；4）、通过材质填充模块计算水刀拼花每个分组在生成的效果图上映射的区域，并计算生成的效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。本专利技术的有益效果为：本专利技术通过将水刀轮廓图和需要填充的材质作为c-GAN的输入条件，生成水刀拼花的填色效果图，并通过效果图与材质之间颜色特征的匹配进行材质的填充；使用自动填充，设计师的操作由原来为每个区域选择材质，并拖拽到指定区域，简化为一次性选取所有需要填充的材质，一键填充，方便快速尝试不同的配色方案，从而选择最优的结果，极大提升了水刀拼花的设计效率，多种方案的比较也间接提升了设计效果；自动设计结果是根据用户的输入得到的，用户通过输入的材质组合，对想要的大的结果进行合理控制；生成模型会根据用户的输入和训练时的实际设计方案学习到规律，生成合理的设计结果，随着训练数本文档来自技高网...

【技术保护点】
1.一种基于生成模型的水刀自动填色系统，其特征在于：主要包括CAD文件解析模块、水刀拼花区域分组模块、水刀拼花设计图自动生成模块和材质填充模块，其中，/nCAD文件解析模块，用于得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；/n水刀拼花区域分组模块，用于对水刀拼花的每个区域进行分组；/n水刀拼花设计图自动生成模块，用于利用训练c-GAN生成器得到的生成模型，生成水刀拼花效果图；/n材质填充模块，用于计算水刀拼花每个分组在水刀拼花效果图上映射的区域，并计算水刀拼花效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。/n

【技术特征摘要】
1.一种基于生成模型的水刀自动填色系统，其特征在于：主要包括CAD文件解析模块、水刀拼花区域分组模块、水刀拼花设计图自动生成模块和材质填充模块，其中，
CAD文件解析模块，用于得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；
水刀拼花区域分组模块，用于对水刀拼花的每个区域进行分组；
水刀拼花设计图自动生成模块，用于利用训练c-GAN生成器得到的生成模型，生成水刀拼花效果图；
材质填充模块，用于计算水刀拼花每个分组在水刀拼花效果图上映射的区域，并计算水刀拼花效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。


2.根据权利要求1所述的基于生成模型的水刀自动填色系统，其特征在于：所述水刀拼花区域分组模块中分组的方法是计算区域的几何特征，特定几何特征相同的区域分成一组。


3.根据权利要求1所述的基于生成模型的水刀自动填色系统，其特征在于：所述水刀拼花设计图自动生成模块中，c-GAN生成器训练时，使用水刀的轮廓图作为生成器的输入，使用设计好的水刀拼花的效果图作为标签，将标签和c-GAN生成器的输出结果输入判别器进行对抗训练，直至结果稳定。


4.根据权利要求1或3所述的基于生成模型的水刀自动填色系统，其特征在于：所述水刀拼花设计图自动生成模块在方案生成时，将水刀拼花的轮廓图和用户选...

【专利技术属性】
技术研发人员：于川汇，周源，
申请(专利权)人：杭州群核信息技术有限公司，
类型：发明
国别省市：浙江;33