一种基于卷积神经网络的智能化变色系统及方法技术方案

本发明专利技术公开了一种基于卷积神经网络的智能化变色方法。该发明专利技术基于卷积神经网络技术，是一种智能图像变换算法。该方法指定输入图和目标图，将输入图的颜色变换为和目标图颜色风格一致。变色过程中不改变输入图的内容，仅仅修改其色彩信息。不同于基于颜色比对的变换方法，该方法能够很好的处理在复杂图案中的渐变色问题，能够产生柔和的配色方法，并消除变色过程中可能出现的噪点、对比度缺失、边缘虚化等问题。

【技术实现步骤摘要】
一种基于卷积神经网络的智能化变色系统及方法
本专利技术涉及神经网络、深度学习、图像处理、图像识别领域，特别是涉及到基于神经网络的卷积网络，提供一种基于卷积神经网络的智能化变色系统及方法。
技术介绍
对图案进行自动配色是一种常见的计算机图案变换方式，它具有广泛的应用价值，比如对于黑白照片、黑白电影的自动配色，以及在纺织品花型设计中的一个花型图案多种配色方案等。传统的方法通过分析图像中的物体以及它们的颜色，然后采用简单的颜色替代方式进行换色。对于颜色分布简单的图案，这类方法效果可以接受；然而，对于大部分复杂的具有渐变色彩的图案，传统方法效果糟糕。图1展示了一个传统方法的变色结果，算法试图将输入图转化为具有和目标图一样的颜色分布，然而结果却令人失望。色块不自然的搭配、突兀的渐变以及偶尔出现的噪点都造成结果图的效果低下。卷积神经网络在图像识别方面取得了以前任何算法都不具备的准确性，它可以更加细致的学习图像中的特征，因此，在各种图像处理算法中都取得了不错的成绩。在变色变换中，不同于传统算法机械的替代方式，神经网络通过对已有图片的阅读，记录了合适的配色方式，能够更加自然的对图像进行配色。图2展示了本专利技术提出的卷积神经网络的变色结果，可以看出：对比传统算法，变色结果更加的自然。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种基于卷积神经网络的智能化变色系统及方法。本专利技术利用卷积神经网络进行图像色彩转换，根据目标图配色方案来改变输入图的色彩，使得输入图具有和目标图一致的颜色配比，并且色彩搭配柔和自然。一种基于卷积神经网络的智能化变色系统，包括图片训练集准备模块、图像色卡抽取模块、卷积网络变色训练模块、实时在线变色模块和变色结果修正模块。所述的图片训练集准备模块：训练神经网络需要大量的数据集作支撑，而一图多色的图案非常稀少，该模块用于将图片转换为HSV空间，保持S和V通道信息不变，通过修改H通道内容可以改变图案的整体配色，从而产生足够数量的一图多色的图片训练集。所述的图像色卡抽取模块：通过给定参数K，该模块根据图像中颜色的分配比率抽取K个主要颜色，并将颜色按照重要程度排序。所述的卷积网络变色训练模块：将输入的训练图像转到LAB空间，然后保持L空间信息不变，对A和B空间的图像内容进行卷积，生成原训练图像素大小1/4、1/16、1/64的新图案特征表达，并对其中内容进行颜色变换，变换后的训练图像Ⅱ再通过卷积网络进行放大合并，最终和L空间内容叠加，生成具有新配色风格的变色图案Ⅲ。将每一张训练图像及其对应的变色图案Ⅲ，作是一对训练图案，输入到卷积网络中，训练过程将反复对训练集中的训练图案进行多次训练，直至卷积网络产生的变色图案和真实的变色结果图案的误差足够小。所述的实时在线变色模块：将训练好的的卷积网络变色训练模块加载进来，然后根据用户的输入图和目标图进行变色处理，实际变色过程相当于将输入图进行一次卷积网络计算。所述的变色结果修正模块：针对经过实时在线变色模块处理后的图像，提供更加个性化的颜色编辑功能，用户能够在图像上选择若干点，并对选择的点指定其想要的颜色，变色结果修正模块将对图像进行重新渲染，根据用户的需求对图像的色彩进行微调。一种基于卷积神经网络的智能化变色系统的实现方法，具体包括如下步骤：步骤1.构建图片训练集准备模块针对每张训练图：将训练图转换到HSV空间，保持S和V通道信息不变，通过修改H通道内容改变图案的整体配色，从而产生N张与该训练图对应的不同配色的目标图，同时将每张目标图和训练图则构成了一对训练数据；从而得到一图多色的图片训练集。步骤2.构建图像色卡抽取模块通过给定参数K，根据图像中颜色的分配比率抽取K个主要颜色，并将颜色按照重要程度排序，具体实现如下：2-1.扫描全图建立一个颜色统计表，对于每一种颜色出现的次数做出统计。2-2.根据图像中出现的最大颜色值和最小颜色值，将颜色空间等分为K份，其中K为指定需要提取的主要颜色数量。2-3.将每一种颜色按照其具体的颜色值归类到K等分中的一个类中。2-4.对于一个类中的颜色，选择出现最多的一个颜色作为类的代表色，而类的比重计算为该类全部颜色的出现次数。2-5.对K类按照其比重进行排序。步骤3、构建卷积网络变色训练模块卷积网络变色训练模块用于训练一个面向图像变色的卷积神经网络，如图3所示，具体步骤包括：3-1.将输入图像从RGB空间转换为LAB空间，L通道内容保持不变，AB两个通道的内容按照如下方式变换：定义一个标准的卷积模块，包括：两个连续的卷积层、一个ReLU层和一个最大化采样层(MaxPooling)，每次经过该卷积模块，图像特征增加一倍而图像大小缩小为原来的1/4，长、宽各缩小为原来的1/2。定义一个标准的倒卷积模块，和卷积模块相对应，包括：两个连续的卷积层、一个ReLU层和一个最大化采样层(MaxPooling)，每次经过该卷积模块，图像特征增加一倍而图像大小扩大为原来的4倍，长、宽各扩大为原来的2倍。3-2.将输入图和目标图通过步骤2的方法抽取色卡。3-3.对输入图和目标图上的点进行随机采样，以保证随机采样点的变色的准确度。3-4.将输入图、输入图的采样、输入图的色卡作为卷积网络的输入，通过三个卷积模块和两个倒卷积模块；3-5.最终生成的结果通过一个卷积层产生新的AB通道内容和L通道内容，并将产生的通道内容合并成为新的结果图。3-6.结果图转换回RGB空间，并和目标图的色卡、目标图的随机采样结果进行比对，计算结果图和目标图之间的结果误差(loss)，然而回馈网络进行训练。3-7.以上步骤重复若干次，直至结果误差足够小。步骤4.构建实时在线变色模块将训练好的的卷积网络变色训练模块加载进来，然后根据用户的输入图和目标图进行变色处理，实际变色过程相当于将输入图进行一次卷积网络计算。步骤5.构建变色结果修正模块通过步骤4后的变色仍然可能产生少量的颜色不和谐，变色结果修正模块则负责提供一个工具改变不和谐的色彩。因为在训练过程中在步骤3的网络里加入随机采样点，卷积神经网络可以对任意指定的点周围进行颜色智能变换。如图4所示，具体步骤包括：5-1.变色结果修正模块展现两个图案给用户，一个是完全没有颜色信息的灰度图，一个是实时变色结果。5-2.用户对于变色结果不满意的地方，在灰度图上点击选取一个点，然后在调色板上选择自己想要变换成的颜色。5-3.神经网络后台根据用户给出的变色提示，对图像进行再变色，得到新的结果展现为右边的实时变色结果。5-4.重复步骤5-2和5-3直至用户对于右边的结果图满意为止。本专利技术有益效果如下：1.本专利技术提出的卷积神经网络的变色结果，在变色变换中，不同于传统算法机械的替代方式，神经网络通过对已有图片的阅读，记录了合适的配色方式，能够更加自然的对图像进行配色，使得变色结果更加的自然。2.本专利技术指定输入图和目标图，将输入图的颜色变换为和目标图颜色风格一致。变色过程中不改变输入图的内容，仅仅修改其色彩信息。不同于基于颜色比对的变换方法，该方法能够很好的处理在复杂图案中的渐变色问题，能够产生柔和的配色方法，并消除变色过程中可能出现的噪点、对比度缺失、边缘虚化等问题。附图说明图1是传统方法变色结果。图2是卷积网络变色结果。图3是卷积变色网络结构图本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的智能化变色系统，其特征在于包括图片训练集准备模块、图像色卡抽取模块、卷积网络变色训练模块、实时在线变色模块和变色结果修正模块；所述的图片训练集准备模块：用于将图片转换为HSV空间，保持S和V通道信息不变，通过修改H通道内容可以改变图案的整体配色，从而产生足够数量的一图多色的图片训练集；所述的图像色卡抽取模块：通过给定参数K，该模块根据图像中颜色的分配比率抽取K个主要颜色，并将颜色按照重要程度排序；所述的卷积网络变色训练模块：将输入的训练图像转到LAB空间，然后保持L空间信息不变，对A和B空间的图像内容进行卷积，生成原训练图像素大小1/4、1/16、1/64的新图案特征表达，并对其中内容进行颜色变换，变换后的训练图像Ⅱ再通过卷积网络进行放大合并，最终和L空间内容叠加，生成具有新配色风格的变色图案Ⅲ；将每一张训练图像及其对应的变色图案Ⅲ，作是一对训练图案，输入到卷积网络中，训练过程将反复对训练集中的训练图案进行多次训练，直至卷积网络产生的变色图案和真实的变色结果图案的误差足够小；所述的实时在线变色模块：将训练好的的卷积网络变色训练模块加载进来，然后根据用户的输入图和目标图进行变色处理，实际变色过程相当于将输入图进行一次卷积网络计算；所述的变色结果修正模块：针对经过实时在线变色模块处理后的图像，提供更加个性化的颜色编辑功能，用户能够在图像上选择若干点，并对选择的点指定其想要的颜色，变色结果修正模块将对图像进行重新渲染，根据用户的需求对图像的色彩进行微调。...

【技术特征摘要】
1.一种基于卷积神经网络的智能化变色系统，其特征在于包括图片训练集准备模块、图像色卡抽取模块、卷积网络变色训练模块、实时在线变色模块和变色结果修正模块；所述的图片训练集准备模块：用于将图片转换为HSV空间，保持S和V通道信息不变，通过修改H通道内容可以改变图案的整体配色，从而产生足够数量的一图多色的图片训练集；所述的图像色卡抽取模块：通过给定参数K，该模块根据图像中颜色的分配比率抽取K个主要颜色，并将颜色按照重要程度排序；所述的卷积网络变色训练模块：将输入的训练图像转到LAB空间，然后保持L空间信息不变，对A和B空间的图像内容进行卷积，生成原训练图像素大小1/4、1/16、1/64的新图案特征表达，并对其中内容进行颜色变换，变换后的训练图像Ⅱ再通过卷积网络进行放大合并，最终和L空间内容叠加，生成具有新配色风格的变色图案Ⅲ；将每一张训练图像及其对应的变色图案Ⅲ，作是一对训练图案，输入到卷积网络中，训练过程将反复对训练集中的训练图案进行多次训练，直至卷积网络产生的变色图案和真实的变色结果图案的误差足够小；所述的实时在线变色模块：将训练好的的卷积网络变色训练模块加载进来，然后根据用户的输入图和目标图进行变色处理，实际变色过程相当于将输入图进行一次卷积网络计算；所述的变色结果修正模块：针对经过实时在线变色模块处理后的图像，提供更加个性化的颜色编辑功能，用户能够在图像上选择若干点，并对选择的点指定其想要的颜色，变色结果修正模块将对图像进行重新渲染，根据用户的需求对图像的色彩进行微调。2.根据权利要求1所述的一种基于卷积神经网络的智能化变色系统的实现方法，其特征在于包括如下步骤：步骤1.构建图片训练集准备模块针对每张训练图：将训练图转换到HSV空间，保持S和V通道信息不变，通过修改H通道内容改变图案的整体配色，从而产生N张与该训练图对应的不同配色的目标图，同时将每张目标图和训练图则构成了一对训练数据；从而得到一图多色的图片训练集；步骤2.构建图像色卡抽取模块通过给定参数K，根据图像中颜色的分配比率抽取K个主要颜色，并将颜色按照重要程度排序，具体实现如下：2-1.扫描全图建立一个颜色统计表，对于每一种颜色出现的次数做出统计；2-2.根据图像中出现的最大颜色值和最小颜色值，将颜色空间等分为K份，其中K为指定需要提取的主要颜色数量；2-3.将每一种颜色按照其具体的颜色值归类到K等分中的一个类中；2-4.对于一个类中的颜色，选择出现...

【专利技术属性】
技术研发人员：伍赛，张梦丹，金海云，吴参森，
申请(专利权)人：杭州米绘科技有限公司，
类型：发明
国别省市：浙江,33