一种基于语义分割与聚类块的颜色迁移方法技术

本发明专利技术公开了一种基于语义分割与聚类块的颜色迁移方法，属于数字图像处理技术领域。所述方法包括：采用语义分割的方法识别目标与源图像的物体块，并提出相似匹配算法以匹配源图像与目标图像的相似度，采用基于聚类块的方法实现颜色迁移；本发明专利技术解决了现有的颜色迁移方法法由源图像到目标图像整体迁移后存在的对应区域色彩过于失真的问题，达到了不同分类区域采用不同配色方案的效果，有效解决了某些分类区域的色彩与实际相差过多的缺陷；此外，本发明专利技术通过引入语义相似度，解决了传统颜色迁移的失真以及无法个性化定制的问题，达到了可根据目标图像定制化处理的效果。根据目标图像定制化处理的效果。根据目标图像定制化处理的效果。

【技术实现步骤摘要】
一种基于语义分割与聚类块的颜色迁移方法


[0001]本专利技术涉及一种基于语义分割与聚类块的颜色迁移方法，属于数字图像处理


技术介绍

[0002]图像颜色传输技术可以大幅改变图像的视觉效果，既可以实现灰度图像的伪上色，又可以实现类似于给图片添加滤镜的效果。
[0003]在过去，厉彦皓(厉彦皓,李治江,曹丽琴.基于邻域相似的颜色迁移算法研究[C].2015:2.)、钱小燕(钱小燕,李敏,韩磊,王帮峰.一种快速颜色传输算法[J].中国图象图形学报,2011,16(04):613
‑
617.)等都进行了相关的研究，得到了较好的效果，但都有一个共同的不足之处：颜色传输时对应区域之间只是色彩上的相似，没有实现源图像中的分类区域与目标图像的分类区域之间的对应。
[0004]因此传统的颜色迁移容易出现物体的失真性。例如：将主旋律为天空的图片与主旋律为草原的图片进行颜色迁移，得到的天空将会是绿色的。除此之外，传统颜色迁移方法是在图像整体风格与整体风格之间的迁移，而无法实现图像定制风格的迁移，因此，传统的颜色迁移方法失去了可个性化定制性。

技术实现思路

[0005]为了解决目前存在的颜色迁移算法不能实现目标图像中不同分类区域，使用不同的源图像分类区域色彩进行迁移，迁移后图像某些区域色彩与实际图像相比过于失真以及无法个性化定制的问题，本专利技术提供了一种基于语义分割与聚类块的颜色迁移方法，技术方案如下：
[0006]本专利技术的第一个目的在于提供一种颜色迁移方法，包括：
[0007]步骤1：对源图像和目标图像进行语义分割，得到所述源图像和所述目标图像的域间分类结果；
[0008]步骤2：根据域间匹配算法计算得到所述源图像和目标图像各域之间的对应关系；
[0009]步骤3：对所述源图像和目标图像中的一个对应区域进行域内聚类，并选择方差和最小的组合作为域内匹配结果；
[0010]步骤4：根据颜色传输算法进行颜色传输，得到一个域内区域的处理结果；
[0011]步骤5：重复所述步骤3和4，直到所有的域间对应关系处理完毕；
[0012]步骤6：输出结果图片。
[0013]可选的，所述步骤2包括：
[0014]步骤21：记录所述目标图像的最终分类序号和所述源图像的最终分类序号；
[0015]步骤22：从所述目标图像的分类热图中按所述源图像的分类序号为行索引、按目标图像的分类序号做列索引，利用匹配算法构建m*n的相似度矩阵R，其中，m为所述源图像的分类数，n为所述目标图像的分类数，矩阵的每个元素代表各个分类的相似度。
[0016]可选的，所述步骤3使用K
‑
Means++算法分别对两个区域进行聚类，设聚类中心数为K，聚类中心集合为c1,c2,
…
,c
K
，最大迭代次数为T，终止阈值为σ；
[0017]步骤31：从数据集中随机选取一个样本作为初始聚类中心；
[0018]步骤32：计算每个样本与当前已有聚类中心之间的最短距离，用D(x)表示，x代表待聚类的样本，计算每个样本被选为下一个聚类中心的概率为：按照轮盘法选择出下一个聚类中心；
[0019]步骤33：重复所述步骤32，直到选择出共K个聚类中心；
[0020]步骤34：针对数据集中每个样本x
i
，计算它到K个聚类中心的距离并分到距离最小的聚类中心所对应的类中；
[0021]步骤35：针对每个类别c
i
，重新计算它的聚类中心：
[0022][0023]步骤36：重复所述步骤34和步骤35，终止条件为迭代次数达到最大限制或聚类中心不再变化；
[0024]步骤37：计算源图像和目标图像每个域内聚类域中R分量、G分量、B分量的均值，用来作为该域内区域的特征点，然后构建选择矩阵并记为matrix，大小为K*K，对于其中任意元素matrix
ij
,(i,j≤K)，代表源图像中第i个域内区域的特征点与目标图像中第j个域内区域的特征点之间的欧氏距离d
ij
，设source
i
为源图像的第i个特征点，target
j
为源图像的第j个特征点，则有：
[0025]d
ij
＝[source
i
(R)
‑
target
j
(R)]2+[source
i
(G)
‑
target
j
(G)]2+[source
i
(B)
‑
target
j
(B)]2[0026]步骤38：在matrix矩阵找出不同行不同列元素和的最小值，使区域内总体偏移最小，并返回相应的矩阵行列下标，形成对应的域内匹配结果。
[0027]可选的，所述步骤4包括：
[0028]步骤41：将所述源图像指定区域和所述目标图像指定区域从RGB空间转移到ιαβ颜色空间上；
[0029]步骤42：对于所述源图像和目标图像的每个通道计算各聚类域的均值和标准差；
[0030]步骤43：对所述目标图像的各聚类域移去相应均值，将剩余部分按所述源图像中聚类区域h的标准差与当前处理域标准差的比值缩放；
[0031]步骤44：加入所述源图像聚类区域h的均值；
[0032]步骤45：把所述目标图像中各个聚类域的处理结果进行加权平均，得到所述目标图像与源图像之间的像素关系表达：
[0033]目标图像ιαβ空间的像素＝(源标准差/目标标准差)*(目标像素
‑
目标均值)+
[0034]源均值
[0035]设μ
ιs
、μ
αs
、μ
βs
分别为所述源图像ι通道、α通道、β通道的均值，σ
ιs
、σ
αs
、σ
βs
分别为所述源图像ι通道、α通道、β通道的标准差；μ
ιt
、μ
αt
、μ
βt
分别为所述源图像ι通道、α通道、β通道的均值，σ
ιt
、σ
αt
、σ
βt
分别为所述源图像ι通道、α通道、β通道的标准差；ι、α、β为所述目标图像ιαβ通道值，ι'、α'、β'为结果图像ιαβ通道值：
[0036][0037]步骤46：将所述结果图像从ιαβ空间转换为RGB空间。
[0038]可选的，将图像从RGB空间转移到ιαβ颜色空间的过程包括：
[0039]RGB＝>CIEXYZ转换：
[0040][0041]CIEXY＝>LMS转换：
[0042][0043]LMS＝>ιαβ转换：
[0044][0045][0046][0047本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种颜色迁移方法，其特征在于，所述颜色迁移方法包括：步骤1：对源图像和目标图像进行语义分割，得到所述源图像和所述目标图像的域间分类结果；步骤2：根据域间匹配算法计算得到所述源图像和目标图像各域之间的对应关系；步骤3：对所述源图像和目标图像中的一个对应区域进行域内聚类，并选择方差和最小的组合作为域内匹配结果；步骤4：根据颜色传输算法进行颜色传输，得到一个域内区域的处理结果；步骤5：重复所述步骤3和4，直到所有的域间对应关系处理完毕；步骤6：输出结果图片。2.根据权利要求1所述的颜色迁移方法，其特征在于，所述步骤2包括：步骤21：记录所述目标图像的最终分类序号和所述源图像的最终分类序号；步骤22：从所述目标图像的分类热图中按所述源图像的分类序号为行索引、按目标图像的分类序号做列索引，利用匹配算法构建m*n的相似度矩阵R，其中，m为所述源图像的分类数，n为所述目标图像的分类数，矩阵的每个元素代表各个分类的相似度。3.根据权利要求2所述的颜色迁移方法，其特征在于，所述步骤3使用K
‑
Means++算法分别对两个区域进行聚类，设聚类中心数为K，聚类中心集合为c1,c2,
…
,c
K
，最大迭代次数为T，终止阈值为σ；步骤31：从数据集中随机选取一个样本作为初始聚类中心；步骤32：计算每个样本与当前已有聚类中心之间的最短距离，用D(x)表示，x代表待聚类的样本，计算每个样本被选为下一个聚类中心的概率为：按照轮盘法选择出下一个聚类中心；步骤33：重复所述步骤32，直到选择出共K个聚类中心；步骤34：针对数据集中每个样本x
i
，计算它到K个聚类中心的距离并分到距离最小的聚类中心所对应的类中；步骤35：针对每个类别c
i
，重新计算它的聚类中心：步骤36：重复所述步骤34和步骤35，终止条件为迭代次数达到最大限制或聚类中心不再变化；步骤37：计算源图像和目标图像每个域内聚类域中R分量、G分量、B分量的均值，用来作为该域内区域的特征点，然后构建选择矩阵并记为matrix，大小为K*K，对于其中任意元素matrix
ij
,(i,j≤K)，代表源图像中第i个域内区域的特征点与目标图像中第j个域内区域的特征点之间的欧氏距离d
ij
，设source
i
为源图像的第i个特征点，target
j
为源图像的第j个特征点，则有：d
ij
＝[source
i
(R)
‑
target
j
(R)]2+[source
i
(G)
‑
target
j
(G)]2+[source
i
(B)
‑
target
j
(B)...

【专利技术属性】
技术研发人员：蒋新科，张加林，罗佳源，佴宇飞，李嘉亮，李顺，虞致国，顾晓峰，范满平，
申请(专利权)人：江南大学，
类型：发明
国别省市：