一种基于分类学习的相似图像彩色化算法制造技术

本发明专利技术公开了一种基于分类学习的相似图像彩色化算法，包括以下步骤：收集样本图像，然后提取图像灰度共生矩阵属性利用AP算法将这些样本图像分为5个类，分别计算目标图像和参照图像的超像素，然后从参照图像迁移色彩到目标图像，之后根据图像空间的连续性对超像素颜色进行校正，最后利用算法进行颜色传播，完成彩色化。本发明专利技术考虑到图像全局属性对图像的影响，提取图像灰度共生矩阵属性对超像素匹配函数的参数进行分类学习，这样对于具有不同构图的图像就有不同的参数函数作超像素的匹配，提高了我们方法对图像的通用性，而且在匹配之后，可以在超像素级别上进行区域生长算法分割，在区域内进行颜色修正。

【技术实现步骤摘要】
一种基于分类学习的相似图像彩色化处理方法
本专利技术涉及相似图像彩色化算法的
，特别是基于分类学习的相似图像彩色化处理方法的

技术介绍
图像彩色化的目标是为灰度图像增添颜色使得彩色化后的图像有感知意义和视觉吸引力。但彩色化问题的关键是存在很多潜在的颜色可以分配给目标灰度图像的像素点(比如，叶子可以是黄色，绿色和棕色)。因此，彩色化问题是一个没有绝对正确的解决方案的问题。为减少潜在颜色分配的影响，人工交互在彩色化过程中扮演重要角色。交互式彩色化方法要求用户为目标图像人工标注颜色，然后通过优化方法将人工标注的颜色值平滑扩散到整张图像从而完成图像彩色化。这些技术的一个缺点是过多的人工花费，此外，着色效果依赖与用户标注的颜色值，而且对用户有较高的专业要求。另一种是自动彩色化方法，这些方法需要一个与待彩色化的灰度图像相似的彩色的参照图像作为输入，然后通过匹配将颜色从参照图像迁移到目标图像。在多数情况下，虽然这些方法可以减少人工标注的时间花费，但是这些方法往往需要仔细调整大量参数以获得满意的结果。
技术实现思路
本专利技术的目的就是解决现有技术中的问题，提出一种基于分类学习的相似图像彩色化处理方法，能够利用图像全局特性对超像素特征匹配时的特征权重进行分类学习，更加具有通用性，而且在匹配之后，利用图像空间的连续性对超像素的颜色进行校正使本方法展现出更强水平的空间结合性。为实现上述目的，本专利技术提出了一种基于分类学习的相似图像彩色化处理方法，依次包括以下步骤：a)在网络上收集多组样本图像，对于每一组图像，取其中一张作为参照图像，而对另一张灰度化后的图像作为要着色的目标图像，同时添加没有灰度化的原图像作为正确着色方案，然后提取目标图像的灰度共生矩阵，利用AP算法将上述多组样本图像分为5类；b)使用基于几何流的超像素算法，分别对目标图像和参照图像提取超像素，目标图像和参照图像的每一个超像素包括亮度值、标准差、Gabor和SURF四个特征；c)为了得到图像提取的超像素的亮度值、标准差、Gabor和SURF四个特征的最优化线性组合，通过权重学习来寻找一组最优权重使得误差函数Err达到最小，我们定义每一组图像的匹配误差为：其中，O是原图像，R是参照图像，I是标记有超像素颜色的目标图像，Os表示原图像第s个超像素所对应的颜色值，Is表示目标图像第s个超像素通过颜色迁移得到的颜色值，而每一类的总误差是该类内所有图像误差综合：其中，n表示该类中的样本数量，我们使用Levenberg-Marquardt优化算法对误差函数Err求最小值，最后到最优权重d)对b)步骤中提取的的超像素，在参照图像的超像素中寻找与目标图像超像素一致的超像素，采用欧氏距离作为超像素之间相似度的度量，首先对所有超像素的亮度值、标准差、Gabor和SURF四个特征进行标准化处理，然后对每一个特征计算其对应的欧式距离，将每一个特征的欧式距离乘以该特征的权重，最后四个特征的加权欧氏距离作为超像素间的相似度度量Dist，Dist越小说明超像素越相似，计算方法如下：Dist(ti，rj)＝w1E1(ti，rj)+w2E2(ti，rj)+w3E3(ti，rj)+w4E4(ti，rj)，其中，ti和rj分别表示目标图像的超像素和参照图像的超像素，E1，E2，E3和E4分别是亮度值、标准差、Gabor和SURF所对应的欧式距离，而w1，w2，w3和w4则分别表示亮度值、标准差、Gabor和SURF所对应的相似度权重，根据图像灰度共生矩阵属性判断类别，选择该类所对应的权重，权重值由c)步骤中描述的学习算法获得，目标图像超像素ti所匹配的超像素rj是使得Dist最小的参照图像超像素，即：B＝argminjDist(ti，rj)，rj∈R，其中R表示参考图像所有超像素，然后将rj中的颜色值作为ti所对应的初始颜色值；e)在色彩匹配迁移的过程中还是会产生小部分的匹配错误，可以根据图像空间的连续性对超像素颜色进行校正，最后通过最优化颜色插值算法将超像素颜色传播到目标图像的每一个像素上，完成目标图像的彩色化，最优化颜色插值算法基于一个简单的假定：相邻的像素之间如果有相似的灰度值，那么就会有相似的颜色值，利用这一假定，图像颜色扩散的过程转化为一个全局优化求解的过程，设定最小化目标：J(u)＝∑r(u(r)-∑s∈N(r)s≠rwrsu(s))2，其中u(r)，u(s)表示是像素的颜色值，N(r)表示r的邻域，wrs是r，s间依据亮度值确定的权值，满足：Y(s)，Y(r)是像素亮度，是r邻域内亮度方差，邻域外像素与邻域中心像素间的权值为0。作为优选，所述步骤a)中采用灰度共生矩阵中四个最常用的特征指标来表达图像全局特性，四个最常用的特征分别是角二阶矩、对比度、相关性和熵，取0°、45°、90°和135°作为不同方向的偏移参数，作其灰度共生矩阵，分别求取偏移后的灰度共生矩阵的四个最常用的特征指标，然后对同一类特征指标计算其均值和方差作为最终的灰度共生矩阵的计算结果。作为优选，所述b)步骤通过计算属于超像素中的像素点的均值作为表示超像素的特征值，亮度值：使用Lab颜色空间作为颜色迁移的颜色空间，提取Lab空间中的L作为每一个像素点的亮度值；标准差：考虑到像素点的邻域空间统计量，采用5X5大小的像素的亮度值的标准差作为该点像素的标准差；Gabor：使用Gabor滤波器为每一个像素点提取一个40维的特征，设定8个方向和5个指数尺度；SURF：每一个像素点提取一个128维的SURF。作为优选，所述步骤e)中假设超像素在图像空间中是连续的，并且超像素的亮度值和标准差两个特性又是相近的，那么判定超像素的颜色值也是相近的，记每一个超像素中心点颜色为C，则亮度值可以表示为：L＝[C1，C2，…，CS]，其中s表示目标图像的超像素个数，给定一个图G＝(V，E)，其中V是超像素点，E表示超像素邻接关系，L与C值的最小化能量公式的顶点形式为：argminL∑u∈V∑v∈N(u)ωuv||Cu-Cv||，其中N(u)是超像素u的邻接超像素集，ωuv为权重因子，ωuv＝exp(-(λ1||lu-lv||+λ2||stdu-stdv||))，其中l是超像素亮度值，std是超像素的标准差属性值，λ1，λ2是权衡因子。作为优选，所述对公式argminLΣu∈VΣv∈N(u)ωuv||Cu-Cv||进行求解时，对N(u)重新定义后得到N*(u)：e1)对每一个超像素u，以u的亮度l和标准差std作为邻域增长的亮度和标准差；e2)计算u与其邻接超像素v的强度和标准差的欧氏距离，分别为和若并且则是超像素v属于N*(u)遍历u的所有邻接超像素，其中，T1和T2分别是强度值和标准差的阈值；e3)若N*(u)的元素个数为0，则说明该超像素点在图像空间上是独立点，其色彩值只依赖局部特性，若N*(u)元素个数不为0，则对N*(u)中所有超像素的邻接超像素作(e2)的操作，生长路径最大为15；对于超像素u及其用上述方法得到的邻接超像素集N*(u)，那么这些超像素的颜色值就是相似的，那么如果存在这样的L*＝[C1，C2，…，CS]，L*使得对于每一个超像素及其邻接超像素集的颜色值都分别相似，则公式argminL∑u∈V本文档来自技高网...

【技术保护点】
一种基于分类学习的相似图像彩色化算法，依次包括以下步骤：a)在网络上收集多组样本图像，对于每一组图像，取其中一张作为参照图像，而对另一张灰度化后的图像作为要着色的目标图像，同时添加没有灰度化的原图像作为正确着色方案，然后提取目标图像的灰度共生矩阵，利用AP算法将上述多组样本图像分为5类；b)使用基于几何流的超像素算法，分别对目标图像和参照图像提取超像素，目标图像和参照图像的每一个超像素包括亮度值、标准差、Gabor和SURF四个特征；c)为了得到图像提取的超像素的亮度值、标准差、Gabor和SURF四个特征的最优化线性组合，通过权重学习来寻找一组最优权重使得误差函数Eγγ达到最小，我们定义每一组图像的匹配误差为：其中，O是原图像，R是参照图像，I是标记有超像素颜色的目标图像，Os表示原图像第s个超像素所对应的颜色值，Is表示目标图像第s个超像素通过颜色迁移得到的颜色值，而每一类的总误差是该类内所有图像误差综合：其中，n表示该类中的样本数量，我们使用Levenberg‑Marquardt优化算法对误差函数Eγγ求最小值，最后到最优权重d)对b)步骤中提取的的超像素，在参照图像的超像素中寻找与目标图像超像素一致的超像素，采用欧氏距离作为超像素之间相似度的度量，首先对所有超像素的亮度值、标准差、Gabor和SURF四个特征进行标准化处理，然后对每一个特征计算其对应的欧式距离，将每一个特征的欧式距离乘以该特征的权重，最后四个特征的加权欧氏距离作为超像素间的相似度度量Dist，Dist越小说明超像素越相似，计算方法如下：Dist(ti，γj)＝w1E1(ti，γj)+w2E2(ti，γj)+w3E3(ti，γj)+w4E4(ti，γj)，其中，ti和γj分别表示目标图像的超像素和参照图像的超像素，E1，E2，E3和E4分别是亮度值、标准差、Gabor和SURF所对应的欧式距离，而w1，w2，w3和w4则分别表示亮度值、标准差、Gabor和SURF所对应的相似度权重，根据图像灰度共生矩阵属性判断类别，选择该类所对应的权重，权重值由c)步骤中描述的学习算法获得，目标图像超像素ti所匹配的超像素γj是使得Dist最小的参照图像超像素，即：B＝argminj Dist(t：，γj)，γj∈R其中R表示参考图像所有超像素，然后将γj中的颜色值作为ti所对应的初始颜色值；e)在色彩匹配迁移的过程中还是会产生小部分的匹配错误，可以根据图像空间的连续性对超像素颜色进行校正，最后通过最优化颜色插值算法将超像素颜色传播到目标图像的每一个像素上，完成目标图像的彩色化，最优化颜色插值算法基于一个简单的假定：相邻的像素之间如果有相似的灰度值，那么就会有相似的颜色值，利用这一假定，图像颜色扩散的过程转化为一个全局优化求解的过程，设定最小化目标：J(u)＝∑r(u(r)‑∑s∈N(r)s≠rwrsu(S)2，其中u(r)，u(s)表示是像素的颜色值，N(r)表示r的邻域，wrs是r，s间依据亮度值确定的权值，满足：wrs∝e-(Y(s)-Y(r))2/2σr2Σs∈N(r)s≠rwrs=1,]]>Y(s)，Y(r)是像素亮度，是r邻域内亮度方差，邻域外像素与邻域中心像素间的权值为0。...

【技术特征摘要】
1.一种基于分类学习的相似图像彩色化处理方法，依次包括以下步骤：a)在网络上收集多组样本图像，对于每一组图像，取其中一张作为参照图像，而对另一张灰度化后的图像作为要着色的目标图像，同时添加没有灰度化的原图像作为正确着色方案，然后提取目标图像的灰度共生矩阵，利用AP算法将上述多组样本图像分为5类；b)使用基于几何流的超像素算法，分别对目标图像和参照图像提取超像素，目标图像和参照图像的每一个超像素包括亮度值、标准差、Gabor和SURF四个特征；c)为了得到图像提取的超像素的亮度值、标准差、Gabor和SURF四个特征的最优化线性组合，通过权重学习来寻找一组最优权重使得误差函数Err达到最小，我们定义每一组图像的匹配误差为：其中，O是原图像，R是参照图像，I是标记有超像素颜色的目标图像，Os表示原图像第s个超像素所对应的颜色值，Is表示目标图像第s个超像素通过颜色迁移得到的颜色值，而每一类的总误差是该类内所有图像误差综合：其中，n表示该类中的样本数量，我们使用Levenberg-Marquardt优化算法对误差函数Err求最小值，最后到最优权重d)对b)步骤中提取的的超像素，在参照图像的超像素中寻找与目标图像超像素一致的超像素，采用欧氏距离作为超像素之间相似度的度量，首先对所有超像素的亮度值、标准差、Gabor和SURF四个特征进行标准化处理，然后对每一个特征计算其对应的欧式距离，将每一个特征的欧式距离乘以该特征的权重，最后四个特征的加权欧氏距离作为超像素间的相似度度量Dist，Dist越小说明超像素越相似，计算方法如下：DiSt(ti，rj)＝w1E1(ti，rj)+w2E2(ti，rj)+w3E3(ti，rj)+w4E4(ti,rj)，其中，ti和rj分别表示目标图像的超像素和参照图像的超像素，E1，E2，E3和E4分别是亮度值、标准差、Gabor和SURF所对应的欧式距离，而w1，w2，w3和w4则分别表示亮度值、标准差、Gabor和SURF所对应的相似度权重，根据图像灰度共生矩阵属性判断类别，选择该类所对应的权重，权重值由c)步骤中描述的学习算法获得，目标图像超像素ti所匹配的超像素rj是使得Dist最小的参照图像超像素，即：B＝argminjDist(ti，rj)rj∈R，其中R表示参考图像所有超像素，然后将rj中的颜色值作为ti所对应的初始颜色值；e)在色彩匹配迁移的过程中还是会产生小部分的匹配错误，可以根据图像空间的连续性对超像素颜色进行校正，最后通过最优化颜色插值算法将超像素颜色传播到目标图像的每一个像素上，完成目标图像的彩色化，最优化颜色插值算法基于一个简单的假定：相邻的像素之间如果有相似的灰度值，那么就会有相似的颜色值，利用这一假定，图像颜色扩散的过程转化为一个全局优化求解的过程，设定最小化目标：J(u)＝∑r(u(r)-∑s∈N(r)s≠rwrsu(s))2，其中u(r)，u(s)表示是像素的颜色值，N(r)表示r的邻域，wrs是r，s间依据亮度值确定的权值，满足：Y(s)，Y(r)是像素亮度，是r邻域内亮度方差，邻域外像素与邻域中心像素间的权值为0。2.如权利要求1所述的一种基于分类学习的相似图像彩色化处理方法，其特征在于：所述步骤a)中采用灰度共生矩...

【专利技术属性】
技术研发人员：蒋云良，罗育宏，刘勇，范婧，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：浙江;33