基于抠图的颜色校正优化方法技术

本发明专利技术涉及一种基于抠图的颜色校正优化方法，包括以下步骤：S1：输入参考图像和目标图像，生成颜色校正结果图像和初始残差图像；S2：利用初始残差图像建立损失函数并使其最小化，获得关于最优残差图像的二次型损失函数；S3：利用MDSI和GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；S4：在二次型损失函数中添加结构数据项来约束图像的结构，生成最优残差图像，进而生成结果图像；S5：利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。该方法有利于在对图像进行颜色校正优化的同时保证图像的清晰度。

Optimization method of color correction based on matting

【技术实现步骤摘要】
基于抠图的颜色校正优化方法
本专利技术属于图像和视频处理及计算机视觉领域，具体涉及一种基于抠图的颜色校正优化方法。
技术介绍
颜色可以传递信息，表达情感，是我们视觉世界必不可少的一部分，也是艺术，摄影和可视化中用于传递图像信息或影响个人情绪的主要图像特征之一。由于数字信息技术的迅猛发展，数字图像信息成为人们接触最多的信息之一，随之而来的图像问题便成为目前的视觉研究领域的重点。图像的颜色是图像的众多属性中，比较重要的全局视觉特性。现实生活中我们根据物体的颜色特性，来辨识物体的外貌特征，所以颜色便成为物体表现外貌特征的视觉基础。而通过修改图像中的颜色，可以改变场景，模拟不同的照明条件或实现不同的风格效果。由于物体表面对光线的反射角度不同，同一个物体在不同的视觉角度下可能呈现不同的颜色信息，这种差异可能会严重影响后期进一步处理的结果，生成错误的匹配信息，使实验结果产生偏差，这时就需要用到颜色校正来消除这种色差，提升视觉体验。根据应用场景的不同，颜色校正可以分为两种类型。在第一类场景中，包括图像拼接和立体图像/视频质量增强，主要在像素级别处理参考图像和目标图像之间的色差，这里的参考图像是具有期望颜色外观的输入图像，目标图像是指具有不期望的颜色外观和期望的结构的输入图像。例如，两张用于拼接的图像或捕获了具有相似场景的立体图像/视频的左右视图，但具有不同结构和颜色外观的图像显示了有水平偏移和对应区域之间的颜色不一致的立体图像左右图像。这里的一致性要求较高，是像素级别的。对于第二类场景，即颜色迁移和风格转移，颜色校正只考虑区域级别的对应关系(例如天空到天空，建筑物到建筑物)，甚至不考虑参考图像和目标图像之间物体的对应关系。我们主要针对第一种类型的场景进行颜色校正。从概念上讲，颜色校正的目的始终是相同的，即修改输入目标图像的颜色以匹配参考图像的颜色，消除图像之间的色差或将参考图像的颜色风格应用于目标图像。根据前期图像的输入类型，或应用时针对不同需求的特殊处理，已经出现了许多的颜色校正方法，这些算法根据校正函数的多少主要又可以分为全局算法和局部算法。但是面对多样的颜色差异问题，单一的某个颜色校正算法对图像进行处理时，会表现出校正效果不佳的问题，例如全局算法的全局映射导致的错误匹配，图像模糊和边缘伪影，局部算法的区域映射导致的结构不一致和区域模糊问题，这些问题会降低人的视觉感受，影响人们的感应效果，需要后期进一步处理。于是当前一些颜色校正优化算法被提出用于解决颜色校正算法的后处理问题，例如基于梯度的优化算法、基于区域的均值优化和基于引导滤波的后期优化算法，但是这些优化算法都是区域级别的，进一步的优化会使图像的局部区域模糊化，反而降低了图像的视觉感受，因此需要一种像素级别的颜色校正优化算法来解决当前颜色校正算法的后处理问题，在进行像素级优化的同时，又不降低图像的视觉感受。
技术实现思路
本专利技术的目的在于提供一种基于抠图的颜色校正优化方法，该方法有利于在对图像进行颜色校正优化的同时保证图像的清晰度。为实现上述目的，本专利技术采用的技术方案是：一种基于抠图的颜色校正优化方法，包括以下步骤：步骤S1：输入参考图像和目标图像，利用颜色校正算法生成颜色校正结果图像和初始残差图像；步骤S2：利用初始残差图像建立损失函数，并使损失函数最小化，获得关于最优残差图像的二次型损失函数；步骤S3：利用平均偏差相似性MDSI和梯度相似性度量GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；步骤S4：基于图像一致性置信图，在二次型损失函数中添加结构数据项来约束图像的结构，生成优化后的最优残差图像，并将最优残差图像与目标图像结合生成结果图像；步骤S5：分别计算目标图像和结果图像的梯度，利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。进一步地，所述步骤S1具体包括以下步骤：步骤S11：输入参考图像和目标图像，所述参考图像是指具有理想颜色信息的输入图像，目标图像是指具有理想结构和较差颜色外观的输入图像；利用颜色校正算法生成颜色校正结果图像Ii；步骤S12：利用颜色校正结果图像Ii和目标图像It生成初始残差图像进一步地，所述步骤S2具体包括以下步骤：步骤S21：将最优残差图像表示为初始残差图像的线性模型，公式如下：其中，t表示期望得到的最优残差图像，m和d表示系数；步骤S22：获取模型的最优解，在每个以k为中心的窗口中，找到适当的mk和dk来最小化下面的损失函数J(t,d,m)：其中，变量k遍历初始残差图像中的每一个像素，wk表示以k为中心的窗口区域，i是属于窗口wk的像素，ti和表示t和中对应i位置的像素值，mk和dk表示计算窗口wk时所使用的系数值，损失函数的最后一个分量是mk上的正则化项，用于保持数据稳定性；最小化J(t,d,m)，并将J(t,d,m)表示为关于向量t的二次型：J(t)＝V(t)TLV(t)其中，J(t)表示向量t的二次型损失函数，L表示N×N维度的拉普拉斯矩阵，N表示图像高和宽的乘积，T表示转置，V(·)表示对应图像的向量化，L的第(i,j)个元素δi,j的计算方式如下：其中，L(i,j)表示矩阵L中位置(i,j)处的元素，和是窗口wk里的两个像素点i和j的值，δi,j是克罗内克函数，μk和是以k为中心的窗口wk里像素的均值和方差，|wk|是窗口内像素数量。进一步地，所述步骤S3的具体方法为：利用MDSI和GSM结构度量指标来评估目标图像和颜色校正结果图像之间的结构一致性，并获得结构一致性置信图Cm和梯度相似性置信图Cg，用最小池化来计算图像一致性置信图C，以进一步降低结构不一致性造成的影响，对应位置的映射公式如下：C(x,y)＝min(Cm(x,y),Cg(x,y))其中(x,y)是对应像素的坐标，C(x,y)表示(x,y)处最小池化数值，Cm(x,y)表示(x,y)处MDSI度量值，Cg(x,y)表示(x,y)处GSM度量值，min()表示取最小值。进一步地，所述步骤S4具体包括以下步骤：步骤S41：在二次型损失函数中添加结构数据项，将损失函数重写为：其中，T表示转置，V(·)表示对应图像的向量化，N表示图像高和宽的乘积，D是N×N对角矩阵，如公式所示，D是将Cg(x,y)中的元素按行依次放入其对角线上，而非对角线上元素为0得到的矩阵，Vi(C(x,y))表示图像一致性置信图C(x,y)向量化后的第i个元素值，(x,y)表示对应位置坐标，用于保留残差图像的结构，D中较大的权重被分配给和目标图像较高结构一致性的像素，是结构数据项系数；然后对J′(t)求关于变量V(t)的偏导，找到最优的残差图像t，得到以下稀疏方程：求解该公式，得到最优化的残差公式：然后对向量V(t)进行矩本文档来自技高网...

【技术保护点】
1.一种基于抠图的颜色校正优化方法，其特征在于，包括以下步骤：/n步骤S1：输入参考图像和目标图像，利用颜色校正算法生成颜色校正结果图像和初始残差图像；/n步骤S2：利用初始残差图像建立损失函数，并使损失函数最小化，获得关于最优残差图像的二次型损失函数；/n步骤S3：利用平均偏差相似性MDSI和梯度相似性度量GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；/n步骤S4：基于图像一致性置信图，在二次型损失函数中添加结构数据项来约束图像的结构，生成优化后的最优残差图像，并将最优残差图像与目标图像结合生成结果图像；/n步骤S5：分别计算目标图像和结果图像的梯度，利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。/n

【技术特征摘要】
1.一种基于抠图的颜色校正优化方法，其特征在于，包括以下步骤：
步骤S1：输入参考图像和目标图像，利用颜色校正算法生成颜色校正结果图像和初始残差图像；
步骤S2：利用初始残差图像建立损失函数，并使损失函数最小化，获得关于最优残差图像的二次型损失函数；
步骤S3：利用平均偏差相似性MDSI和梯度相似性度量GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；
步骤S4：基于图像一致性置信图，在二次型损失函数中添加结构数据项来约束图像的结构，生成优化后的最优残差图像，并将最优残差图像与目标图像结合生成结果图像；
步骤S5：分别计算目标图像和结果图像的梯度，利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。


2.根据权利要求1所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S11：输入参考图像和目标图像，所述参考图像是指具有理想颜色信息的输入图像，目标图像是指具有理想结构和较差颜色外观的输入图像；利用颜色校正算法生成颜色校正结果图像Ii；
步骤S12：利用颜色校正结果图像Ii和目标图像It生成初始残差图像


3.根据权利要求2所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S2具体包括以下步骤：
步骤S21：将最优残差图像表示为初始残差图像的线性模型，公式如下：



其中，t表示期望得到的最优残差图像，m和d表示系数；
步骤S22：获取模型的最优解，在每个以k为中心的窗口中，找到适当的mk和dk来最小化下面的损失函数J(t,d,m)：



其中，变量k遍历初始残差图像中的每一个像素，wk表示以k为中心的窗口区域，i是属于窗口wk的像素，ti和表示t和中对应i位置的像素值，mk和dk表示计算窗口wk时所使用的系数值，损失函数的最后一个分量是mk上的正则化项，用于保持数据稳定性；最小化J(t,d,m)，并将J(t,d,m)表示为关于向量t的二次型：
J(t)＝V(t)TLV(t)
其中，J(t)表示向量t的二次型损失函数，L表示N×N维度的拉普拉斯矩阵，N表示图像高和宽的乘积，T表示转置，V(·)表示对应图像的向量化，L的第(i,j)个元素δi,j的计算方式如下：



其中，L(i,j)表示矩阵L中位置(i,j)处的元素，和是窗口wk里的两个像素点i和j的值，δi,j是克罗内克函数，μk和是以k为中心的窗口wk里像素的均值和方差，|wk|是窗口内像素数量。


4.根据权利要求3所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S3的具体方法为：
利用MDSI和GSM结构度量指标来评估目标图像和颜色校正结果图像之间的结构一致性，并获得结构一致性置信图Cm和梯度相似性置信图Cg，用最小池化来计算图像一致性置信图C，以进一步降低结构不一致性造成的影响，对应位置的映射公式如下：
C(x,y)＝min(Cm(...

【专利技术属性】
技术研发人员：牛玉贞，施伟峰，范媛媛，刘朋宇，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35