一种基于自适应风格转换的水墨画渲染方法技术

本发明专利技术实施例公开了一种高效的水墨画渲染方法，对于黑白水墨画，给定参考的风格，将水墨画渲染成具有参考风格的图像。所提方法基于自适应风格转换，根据块的纹理合成技术，把原始水墨画自适应分块，以重建原始图像的细节结构；同时，有效地保留参考风格特征。此外，本发明专利技术在纹理合成阶段考虑色差信息，通过修正马尔科夫模型中的惩罚函数，优化纹理合成结果，以避免无用的纹理合成，使重建图像符合原图的语义理解。

【技术实现步骤摘要】
一种基于自适应风格转换的水墨画渲染方法
本专利技术涉及图像纹理分析和合成领域，尤其涉及一种基于自适应风格转换的水墨画渲染方法。
技术介绍
图像的风格渲染目的是保持原始图像的结构内容，同时结合参考图像的风格特征。近年来，随着深度学习算法的迅猛发展，图像的风格转换再次受到广大研究者的关注。本专利技术针对的是中国水墨画的风格渲染。作为中国的传统绘画形式，水墨画的创作是通过复杂的笔锋和水墨渲染方法。相比西方绘画，色彩单一，仅为黑白灰，但表现内容丰富。将水墨画渲染成不同的彩色风格，同时保留原本丰富而细致的内容是具有一定的挑战性和实用性。对于图像风格渲染问题，有两类传统算法可以实现。一类是基于传统的纹理合成方法，另一类是基于深度学习框架的算法。传统基于块的纹理合成算法可以实现基本的风格转换，但是存在两个主要问题。一是传统算法是基于固定块进行纹理合成，块的大小影响风格渲染效果，若块太大，会丢失原始图像的细节内容，反之，则不能体现参考风格的特征。二是，传统算法在纹理合成中只考虑了原图的亮度信息，没有考虑色差信息，对于黑白的水墨画，必然会错误地合成纹理块。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种基于自适应风格转换的水墨画渲染方法。可对原始水墨画的自适应分块，通过基于块的纹理合成使原始内容得以真实重建，同时，有效地转换参考图像的风格。为了解决上述技术问题，本专利技术实施例提供了一种基于自适应风格转换的水墨画渲染方法，包括以下步骤：S1：在原始水墨画C中，若大小为m×m的邻域块Pn的局部方差σ大于预设阈值D，或者m大于预设阈值w，则把邻域块Pn若干等分，得到N个分块；S2：参考风格图像S的颜色，对所述原始水墨画C进行局部上色，得到着色图像C*；S3：通过修正的惩罚函数中的误差度量，在风格参考图遍历寻找使误差最小的最佳匹配纹理块，进而填充原图像；S4：用动态规划优化纹理块拼接的边缘，除去人工边缘的痕迹。进一步地，所述步骤S3还包括以下步骤：对每个所述分块与所述风格参考图S的分块Rn作为马尔科夫网络的节点，修正惩罚函数Φk(Xk,Yk)＝exp(-θ(Xk,Yk))中的误差度量θ(Xk,Yk)，其中X∈Pn，Y∈Rn，k∈N。更进一步地，所述误差度量θ(Xk,Yk)的表达式为：θ(Xk,Yk)＝αd(Xk,Yk)ori+βd(Xk,Yk)Ch+μd(Xk,Yk)L，其中d(Xk,Yk)ori，d(Xk,Yk)Ch和d(Xk,Yk)L分别表示C与S，C*与S，L与S中对应块的均方误差，α，β，μ∈(0,1)为权重参数。通过实现即在S中遍历寻找使θ(Xk,Yk)最小的M个匹配纹理块RM作为候选集，为了保持纹理生成的随机性，从RM中随机选定最佳纹理块R*填充当前块Pn，直至所有块Pn填充完成，得到渲染图像Cout。实施本专利技术实施例，具有如下有益效果：本专利技术基于自适应风格转换，根据块的纹理合成技术，把原始水墨画自适应分块，以重建原始图像的细节结构；同时，有效地保留参考风格特征。此外，本专利技术在纹理合成阶段考虑色差信息，通过修正马尔科夫模型中的惩罚函数，优化纹理合成结果，以避免无用的纹理合成，使重建图像符合原图的语义理解。附图说明图1是本专利技术所提水墨画渲染算法的流程图；图2是本专利技术所提自适应分块流程图；图3是本专利技术在Matlab实验环境下实现对原图像自适应分块示意图；图4是本专利技术在Matlab实验环境下对比自适应分块和固定分块的渲染结果示意图；图5是本专利技术在Matlab实验环境下修正惩罚函数渲染结果示意图；图6是本专利技术在Matlab和TensorFlow1.2实验环境下对比所提算法与深度学习算法示意图；图7是本专利技术在Matlab实验环境下对黑白人像的渲染结果示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。实施例一：通过自适应分块实现水墨画渲染根据附图1，在仿真实验中，误差函数的权重阈值α，β设为0.2，μ设为0.6，最佳纹理块备选集的大小M设为80。自适应分块的方差阈值D设为0.4，分块的最大尺寸w设置为32，最小尺寸设为4。输入的灰度图像C和彩色的风格图像S，根据附图2，初始化Pn＝C(大小为m×m)，此时分块数量N＝1。当Pn的局部方差σ大于D或者尺寸m大于w时，将Pn四等分(大小为)，块的数量增加为N+3，依次遍历每个块，直到所有块都不满足条件，得到N个块Pn。扩展每个块的边缘使Pn的大小为Pn和Pn-1有重叠部分Poverlap。接着，根据参考风格图的颜色，对C进行局部着色得到色差参考图C*。以C的每个分块Pn和S中的分块Rn作为马尔科夫网络的结点，对于Pn，执行如下步骤：1.遍历Rn，计算Pn与Rn在重叠区域Poverlap的均方误差d(Xk,Yk)ori，在LUV彩色空间，通过C*计算Pn与Rn在色差层UV空间的误差函数d(Xk,Yk)Ch，再计算亮度层的误差函数d(Xk,Yk)L。由此得到块之间的误差θ(Xk,Yk)＝αd(Xk,Yk)ori+βd(Xk,Yk)Ch+μd(Xk,Yk)L；2.确定使θ(Xk,Yk)最小的M个Rn作为纹理填充候选集RM，从RM中随机选定一个纹理块R*填充当前的Pn；3.用动态规划选择Pn和Pn-1的最佳拼接边界，接着寻找下一个块的最佳匹配纹理块，直到原图所有Pn填充完毕得到渲染图像Cout。根据附图3可以得到，通过自适应分块实现水墨画的渲染可以保留原图像的结构细节，同时尽可能转换参考风格。实施例二：考察自适应分块对水墨画渲染结果的影响附图4表征的是当最小分块尺寸大小为4时，通过自适应分块的水墨画渲染方法与通过固定块的水墨画渲染方法的结果对比。通过红框标定的区域可以看出，本专利技术所提方法通过自适应分块的水墨画渲染方法更有效地重建原始水墨画的细节内容，同时有效地保留了参考风格图的纹理特征。实施例三：考察修正的惩罚函数对水墨画渲染结果的影响附图5表征的是当β＝0.2和β＝0时，分别计算惩罚函数实现水墨画渲染效果的对比。从结果可以看出，本专利技术所修正的惩罚函数考虑色差信息寻找最佳匹配纹理块实现水墨画渲染(即β＝0.2时的结果)，有效地避免了无用纹理的产生，使渲染结果更符合原图的语义。实施例四：对比本专利技术所提方法与深度学习算法的渲染结果附图6表征的是本专利技术所提方法与深度学习算法对不同水墨画的渲染结果对比。从对比结果可以看出，本专利技术所提方法能极大获取参考风格图像的纹理特征和颜色特征。而基于深度学习算法的水墨画渲染可以重建原始图像的细节内容，但是参考风格的纹理特征和颜色特征并没有充分体现，即纹理和颜色动态范围窄。实施例五：本专利技术所提方法应用于黑白人像的渲染结果附图7表征的是本专利技术所提方法应用在黑白人像的渲染效果。可以看出，本专利技术所提方法不仅可以应用在水墨画的渲染应用，还能实现黑白人像的风格渲染。并且保留了原图像的结构细节，同时尽可能转换参考风格。以上所揭露的仅为本专利技术一种较佳实施例而已，当然不能以此来限定本专利技术之权利范围，因此依本专利技术权利要求所作的等同变化，仍属本专利技术所涵盖的范围。本文档来自技高网...

【技术保护点】
1.一种基于自适应风格转换的水墨画渲染方法，其特征在于，包括以下步骤：S1：在原始水墨画C中，若大小为m×m的邻域块Pn的局部方差σ大于预设阈值D，或者m大于预设阈值w，则把邻域块Pn若干等分，得到N个分块；S2：参考风格图像S的颜色，对所述原始水墨画C进行局部上色，得到着色图像C*；S3：通过修正的惩罚函数中的误差度量，在风格参考图遍历寻找使误差最小的最佳匹配纹理块，进而填充原图像；S4：用动态规划优化纹理块拼接的边缘，除去人工边缘的痕迹。

【技术特征摘要】
1.一种基于自适应风格转换的水墨画渲染方法，其特征在于，包括以下步骤：S1：在原始水墨画C中，若大小为m×m的邻域块Pn的局部方差σ大于预设阈值D，或者m大于预设阈值w，则把邻域块Pn若干等分，得到N个分块；S2：参考风格图像S的颜色，对所述原始水墨画C进行局部上色，得到着色图像C*；S3：通过修正的惩罚函数中的误差度量，在风格参考图遍历寻找使误差最小的最佳匹配纹理块，进而填充原图像；S4：用动态规划优化纹理块拼接的边缘，除去人工边缘的痕迹。2.根据权利要求1所述的基于自适应风格转换的水墨画渲染方法，其特征在于，所述步骤S3还包括以下步骤...

【专利技术属性】
技术研发人员：邹婉欣，李旭涛，
申请(专利权)人：汕头大学，
类型：发明
国别省市：广东,44