基于互联网的艺术拼图系统设计方法技术方案

本发明专利技术提出了一种基于互联网的艺术拼图系统设计方法。该方法参考了图像检索领域中基于内容的图像检索技术以及计算机图形学中有关图像合成的相关方法，根据输入图像，将从互联网上搜索到的若干图像拼接成一幅具有艺术特质的拼接图像。与传统的基于内容的图像检索方法不同，本发明专利技术提出了一个全新的、基于形状和颜色进行检索的能量函数，得到了比较理想的检索结果；在确定各分快之间层次顺序时，提出了三个重要的用于判断相邻分块间层次关系的线索，并引入拓扑排序，有效地将所有的局部层次关系综合起来，得到合理的全局层次关系。本发明专利技术根据输入图像得到一幅具有艺术特质的拼接图，在娱乐和艺术领域是一个全新的尝试。

【技术实现步骤摘要】

本专利技术属于计算机图像处理方法，具体涉及一种。
技术介绍
意大利画家朱塞佩·阿尔钦博托(1527-1593)的代表作品《四季》别出心裁地用水果、蔬菜等拼合而成，产生了别具一格的艺术效果，对后来的超现实主义产生了重要的影响。从计算机图形学的角度来看，阿尔钦博托的作品与图像合成有着密不可分的关系。图像合成是指将两个或两个以上的图像进行加工处理，叠加或组合成一幅具有特殊效果的图像的过程。这方面的工作已经有很多，比如图像马赛克(A.HaUSner. Simulating decorative mosaics， Proceedings of the 28thannual conference on Computer graphics and interactive techniques，2001)禾口数字照片合成(A. Agarwala, Μ. Dontcheva,Μ. Agrawala,et al. Interactive digital photomontage. ACM Transactions on Graphics (TOG) ,23 (3) :294_302，2004)，Gal等甚至提出了基于3D模型的拼图设计系统 (R. Gal, 0.Sorkine, T.Popa, et al. 3D collage :Expressive non-realistic modeling， ACM，2007)。以上图像合成工作生成了较具吸引力的合成结果，但是由于其数据库中的元素有限，其系统的表现能力受到了很大的限制。随着电子设备的普及以及互联网技术的发展，互联网上数字图像的数量急剧增加国外著名社交网站!^acebook的图片数量已经突破150亿，国内著名社交网站51. com的用户上传的图片数量也超过110亿。如果能利用互联网上海量图像数据库来辅助图像合成工作，定能解决当前多数图像合成系统的表现能力过低的问题。但是，如何对如此大规模的图像进行有效的管理和利用是一个十分重要的课题。 目前，搜索引擎是对互联网信息进行有效管理和利用的有效手段，但是对于图像来说，当前的搜索引擎多是基于图像的文本注释进行搜索，由于图像的文本注释完全依靠人工完成，而且不同的人对同一幅图像有着不同的理解，随意性较大，不够客观，同时随着多媒体技术的注入，图像数量急剧增加，对实现图像库自动检索的需求更加迫切，单纯依靠手工注释是不现实的，所以从九十年代开始，基于内容的图像检索CB^(Content-based Image Retrieval)技术受到人们越来越多的关注。基于内容的图像检索，就是把图像的视觉特征作为图像的内容表示，进行匹配、查找。迄今，已有许多基于内容的图像检索系统问世，比如 IBM的QBIC和MIT的Wwtobook等。尽管如此，基于内容的图像检索技术仍然处于研究阶段，根据具体的应用范围设计具体的检索规则仍是使用该方法的常用方法。
技术实现思路
本专利技术的目的是提供一种，该方法能够利用互联网上的海量图像，根据输入图像，生成具有艺术特质的拼接图像。为达到上述目的，本专利技术采用的技术方案是1)对输入的图像进行分割得到分块图像，并提供交互工具对分块图像进行调整和修正；2)根据用户输入的替代物的类别标签在互联网上进行搜索，并去除内容不相关以及前景复杂的图像，然后采用前景提取算法进行前景分割，得到前景物体和对应的掩码图像；3)构造能量函数，保证所选用的替代图像和步骤1)中得到的对应分块图像在形状和颜色特征方面尽可能地保持一致；4)求取各分块的层次关系，并提供交互工具对得到的层次关系进行调整；5)对输入图像进行对称性检测，找到对称的分块；6)采用高斯融合算法对拼接图像的边界进行处理，并提供交互工具对替代图像的位置、大小和旋转角度进行调整；7)对拼接图像进行亮度调整。所述步骤1)对于输入的图像，采用经典的均值偏移算法进行分割，在图像分割阶段引入用户交互工具，通过鼠标在分割结果图像上画一笔，即将该笔画覆盖的分块合并成一个分块，或将一个分块进一步分割成两个分块，且该交互工具实现像素级的操作，用来对分割边界进行修正，即分块的合并是指将待合并分块中的所有像素合并到一个分块中；分块的进一步分割是指根据用户的交互，采用图割算法将指定分块分成两块。所述步骤2~)在图像搜索之前要求用户输入该拼接图像所用替代图像的物体所属的分类标签在互联网上进行搜索，对于搜索到的图像，仅需要包含相关物体的前景区域，用以作为各分块的替代图像，采用基于内容的图像过滤方法对互联网上得到的图像进行内容相关的过滤去除不易进行前景分割的图像，采用Grabcut (C. Rother, V. Kolmogorov, and A.Blake. Grabcut Interactive foreground extraction using iterated graph cuts, ACM, 2004)方法进行前景分割，得到前景物体和对应的掩码图像。所述步骤幻所选用的替代图像Si和对应分块图像Pi在形状和颜色特征方面保持一致；其中替代图像Si通过最小化下面的能量函数得到[式1]E(Qj) = G(QJ; Pi)+ λ COlj，Pi), Qj e I其中，G(QpPi)表示从互联网上下载的并进行了前景分割的图像％与分块图像Pi 在形状特征方面的相似性，cPi)表示％与Pi在颜色特征方面的相似性，λ用来调节形状和颜色特征之间的相对重要性，I表示前景分割之后的图像数据库；选取仿射变换对步骤2)得到的前景图像进行处理，即对前景图像进行平移、缩放、旋转、切变等仿射变换，再采用基于矩分布的仿射注册方法(J.Ho，A. Peter, A. Rangarajan,et al. An algebraic approach to affine registration of point sets, IEEE 12th International Conference on Computer Vision, 2009)得到上述仿射变换， 所得仿射变换包括一个2X2的仿射矩阵Au和一个1X2的平移矩阵ν…通过最小化GPi)得到与分块图像匹配的前景图像，GO^Pi)定义如下[式2]G{QpPl) = \jlla2-\f+d[Q]QP)ld[Q]^p)其中，σ i和σ 2是矩阵Aij的奇异值，且Q1^o ,,Qj=Ap(Qj)+^.，表示变换之后的图像，d ( ·)表示区域面积，用像素数表示，么Θ P1 = Qj ^P1-Qj O1Za2越接近于1，表明仿射变换中切变以及X、Y方向的不等比例缩放变换的成分越少；颜色相似性定义为前景图像与分块图像之间的颜色分布之间的差异，首先将RGB 彩色图像转换到YUV空间，定义颜色相似性如下[式3]C (Qj, Pi) = Dqc (Hu (Qj)，Hu (Pi)) +Dqc (Hv (Qj)，Hv (Pi))其中，Hu和Hv分表表示U通道和V通道的颜色直方图，Dqc (·)表示直方图之间的QC 距离(0. Pele and Μ. fferman. The Quadratic-Chi Histogram Distance Family. Computer Vision-ECCV :7本文档来自技高网...

【技术保护点】
１．一种基于互联网的艺术拼图系统设计方法，其特征在于包含以下步骤：１）对输入的图像进行分割得到分块图像，并提供交互工具对分块图像进行调整和修正；２）根据用户输入的替代物的类别标签在互联网上进行搜索，并去除内容不相关以及前景复杂的图像，然后采用前景提取算法进行前景分割，得到前景物体和对应的掩码图像；３）构造能量函数，保证所选用的替代图像和步骤１）中得到的对应分块图像在形状和颜色特征方面尽可能地保持一致；４）求取各分块的层次关系，并提供交互工具对得到的层次关系进行调整；５）对输入图像进行对称性检测，找到对称的分块；６）采用高斯融合算法对拼接图像的边界进行处理，并提供交互工具对替代图像的位置、大小和旋转角度进行调整；７）对拼接图像进行亮度调整。

【技术特征摘要】
1.一种基于互联网的艺术拼图系统设计方法，其特征在于包含以下步骤1)对输入的图像进行分割得到分块图像，并提供交互工具对分块图像进行调整和修正；2)根据用户输入的替代物的类别标签在互联网上进行搜索，并去除内容不相关以及前景复杂的图像，然后采用前景提取算法进行前景分割，得到前景物体和对应的掩码图像；3)构造能量函数，保证所选用的替代图像和步骤1)中得到的对应分块图像在形状和颜色特征方面尽可能地保持一致；4)求取各分块的层次关系，并提供交互工具对得到的层次关系进行调整；5)对输入图像进行对称性检测，找到对称的分块；6)采用高斯融合算法对拼接图像的边界进行处理，并提供交互工具对替代图像的位置、大小和旋转角度进行调整；7)对拼接图像进行亮度调整。2.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于所述步骤1)对于输入的图像，采用经典的均值偏移算法进行分割，在图像分割阶段引入用户交互工具，通过鼠标在分割结果图像上画一笔，即将该笔画覆盖的分块合并成一个分块，或将一个分块进一步分割成两个分块，且该交互工具实现像素级的操作，用来对分割边界进行修正，即分块的合并是指将待合并分块中的所有像素合并到一个分块中；分块的进一步分割是指根据用户的交互，采用图割算法将指定分块分成两块。3.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于所述步骤2)在图像搜索之前要求用户输入该拼接图像所用替代图像的物体所属的分类标签在互联网上进行搜索，对于搜索到的图像，仅需要包含相关物体的前景区域，用以作为各分块的替代图像，采用基于内容的图像过滤方法对互联网上得到的图像进行内容相关的过滤去除不易进行前景分割的图像，采用 Grabcut (C. Rother, V. KoImogorov，and A. Blake. Grabcut Interactive foreground extraction using iterated graph cuts, ACM, 2004)方法进 前景分割，得到前景物体和对应的掩码图像。4.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于所述步骤3)所选用的替代图像Si和对应分块图像Pi在形状和颜色特征方面保持一致；其中替代图像Si通过最小化下面的能量函数得到[式1]E (Qj) = G (Qj, Pi) + λ C (Qj, Pi)，Qj e I其中，GO^Pi)表示从互联网上下载的并进行了前景分割的图像％与分块图像Pi在形状特征方面的相似性，CPi)表示％与Pi在颜色特征方面的相似性，λ用来调节形状和颜色特征之间的相对重要性，I表示前景分割之后的图像数据库；选取仿射变换对步骤2、得到的前景图像进行处理，即对前景图像进行平移、缩放、旋转、切变等仿射变换，再采用基于矩分布的仿射注册方法(J.Ho，A. Peter, A. Rangarajan, et al. An algebraic approach to affine registration of point sets, IEEE 12th International Conference on Computer Vision，2009)得到上述仿射变换，所得仿射变换包括一个2X2的仿射矩阵Au和一个1X2的平移矩阵、，通过最小化GPi)得到与分块图像匹配的前景图像，G(Qj; Pi)定义如下[式2]5.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：黄华，张磊，张洪超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87