一种基于图像重要度的层次图集自动拼贴方法技术

基于图像重要度的层次图集自动拼贴方法，由四步骤组成。步骤一：使用Meanshift算法对图像进行图像分割，以矩形的方式提取出图像中的显著区域，若有多个显著区域则合并为一个；步骤二：经由图像前后景的颜色复杂度与像素梯度复杂度，计算得到图像前后景的差异度，接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度，最终平均前后景差异度与图像间差异度得到每幅图像各自的重要度；步骤三：以XML文件保存图集的层次关系，并将上述得到的图像重要度作为节点的权重并保存显著区域的外接矩形轮廓；步骤四：采用Voronoi树图可视化图集层次，画布区域表示图集子集或图像的重要度权重，根据节点显著区域的矩形轮廓和图像缩放技术自动拼贴各图像的显著区域。

【技术实现步骤摘要】

本专利技术为图集处理技术，特别是涉及一种自动、可视效果优良的图像拼贴方法。
技术介绍
随着智能手机性能的提高与摄像头像素的升级，人们越来越习惯通过随手拍照来 记录生活的点滴。如何对越来越多的照片进行浏览和管理成为了人们关注的问题。虽然各 种图片、照片分享软件和网站层出不穷，使人们可以与他人分享照片。然而，大量的图像使 浏览和检索变得困难，并且人们常用的分类保存方式也使得在查看某类图片时只能看到文 件夹名称，而无法获取具体的图像信息。而图像拼贴技术旨在将多张图像拼贴在一张画布 中，让用户在有限的画布中得到更多的图像信息，有效地解决了在管理和浏览大量图像时 带来的部分问题。已经有人提出了一些自动图像拼贴技术解决方案，但都存在一定的不足 之处，比如支持的图像数较少，一般为20到40张，图像数过多则会导致可视效果很差，并且 无法支撑层次图集数据。 例如，微软提供了一个图像拼贴软件AutoCollage，它能提取图像中的ROI区域， 但耗时较大，并且对画布的形状划分比较单一。Yu Zongqiao在文献中提出采用圆布局的方 式来进行图像拼贴，它分别计算图像的重要度，然后通过外切圆的方式分割画布，缺点是图 像重要度计算方式效果不好，画布利用率低。Liu Tie等人在文献中提出了一种区分图像不 同重要区域，然后通过相互遮挡非重要区域的拼贴方式，该方法能让画布主要呈现图像中 的ROI区域，缺点是视图较混乱，并且下层图片被遮挡的概率大。Brian等人提出了一种叫 做BRIC(blocked recursive image composition)的布局方案，该方法耗时少但拼贴效果 单一。 上述提到的图像拼贴方案，在拼贴效果和效率上并没有取得一个比较好的平衡， 且仅考虑同一层的少量图像拼贴，并不支持规模较大的多层次多主题图集的拼贴可视化方 案。
技术实现思路
本专利技术要克服现有技术的上述缺点，提出一种基于图像重要度的图集自动拼贴方 法，能够对层次存放的图像图集数据实现快速且美观自动拼贴可视化效果。 本专利技术所述的基于图像重要度的自动图像拼贴方法，由四步骤组成： 步骤一：使用Meanshift算法对图像进行图像分割，以矩形的方式提取出图像中 的显著区域，若有多个显著区域则合并为一个； 步骤二：经由图像前后景的颜色复杂度与像素梯度复杂度，计算得到图像前后景 的差异度，接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度，最 终结合图像内前后景差异度与图像间差异度得到每幅图像各自的重要度； 步骤三：以XML文件保存图集的层次关系，并将上述得到的图像重要度作为节点 的权重并保存显著区域的外接矩形轮廓； 步骤四：采用Voronoi树图可视化图集层次，画布区域表示图集子集或图像的重 要度权重，根据节点显著区域的矩形轮廓和图像缩放技术自动拼贴各图像的显著区域。 所述步骤一的具体步骤如下： I. 1基于Meanshift的图像分割 MeanShift算法被称为均值漂移算法，是一种基于核密度梯度估计的无参快速统 计迭代算法，其形式简单，在实际应用中表现出较好的稳定性、抗噪性和较高的效率。所 以本方法综合考虑效果和效率，选择Meanshift算法来做图像分割处理，得到图像中一个 或多个显著区域（ROI)的外接矩形顶点坐标，如第i个ROI外接矩形的左上角顶点坐标 Li (X，y)和右下角顶点Ri (X，y)。 1.2获取图像前后景区域 本专利技术认为经图像分割后的显著区域都应为人们视觉所关注的重要前景区域。因 而合并图像分割后的多个ROI区域，得到该图像的ROI前景区域的外接矩形左上角和右下 角坐标，作为后续计算图像重要度与拼贴计算的基础区域。 本专利技术假设图像的坐标原点位于左下角，当图像分割结果为1个显著区域时，该 图像的前景区域即为该显著区域，记作I (L，R)，其中I表示前景区域，L和R表示区域的左 上角和右下角顶点坐标。当图像分割结果为多个显著区域时，则前景区域I(L，R)可以通过 计算包含所有ROI矩形区域的外边界得到，后景区域即为全图像不包含前景区域的部分， 记作B。 所述步骤二的具体步骤如下： 2. 1前后景颜色复杂差异度计算 将单张图像的前后景颜色复杂差异度记为S。，计算方式如下： 211.将前景区域I和后景区域B中的每个像素点由RGB色彩模式转化成HSV(即 色调H，饱和度S，亮度V)颜色模型。并将H、S、V分量按其取值范围平均分为m、η、〇个区 间，然后分别计算区域内各区间的像素点占总数的百分比，分别记为h n、S]I、vkI和h lB、s]B、 VkB° 212.分别对I和B按下述公式计算得到颜色复杂度SjPS&。以心计算为例，需 要先分别计算在前景区域I的HSV各分量的复杂度，欠 I，再合成得到 从而得到前景I的颜色复杂度为 同理可得后景B的颜色复杂度Sb。 213.最后得到图像的前后景颜色复杂差异度S。= I S C1-Scb I。 2. 2前后景像素梯度复杂差异度计算 将单张图像的前后景像素梯度复杂差异度记为计算方式如下： 221.分别将前景区域I和后景区域B的素点矩阵转化成梯度矩阵，先计算图像X 方向梯度和y方向梯度，将斜率y/x转换成〇到180度的角度表示的梯度矩阵，将梯度矩阵 均分为P个区间，分别统计区域内各区间的像素点个数占总数的百分比，记为〇"和〇 lB。 222.通过下列式子计算得到前后景的梯度复杂度心和S ^ 同理可得后景B的梯度复杂度SeB 223.最后得到前后景梯度复杂差异度 2. 3图像间差异度计算 图像间差异度可定义为单张图像在对应图集中的代表度，记作S1^，具体计算方式 如下： 231.设图集共有N张以HSV表示的图像，将单张图像H、S、V分量按其取值范围平 均分为m、η、〇个区间，分别计算区域内各区间的像素点占总数的百分比，从而得到一个表 示该图像的m+n+o维特征向量，如第i个图像的特征向量表示为Vi。 232.使用EMD算法，计算某个图像到图集中其它图像的特征向量间的所有距离之 和的平均值即为其该图像的图像间差异度。 即：其中，EMD (V1, Va)表示使用EMD算法计算第i张图像的特 征向量V1与第a张图像的特征向量V 3的距离，i不能等于a。 2. 4图像重要度计算 由上述图像内前后景差异度与图像间差异度便可得到图像重要度S，其中 所述步骤三生成XML文件的具体步骤如下： 将图集原始层次信息与计算得到的图像重要度建立对应关系，生成图集节点的 XML文件，其中主要包含图集根目录路径、子文件夹与图像叶子节点名称、图像重要度以及 图像对应的前景区域坐标。 所述步骤四的具体步骤如下： 4. 1节点画布区域计算 把Voronoi树图节点区域面积与节点重要度对应起来，需先赋值各节点重要度权 重，然后Voronoi树图迭代计算得到相应面积的凸多边形。计算步骤如下： 411可根据XML文件，从叶子节点重要度开始逐层向上计算得到所有子节点重要 度之和，并设置父节点重要度权重为其占同层节点权重之和的百分比。 412从根节点开始逐层向下，以各节点权重为区域面积目标值，做Voronoi树图PW 迭代计算，得到当前节点的每一个子节点对应凸多边形区域的顶点序列。直到所有分本文档来自技高网...

【技术保护点】
一种基于图像重要度的层次图集自动拼贴方法，包括如下步骤：步骤1：使用Meanshift算法对图像进行图像分割，以矩形的方式提取出图像中的显著区域，若有多个显著区域则合并为一个；具体如下：1.1 基于Meanshift的图像分割MeanShift算法被称为均值漂移算法，是一种基于核密度梯度估计的无参快速统计迭代算法，其形式简单，在实际应用中表现出较好的稳定性、抗噪性和较高的效率；所以本方法综合考虑效果和效率，选择Meanshift算法来做图像分割处理，得到图像中一个或多个显著区域(ROI)的外接矩形顶点坐标，如第i个ROI外接矩形的左上角顶点坐标Li(x,y)和右下角顶点Ri(x,y)；1.2 获取图像前后景区域经图像分割后的显著区域都应为人们视觉所关注的重要前景区域；因而合并图像分割后的多个ROI区域，得到该图像的ROI前景区域的外接矩形左上角和右下角坐标，作为后续计算图像重要度与拼贴计算的基础区域；假设图像的坐标原点位于左下角，当图像分割结果为1个显著区域时，该图像的前景区域即为该显著区域，记作I(L,R)，其中I表示前景区域，L和R表示区域的左上角和右下角顶点坐标；当图像分割结果为多个显著区域时，则前景区域I(L,R)可以通过计算包含所有ROI矩形区域的外边界得到，后景区域即为全图像不包含前景区域的部分，记作B；步骤2：经由图像前后景的颜色复杂度与像素梯度复杂度，计算得到图像前后景的差异度，接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度，最终结合图像内前后景差异度与图像间差异度得到每幅图像各自的重要度；2.1 前后景颜色复杂差异度计算将单张图像的前后景颜色复杂差异度记为Sc，计算方式如下：211.将前景区域I和后景区域B中的每个像素点由RGB色彩模式转化成HSV(即色调H，饱和度S，亮度V)颜色模型；并将H、S、V分量按其取值范围平均分为m、n、o个区间，其中m、n、o为正整数，然后分别计算区域内各区间的像素点占总数的百分比，分别记为hiI、sjI、vkI和hiB、sjB、vkB；212.分别对I和B按下述公式计算得到颜色复杂度ScI和ScB。以ScI计算为例，需要先分别计算在前景区域I的HSV各分量的复杂度再合成得到ScI。ScIH=1-Σi=1m-(hiI-1m)2σmaxh]]>其中σmaxh=(1-1/m)2+(m-1)(1/m)2]]>ScIS=1-Σj=1n-(sjI-1n)2σmaxs]]>其中σmaxs=(1-1/n)2+(n-1)(1/n)2]]>ScIV=1-Σk=1o-(vkI-1o)2σmaxv]]>其中σmaxv=(1-1/o)2+(o-1)(1/o)2]]>从而得到前景I的颜色复杂度为同理可得后景B的颜色复杂度SB；213.最后得到图像的前后景颜色复杂差异度Sc＝|ScI‑ScB|；2.2 前后景像素梯度复杂差异度计算将单张图像的前后景像素梯度复杂差异度记为Se，计算方式如下：221.分别将前景区域I和后景区域B的素点矩阵转化成梯度矩阵，先计算图像x方向梯度和y方向梯度，将斜率y/x转换成0到180度的角度表示的梯度矩阵，将梯度矩阵均分为p个区间，分别统计区域内各区间的像素点个数占总数的百分比，记为oiI和oiB；222.通过下列式子计算得到前后景的梯度复杂度SeI和SeB：SeI=1-Σi=1p-(oiI-1p)2σmaxo]]>其中σmaxo=(1-1/p)2+(p-1)(1/p)2]]>同理可得后景B的梯度复杂度SeB；223.最后得到前后景梯度复杂差异度Se＝|SeI‑SeB|；2.3 图像间差异度计算图像间差异度可定义为单张图像在对应图集中的代表度，记作Sr，具体计算方式如下：231.设图集共有N张以HSV表示的图像，将单张图像H、S、V分量按其取值范围平均分为m、n、o个区间，分别计算区域内各区间的像素点占总数的百分比，从而得到一个表示该图像的m+n+o维特征向量，如第i个图像的特征向量表示为Vi；232.使用EMD算法，计算某个图像到图集中其它图像的特征向量间的所有距离之和的平均值即为其该图像的图像间差异度；即：其中，EMD(Vi,Va)表示使用EMD算法计算第i张图像的特征向量Vi与第a张图像的特征向量Va的距离，i不能等于a；2.4 图像重要度计算由上述图像内前后景差异度与图像间差异度便可得到图像重要度S，其中S=Sc+Se+Sr2;]]>步骤3：以XML文件保存图集的层次关系，并将上述得到的图像重要度作为节点的权重并保存显著区域的外接矩形轮廓；生成XML文件的具体步骤如下：将图集原始层次信息与计算得到的图像重要度建立...

【技术特征摘要】

【专利技术属性】
技术研发人员：沈瑛，廖刘承，陈望远，董天阳，范菁，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33