基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法技术

基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法涉及图像处理领域。它融合了细缝裁剪方法和非均匀映射方法的优点，而且解决了二者结合时的速度和效果不佳的问题。首先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速地质量评价方法，监测重要信息变形，当变形超过设定指标时，终止细缝裁剪方法，切换为非均匀映射方法，不仅能够快速实现图像的自适应，同时能够更好的保持图像的语义内容。本发明专利技术从图像是否产生变形失真，是否丢失重要信息作为评判标准，有效的保护了重要区域信息，使重要区域等比例缩放不变形，对非重要区域进行压缩保证了全局信息。

【技术实现步骤摘要】
基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法
本专利技术涉及图像处理
中基于内容的图像自适应技术，具体涉及一种快速细缝裁剪与非均匀映射相结合的图像自适应方法的研究及实现。
技术介绍
随着移动多媒体技术的迅速发展，如移动电话和高清电视的不断换代更新，不同类型不同尺寸的显示终端不断涌现以适应各种不用的用户需求。为了保证不同设备的用户都能够舒适地观看同样的图像内容，这就要求图像重定位系统，使图像内容能够自适应于不同尺寸、不同比例的用户终端，研究保持图像主要内容的自适应技术具有重要的应用意义。传统的图像自适应方法主要分为3种，第一种方法是均匀缩放Scaling技术，它将原始图像通过插值或下采样得到目标尺寸的图像，然而当需要改变图像宽高比来进行均匀缩放时，它往往会造成图像主要内容的拉伸变形。第二种方法是简单的裁切Cropping技术，它通过裁掉图像边缘内容来得到目标尺寸，这会带来较多内容信息的丢失。第三种方法是“信箱”letterboxing技术，选择图像宽度或高度的最小缩放比例作为整体缩放比例来对原始图像进行等比缩放，它的问题在于经常会在设备上下或左右两边产生黑色边框，不能充分的利用移动设备有限的屏幕资源。基于内容感知的图像自适应技术就是用来解决如何将图像更好的显示在多样化的数字设备上的问题。由于传统的图像自适应方法都没有考虑图像的内容，为了使用户能够在终端设备上更舒适地观看图像，基于内容感知的图像自适应技术需要根据图像内容的重要程度对其进行处理，来自适应于不同网络类型、不同尺寸、不同比例的终端显示设备。基于内容感知的图像自适应方法可分为三种：一类是以细缝裁剪(SeamCarving)为代表的离散方法，另一类是以非均匀映射(Warping)为代表的连续方法，还有一种就是多种操作相结合的方法。基于内容感知的自适应技术最大的优点就是通处理图像中不引人注意的像素内容来改变图像的尺寸，最大限度的保护重要区域不发生形变，同时尽可能的保留原始图像的全局信息。基于细缝裁剪的离散方法主要思想是对图像进行像素级的离散操作，在保留重要区域的同时不断的删除或复制不重要的像素细缝来改变图像的尺寸。它通过自动寻找图像中的水平或垂直方向单调、连通的最低能量线，从而去除/增加最低能量线来压缩/放大图像，这一方法的特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但此类算法普遍存在时间计算复杂度比较高的问题。基于非均匀映射的连续方法主要思想是建立源图像到目标图像的最优映射，映射过程中加入一些约束条件来保护图像内容。首先根据图像内容自动确定各像素点的重要性，然后根据像素的重要性对图像进行非均匀缩放，重要区域基本上采取相似变换，而不重要区域则采取非线性变换，使得图像重要区域形变和缩放比例较小，而将形变扩散在非重要区域。但由于连续的方法的实质相当于对图像进行重采样，这样的操作势必会导致结果图像出现模糊的效果。考虑到不同方法固有的互补的特性，一些研究者提出将几种方法相结合来对图像进行自适应处理，简称混合方法。该问题的关键是如何确定各种操作方法的量及其操作顺序。然而在确定了多操作方法的数量及顺序后，它的难点在于如何设计出一种有效的评价度量机制来衡量目标结果图像与源图像的相似度。这种评价准则实际上也是不同混合方法的主要差别之所在。因为该类算法综合了多种方法的优点，但同时它也引入各种方法的缺点，那么如何最优结合各种方法即决定最佳的操作顺序以及操作量，需要一种有效的质量评价方法去计算源图像与目标图像的相似度来决定不同缩放方法之间的切换点。然而大多多操作方法的时间复杂度较高，那么如何去加快多操作方法的处理速度也是需要认真考虑的问题。
技术实现思路
本专利技术提供一种基于内容感知的快速图像自适应技术，使固定尺寸的图像能够快速自适应地显示在不同类型的终端设备上，同时能够尽可能的保持原始图像中重要内容，保持关键对象无畸变，保持图像中的重要结构即空间位置关系相对不变，以保证最佳图像视觉效果。本专利技术专利技术一种快速地图像自适应方法，它融合了细缝裁剪方法和非均匀映射方法的优点，而且解决了二者结合时的速度和效果不佳的问题。首先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速地质量评价方法，监测重要信息变形，当变形超过设定指标时，终止细缝裁剪方法，切换为非均匀映射方法，不仅能够快速实现图像的自适应，同时能够更好的保持图像的语义内容。基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于：1)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT；2)提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1；3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括：a.将原始图像分成N条等间距水平条带；b.根据原图对应的显著性图计算每一个条带的重要性Si；c.根据每个条带的重要性值Si以及目标图像的高度HT去计算每个条带的目标高度hi’；原始图像中每个条带宽度均为h＝H/N，则各条带对应的目标宽度hi'＝{h1',h2'...hN'}T,i＝1,2,...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标条带的形变量，公式(3)为其约束条件：式中，Si代表原始图像中第i个条带对应的重要性值，h和hi’分别代表第i个水平条带的原始高度和目标高度；(2)式中HT为图像的目标高度度，N代表条带总数量；d.根据每个条带的原始高度h和目标高度hi’，能够确定每个条带需要去除的细缝数量Numi＝hi’-h；然后在每个条带中根据相邻度和累加能量搜索要处理的细缝；通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下：①计算像素之间的最优匹配关系：采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵ARW×h；②根据来像素最优匹配关系计算细缝之间的邻域关系：对于一个高度为h的水平条带，需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号Ek(m)标记，Ek(m)表示该像素属于第Ek(m)条细缝；另外，定义累积邻域关系矩阵ANh×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值进行二值化得到；③计算细缝之间的相邻度：相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权；④综合细缝的累积能量及其相邻度搜索要处理的细缝：A.根据最小能量原则去除累积能量最小的细缝m；B.然后对剩下的细缝使用公式(3)来对其累积能量进行更新，AE(n)＝AE(n)+AE(n)*w(n),n＝1,2,...h(3)式(8)中，AE(n)代表第n条细缝的累积能量，w(n)根据相邻度计算得来，具体定义为：w(n)＝C*Neighborability(m,n),n＝1,2...h(4)式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度，C本文档来自技高网...

【技术保护点】
基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于：1）输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT；2）提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1；3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括：a.将原始图像分成N条等间距水平条带；b.根据原图对应的显著性图计算每一个条带的重要性Si；c.根据每个条带的重要性值Si以及目标图像的高度HT去计算每个条带的目标高度hi’；原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度hi'={h1',h2'...hN'}T,i=1,2,...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标条带的形变量，公式(3)为其约束条件：F(hi′)=minΣi=1NSi||h-hi′||2---(1)]]>Σi=1Nhi′=HT---(2)]]>式中，Si代表原始图像中第i个条带对应的重要性值，h和hi’分别代表第i个水平条带的原始高度和目标高度；(2)式中HT为图像的目标高度度，N代表条带总数量；d.根据每个条带的原始高度h和目标高度hi’，能够确定每个条带需要去除的细缝数量Numi=hi’‑h；然后在每个条带中根据相邻度和累加能量搜索要处理的细缝；通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下：①计算像素之间的最优匹配关系：采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵ARW×h；②根据来像素最优匹配关系计算细缝之间的邻域关系：对于一个高度为h的水平条带，需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号Ek(m)标记，Ek(m)表示该像素属于第Ek(m)条细缝；另外，定义累积邻域关系矩阵ANh×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值进行二值化得到；③计算细缝之间的相邻度：相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权；④综合细缝的累积能量及其相邻度搜索要处理的细缝：A.根据最小能量原则去除累积能量最小的细缝m；B.然后对剩下的细缝使用公式(3)来对其累积能量进行更新，AE(n)=AE(n)+AE(n)*w(n),n=1,2,...h     (3)式(8)中，AE(n)代表第n条细缝的累积能量，w(n)根据相邻度计算得来，具体定义为：w(n)=C*Neighborability(m,n),n=1,2...h     (4)式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度，C=1；Neighborability(m,n)表示第n条细缝与第m条细缝的相邻度；4)测量重要区域的能量损失和判断细缝裁剪何时终止；这里用CAID的评价方法来测量全部重要区域的能量损失和判断细缝裁剪何时终止，具体包括两步：a.首先进行结构相似度SSIM的测量,SSIM只适用于局部相似度的统计；假设f和g是两个非负的子图像信号,其中f是原图像，g是裁剪后的图像，根据已有知识可知定义两个图像f和g的相似度差值为Dis(f,g)=1.0□s(f,g)，Dis值越小图像越相似；由Dis判断图像的相似度；s(f,g)=σfg+1σfσg+1---(5)]]>σf=(1N-1Σi=1N(fi-μf)2)12,σg=(1N-1Σi=1N(gi-μg)2)12---(6)]]>σfg=1N-1Σi=1N(fi-μf)(gi-μg)---(7)]]>其中图像f的标准差为σf，图像g标准差为σg，N是像素点的个数,fi和gi分别是第i个像素点对应的灰度值；σfg为图像f和g的协方差；μf和μg分别原图像，裁剪后的图像的均值；b.其次，把一幅图像的重要区域分成若干9*9的子图像，根据重要度图选出重要子图，统计Dis的值；若选取的重要子图像过小，细缝裁剪的数目过多，将使重要子图像的变化比较大；若选取的重要子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域；假定得到的重要子图像的个数是Nsub，每个重要子图像用其中心点表示Isub_n=(xn,yn),n=1,2,...,Nsub,，假定原图像是f(x,y)，裁剪后的图...

【技术特征摘要】
1.基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于：1)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT；2)提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1；3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括：a.将原始图像分成N条等间距水平条带；b.根据原图对应的显著性图计算每一个条带的重要性Si；c.根据每个条带的重要性值Si以及目标图像的高度HT去计算每个条带的目标高度hi’；原始图像中每个条带宽度均为h＝H/N，则各条带对应的目标宽度hi'＝{h1',h2'...hN'}T,i＝1,2,...N可以通过求解最优化问题来获得，该最优化问题中，公式(1)为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件：式中，Si代表原始图像中第i个条带对应的重要性值，h和hi’分别代表第i个水平条带的原始高度和目标高度；(2)式中HT为图像的目标高度，N代表条带总数量；d.根据每个条带的原始高度h和目标高度hi’，能够确定每个条带需要去除的细缝数量Numi＝hi’-h；然后在每个条带中根据相邻度和累加能量搜索要处理的细缝；通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下：①计算像素之间的最优匹配关系：采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵ARW×h；②根据像素最优匹配关系计算细缝之间的邻域关系：对于一个高度为h的水平条带，需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号Ek(m)标记，Ek(m)表示该像素属于第Ek(m)条细缝；另外，定义累积邻域关系矩阵ANh×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值进行二值化得到；③计算细缝之间的相邻度：相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权；④综合细缝的累积能量及其相邻度搜索要处理的细缝：A.根据最小能量原则去除累积能量最小的细缝m；B.然后对剩下的细缝使用公式(3)来对其累积能量进行更新，AE(n)＝AE(n)+AE(n)*w(n),n＝1,2,...h(3)式(3)中，AE(n)代表第n条细缝的累积能量，w(n)根据相邻度计算得来，具体定义为：w(n)＝C*Neighborability(m,n),n＝1,2...h(4)式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度，C＝1；Neighborability(m,n)表示第n条细缝与第m条细缝的相邻度；4)测量重要区域的能量损失和判断细缝裁剪何时终止；这里用CAID的评价方法来测量全部重要区域的能量损失和判断细缝裁剪何时终止，具体包括两步：a.首先进行结构相似度S...

【专利技术属性】
技术研发人员：毋立芳，王丽娟，荆羽晨，郑庆阳，刘爽，王清，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11