一种保持重要内容区域宽高比的多算子图像重定向方法技术

本发明专利技术公开了一种保持重要内容区域宽高比的多算子图像重定向方法，首先对输入图像进行视觉显著性检测，并结合归一化的灰度图计算得到能量图谱，对能量图谱进行阈值分割并划分得到视觉显著对象，为了降低视觉显著对象的整体尺寸，依据视觉显著对象的尺寸大小计算需要做的拉伸尺寸，并分别对视觉显著对象与背景信息做不同程度的拉伸，然后对拉伸后的图像做相似性变换，最后根据目标尺寸利用添加梯度矢量流的线剪裁方法进行微调，获得最终输出图像。通过本发明专利技术方法，能够检测并全局的保护视觉显著内容，从而提高图像重定向技术的质量。

【技术实现步骤摘要】
一种保持重要内容区域宽高比的多算子图像重定向方法
本专利技术属于图像处理领域，更具体地，涉及一种基于内容感知的图像重定向方法，特别涉及基于内容感知的保持重要内容区域宽高比的多算子图像重定向算法。
技术介绍
基于内容感知的图像重定向方法——线裁剪方法与传统的重定向方法如最邻近插值、双线性插值以及裁剪等相比，能够随意改变图像的纵横比而不会让内容变扭曲，非常适用于现在显示尺寸日益多样化的移动终端设备。以下简单介绍现有的几类基于线裁剪的图像重定向方法。第一类方法，单独采用线裁剪技术进行图像重定向，其重定向方法是在图像能量图上查找优化裁剪缝隙，然后通过插入或移除裁剪缝隙来改变图像大小。然而这种方法的缺点是：仅依靠删除裁剪缝隙改变图像大小，图像内容容易产生锯齿形失真，进而影响视觉内容的完整性。第二类方法，采用线裁剪、缩放和传统裁剪等多个操作进行图像重定向，这类方法中存在两种方法。第一种方法是简单结合线裁剪和比例缩放，通过不同数量的线剪裁和比例缩放进行图像重定向，具体是利用图像欧氏距离的双向相似度函数、占主导地位的颜色描述相似性以及线能量变化来确定线裁剪的最佳数目。第二种是有规律的结合线剪裁与比例缩放，通过一定程度的反向运用线剪裁减少图像重定向过程中内容的丢失。具体的剪裁数量仍然通过利用图像欧式距离的双向相似度函数来确认。这两种方法的性能优于仅采用线裁剪技术的性能，但是它们的缺陷是：没有对图像中视觉显著区域进行检测和保护，容易引起重要信息的丢失，从而导致图像的失真。综上，现有的图像重定向方法未能体现高质量的视觉效果，现有算法的性能有待提升。
技术实现思路
本专利技术的目的在于克服现有图像重定向方法未能体现高质量的视觉效果的缺点，提供了一种保持重要内容区域宽高比的多算子图像重定向方法，能够获得更高质量的视觉体验效果，从而提高图像重定向技术的性能。为了实现上述目的，本专利技术提供了一种保持重要内容区域宽高比的多算子图像重定向方法，包括：(1)对原始图像进行显著度检测得到显著度图，利用所述显著度图以及归一化后的灰度图生成能量图谱；(2)对所述能量图谱进行二值化分割得到重要内容区域和背景区域；(3)根据目标图像的尺寸，以及重要内容区域和背景区域的尺寸大小，计算重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸；(4)根据重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸，采用均匀放大方法对重要内容区域做非重定向维度的拉伸，采用反向线剪裁方法对图像背景区域做非重定向维度的拉伸，并采用均匀放大方法对拉伸后的图像做重定向维度的拉伸；其中，重定向维度是指需要缩放的维度，非重定向维度是指另一维度；(5)对步骤(4)得到的拉伸后的图像做相似性变换，将图像均匀缩放至非重定向维度大小与原始图像相同；(6)利用添加梯度矢量流的反向线剪裁方法将步骤(5)中得到的缩放后图像缩放至目标尺寸。本专利技术的一个实施例中，所述步骤(3)具体为：(3.1)计算原始图像在非重定向维度的尺寸增量：其中，所述h代表原始图像在非重定向维度的尺寸，所述w1代表重要内容区域在重定向维度的尺寸，所述wf代表目标图像在重定向维度的尺寸，且满足wf＜w1，所述Δh代表原始图像在非重定向维度的尺寸增量；(3.2)根据原始图像的重要内容区域与背景区域的比例分配不同的增量值，其中，重要内容区域拉伸的增量为：其中，所述h1代表重要内容区域在非重定向维度的尺寸，所述β代表自适应参数，所述Δh1代表重要内容区域拉伸的尺寸增量；上背景区域和下背景区域拉伸的尺寸增量分别为：其中，所述h2代表上背景区域尺寸，所述h3代表下背景区域尺寸，所述Δh2代表上背景区域拉伸的尺寸增量，所述Δh3代表下背景区域拉伸的尺寸增量。本专利技术的一个实施例中，所述步骤(4)中采用反向线剪裁方法对背景信息部分进行尺寸拉伸，具体为：(4.1.1)对背景信息部分图像每个像素点赋能量值；定义图像的梯度值作为能量值：其中，x代表原图像，代表卷积，e代表图像的梯度图。(4.1.2)运用动态规划方法寻找能量值最小的裁剪线；(4.1.3)复制该裁剪线的每个像素点并将其插入在原像素点下方。本专利技术的一个实施例中，所述动态规划方法为：(4.1.2.1)计算图像中每个像素点对应的前向累积能量值图，计算过程如下：M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))其中，所述e(i，j)代表该像素点的能量，所述M(i，j)代表计算的该像素点的前向累积能量；(4.1.2.2)从前向累积能量图M最后一行中找出最小能量值的位置点(i，j)，并以此点为入口，每次取上一行中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该行的点，即：seam(i-1)＝min{(i-1，j-1)，(i-1，j)，(i-1，j+1)}其中，所述seam(i-1)代表裁剪线第(i-1)行所选取的点；(4.1.2.3)按此规则重复往上搜索至第一行即可得到裁剪线。本专利技术的一个实施例中，所述步骤(4)中均匀放大的方法为双线性差值法，双线性插值法利用图像的灰度值作为能量值进行计算，双线性差值法图像均匀缩放步骤如下：(4.2.1)根据缩放目标尺寸计算缩放后图像像素点与原图像像素点对应关系：其中，所述if，jf分别代表缩放后图像的横纵坐标，所述ki，kj分别代表横纵向的缩放比例，i，j分别代表原始图像的横纵坐标；(4.2.2)则像素点(if，jf)所对应的四邻域点能量值分别为：其中，所述和分别代表if和jf的上整；(4.2.3)双线性差值的计算：其中，所述ef(i，j)代表缩放后图像中的像素点能量值；(4.2.4)计算缩放后图像的每个像素点的能量值，即可得到缩放图像。本专利技术的一个实施例中，所述步骤(6)具体为：(6.1)计算图像中每个像素点的GVF向量GVF(i，j)，GVF(i，j)包含大小和方向；(6.2)以图像第一行像素点(1，j)为初始点，向下逐行规划得出n条线缝，n为图像在重定向维度的尺寸；(6.3)计算n条线缝的累加能量值，这里的能量取GVF向量的大小；(6.4)删除能量值最小的线缝，并重复步骤(6.1)至(6.4)，直到缩放到目标图像的尺寸，完成图像压缩。本专利技术的一个实施例中，所述步骤(6.2)具体为：依据图像中每个像素点的GVF向量方向规划得出候选裁剪线，假设当前像素点为(i，j)，则向下规划，第(i+1)行的像素点在像素点(i+1，j-1)、(i+1，j)、(i+1，j+1)中选取，选取规则如下：其中，所述θ[GVF(i，j)]代表点(i，j)的GVF向量的方向。本专利技术的一个实施例中，所述自适应参数β根据重要内容区域与背景区域部分的比例选取：本专利技术的一个实施例中，所述步骤(4)中采用均匀放大方法对重定向维度方向进行拉伸以平衡重要内容区域的尺寸拉伸，其拉伸后的尺寸为：其中，所述w代表原始图像的原始尺寸，所述wenl代表拉伸后的图像尺寸。本专利技术的一个实施例中，所述能量图谱通过下式计算：E＝S×Gm其中所述S表示原始图像的显著度图，所述Gm表示归一化后的灰度图，其中：其中，所述G表示原始图像的灰度值，其取值范围为(0,255)，所述Gmax和Gmin分别为图像灰度值的最大值和最小值。本专利技术的一个实施例中，所述步骤(2)具体本文档来自技高网...

【技术保护点】
一种保持重要内容区域宽高比的多算子图像重定向方法，其特征在于，包括以下步骤：(1)对原始图像进行显著度检测得到显著度图，利用所述显著度图以及归一化后的灰度图生成能量图谱；(2)对所述能量图谱进行二值化分割得到重要内容区域和背景区域；(3)根据目标图像的尺寸，以及重要内容区域和背景区域的尺寸大小，计算重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸；(4)根据重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸，采用均匀放大方法对重要内容区域做非重定向维度的拉伸，采用反向线剪裁方法对图像背景区域做非重定向维度的拉伸，并采用均匀放大方法对拉伸后的图像做重定向维度的拉伸；其中，重定向维度是指需要缩放的维度，非重定向维度是指另一维度；(5)对步骤(4)得到的拉伸后的图像做相似性变换，将图像均匀缩放至非重定向维度大小与原始图像相同；(6)利用添加梯度矢量流的线剪裁方法将步骤(5)中得到的缩放后图像缩放至目标尺寸。

【技术特征摘要】
1.一种保持重要内容区域宽高比的多算子图像重定向方法，其特征在于，包括以下步骤：(1)对原始图像进行显著度检测得到显著度图，利用所述显著度图以及归一化后的灰度图生成能量图谱；(2)对所述能量图谱进行二值化分割得到重要内容区域和背景区域；(3)根据目标图像的尺寸，以及重要内容区域和背景区域的尺寸大小，计算重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸；(4)根据重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸，采用均匀放大方法对重要内容区域做非重定向维度的拉伸，采用反向线剪裁方法对图像背景区域做非重定向维度的拉伸，并采用均匀放大方法对拉伸后的图像做重定向维度的拉伸；其中，重定向维度是指需要缩放的维度，非重定向维度是指另一维度；(5)对步骤(4)得到的拉伸后的图像做相似性变换，将图像均匀缩放至非重定向维度大小与原始图像相同；(6)利用添加梯度矢量流的线剪裁方法将步骤(5)中得到的缩放后图像缩放至目标尺寸。2.根据权利要求1所述的保持重要内容区域宽高比的多算子图像重定向方法，其特征在于，所述步骤(3)具体为：(3.1)计算原始图像在非重定向维度的尺寸增量：其中，所述h代表原始图像在非重定向维度的尺寸，所述w1代表重要内容区域在重定向维度的尺寸，所述wf代表目标图像在重定向维度的尺寸，且满足wf＜w1，所述Δh代表原始图像在非重定向维度的尺寸增量；(3.2)根据原始图像的重要内容区域与背景区域的比例分配不同的增量值，其中，重要内容区域拉伸的增量为：其中，所述h1代表重要内容区域在非重定向维度的尺寸，所述β代表自适应参数，所述Δh1代表重要内容区域拉伸的尺寸增量；上背景区域和下背景区域拉伸的尺寸增量分别为：其中，所述h2代表上背景区域尺寸，所述h3代表下背景区域尺寸，所述Δh2代表上背景区域拉伸的尺寸增量，所述Δh3代表下背景区域拉伸的尺寸增量；3.根据权利要求1或2所述的保持重要内容区域宽高比的多算子图像重定向方法，其特征在于，所述步骤(4)中采用反向线剪裁方法对背景信息部分进行尺寸拉伸，具体为：(4.1.1)对背景信息部分图像每个像素点赋能量值；定义图像的梯度值作为能量值：其中，x代表原图像，代表卷积，e代表图像的梯度图。(4.1.2)运用动态规划方法寻找能量值最小的裁剪线；(4.1.3)复制该裁剪线的每个像素点并将其插入在原像素点下方。4.根据权利要求3所述的保持重要内容区域宽高比的多算子图像重定向方法，其特征在于，所述动态规划方法为：(4.1.2.1)计算图像中每个像素点对应的前向累积能量值图，计算过程如下：M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))其中，所述e(i，j)代表该像素点的能量，所述M(i，j)代表计算的该像素点的前向累积能量；(4.1.2.2)从前向累积能量图M最后一行中找出最小能量值的位置点(i，j)，并以此点为入口，每次取上一行中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该行的点，即：seam(i-1)＝min{(i-1，j-1)，(i-1，j)，(i-1，j+1)}其中，所述seam(i-1)代表裁剪线第(i-1(行所选取的点；(4.1.2.3)按此规则重复往上搜索至第一行即可得到裁剪线。5....

【专利技术属性】
技术研发人员：唐振华，张倩，李军，黄宝婵，覃团发，常侃，
申请(专利权)人：广西大学，
类型：发明
国别省市：广西,45