一种基于视觉相似度度量的混合操作算子图像重定向方法技术

本发明专利技术涉及一种基于视觉相似度度量的混合操作算子图像重定位方法，其特征在于：对原始图像进行N次迭代重定位操作，每次迭代操作都对上一次迭代的结果图像采用四种重定位算子，通过比较这四种重定位算子得到的结果与原始图像的相识度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像。本发明专利技术能够获得很好的图像重定向效果，而且算法简单，运行速度快。

【技术实现步骤摘要】
一种基于视觉相似度度量的混合操作算子图像重定向方法
本专利技术涉及一种基于视觉相似度测量的混合操作算子图像重定向方法及系统。属于多媒体
，具体属于数字图像和数字视频处理

技术介绍
随着各式各样移动设备的普及，提高人们在移动设备上的视觉体验变得尤为重要。针对不同的设备，图像必须调整到不同的大小和尺寸来获得更好的视觉体验。在过去的十多年中，研究人员提出了许多图像重定向方法来使图像能够以不同大小和尺寸在不同设备上表现出良好的显示效果。一种经典的方法就是通过线性下采样来调整图像的大小。但是这种方法可能会因丢失太多重要信息使得显著目标变得太小，严重影响了视觉体验。图像裁剪算法是另一种图像重定向算法，它保留了人眼的感兴趣区域而去除了无关的背景信息。但是这种算法也存在一个问题，算法在去除背景区域的同时，也去除了背景与感兴趣区域的相关联系。为了解决图像下采样和图像裁剪算法的这些缺陷，研究人员提出了各种改进方法，在图像失真度最小的情况下，通过保存感兴趣区域的主要内容来提高人的视觉体验。一般地，图像的重要区域包含了丰富的信息，并且可以根据相关技术来计算其重要性图。这种重要性图是由梯度图、显著性图以及一些如人脸图、运动图等高级特征图组成，被广泛用于多媒体重定向算法中。图像重定向算法是对图像中的像素运用重定向操作算子，通过改变图像的大小以适应不同大小的显示屏。目前有两类图像重定向算法：离散和连续的图像重定向算法。离散的图像重定向算法通过删除图像中的像素以获得新的图像；而连续图像重定向算法通过合并图像中的某些像素得到重定向的结果。Avidan等人提出了一种非常有名的离散图像重定向算法，叫做线裁剪算法。这种方法通过迭代删除由不重要像素组成的一条条缝隙，来达到重定向的效果。由于图像中像素的删除，线裁剪算法可能导致重定向图像中物体边缘扭曲。为了解决这一问题，研究人员基于线裁剪提出了不少新的图像重定向改进方法。与离散的图像重定向方法不同，图像变换方法是一个传统的连续图像重定向方法，它能够在执行重定向算子的时候保证物体连续的形变。近年来，Rubinstein等人做了一组主观实验，发现对图像使用多种重定向算子比单使用一种算子得到的重定向图像质量更好。根据实验的相关结果，作者提出了一个结合线裁剪，图像下采样和图像裁剪算子的多算子图像重定向算法。每次重定向操作的算子由输入图像和重定向图像最大相似度的最优化结果来决定。双向变换算法被用于决定这种混合算子的数量。实验结果证明使用这种混合重定向算子比单用一种重定向算子得到的重定向图像视觉效果更好，在这之后其他学者也提出了一些混合重定向算子，在这些算法中，相似度测量被用来决定每个重定向算子的数量。在Rubinstein的研究中，作者开展了一个比较实验，证明了之前的诸如双向变换算法、双向相似度算法等用于决定重定向算子数量的相似度测量方法不是很有效。由于上述方法存在着那么多严重的缺陷，需要一种简便而有效的图像重定向方法，以提高重定向后图像的视觉体验。
技术实现思路
为了克服现有技术上的不足，本专利技术提供了一种混合算子图像重定向方法，这种方法结合了图像裁剪、图像下采样、线裁剪和图像变换四种算子来完成图像的重定向操作，这四种重定向操作算子的重定向操作序列由一个重定向优化过程来决定。我们通过计算原始图像和重定向图像的相似度，来决定哪个重定向操作算子在迭代中被使用。对于相似度的计算，由于原始图像和重定向图像有着不同的尺寸，可以使用尺度不变特征转换流来计算原始图像和重定向图像的像素映射，利用结构相似度来计算原始图像和重定向图像之间的相似度，同时，视觉显著图分析被用于决定相似度的权重。实验证明我们提出的方法能很好地对一幅图像进行重定向操作，所产生的失真度比较小。本专利技术采用下述技术方案来实现：一种基于视觉相似度度量的混合操作算子图像重定向方法，其特征在于：对原始图像进行n次迭代重定向操作，每次迭代操作都对上一次迭代的结果图像采用四种重定向算子，通过比较这四种重定向算子得到的结果与原始图像的结构相识度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像。本专利技术各个部分的具体操作如下：●图像重定向操作算子：图像重定向操作算子被用于在保证物体不发生形变的情况下调整图片的大小。在本文提出的框架中，我们使用了图像裁剪、图像下采样、线裁剪和图像变换四种重定向操作算子来完成图像的重定向操作。对于图像下采样重定向操作算子，我们使用统一的图像尺度来进行图像大小的调整。对于其他三种算子，通过计算图像的显著图，将其作为重要图来估量图像像素的重要程度。本方法中，我们使用离散余弦变换来提取重定向图像的显著图，将其作为图像的重要图。给定一张图像，图像块i的显著值可以通过下式来计算：其中di,j代表两个图像块i和j之间的空间距离，Di,j代表两个图像块i和j之间的特征差异。我们用上面的式子计算由图像裁剪、线裁剪和图像变换重定向操作算子得到的重定向图像显著图。对于图像裁剪重定向操作算子是采用最小化图像重要图的能量值来计算的，对线裁剪重定向操作算子，我们计算显著图来测量每个像素的重要性。相似地，我们改进了图像变换重定向操作算子，通过计算显著图作为能量度来估量每个像素点的重要性。●视觉相似度测量：本方法至关重要的一个步骤就是确定图像重定向操作序列。本方法中，我们使用结构相似度来评价重定向图像的失真度，以此确定其重定向操作序列。由于原始图像与重定向图像有着不同的大小，我们使用尺度不变特征转换流估计原始图像与重定向图像的稠密对齐。对于原始图像中的每个像素p，我们发现通过使用尺度不变特征转换流能够使其与重定向图像的p’相对应。一旦原始图像和重定向图像的稠密对齐被建立起来，这些对齐区域的局部结构信息可以被用来作为相似度评价。对任意的原始图像与重定向图像上对齐的两个点p和p’，分别以这两个点为中心的两个图像块x和x’，它们之间的结构相似度可以由下式计算：其中μx，μx′，和σxx′分别代表x和x’的局部平均值，x和x’的局部方差以及x和x’的协方差。C1和C2是两个小的正数变量，用于消除低光照和对比度情况下对视觉系统的影响。在本方法中，我们使用混合尺度算子来计算最终的结构相似度，通过使用不同尺度的结构相似度来计算：其中SSIMj是第j个尺度的结构相似度值，ωj是不同尺度下结构相似度的权重值。本方法中，我们从基于双线性插值的不同尺度进行上采样结构相似图，以匹配不同大小的最终结构相似图。在本专利技术中，我们同时考虑自顶向下和自底向上的方法来计算图像的显著图。我们可以通过(1)式来计算自底向上的显著性图Sb，而自顶向下的显著性图St是通过人脸检测算法来计算的。当然，其他自顶向下的方法也可以融入到这个方法中。我们使用线性结合的方法将自顶向下和自底向上的显著图整合到一起，用于获得最终的重定向图像的显著图：S'＝(Sb+St)/2(4)全局的结构相似度可以提供原始图像和重定向图像的相似度信息，同时，最近研究表明一些重要的物体可能会被忽略到感兴趣区域以外。因此，我们使用显著图来决定整个结构相似度的权重，进而计算原始图像和对应的重定向图像之间的结构相似度，计算公式如下：其中，SSIM(i,i′)是指原始图像的图像块i和对应的重定向图像的图像本文档来自技高网...

【技术保护点】
一种基于视觉相似度度量的混合操作算子图像重定位方法，其特征在于：对原始图像进行N次迭代重定位操作，每次迭代操作都对上一次迭代的结果图像采用四种重定位算子，通过比较这四种重定位算子得到的结果与原始图像的结构相识度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像。

【技术特征摘要】
1.一种基于视觉相似度度量的混合操作算子图像重定向方法，其特征在于：对原始图像进行n次迭代重定向操作，每次迭代操作都对上一次迭代的结果图像采用四种重定向操作算子，通过比较这四种重定向算子得到的结果与原始图像的结构相似度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的重定向图像；所述四种重定向操作算子为图像裁剪、图像下采样、线裁剪和图像变换；计算由图像裁剪、线裁剪和图像变换算子得到的重定向图像显著图，将其作为重要图来估量图像像素的重要程度，给定一张图像，图像块i的显著值通过下式来计算：其中di,j代表两个图像块i和j之间的空间距离，Di,j代表两个图像块i和j之间的特征差异；使用结构相似度来评价重定向图像的失真度，以此确定其重定向操作序列；对于原始图像中的每个像素p，通过使用尺度不变特征转换流使其与重定向图像像素p’相对应；对任意的对齐的原始图像像素p与重定向图像像素p’，分别以原始图像的像素p和重定向图像像素p’为中心的两个图像块x和x’，它们之间的结构相似度由下式计算：其中μx，...

【专利技术属性】
技术研发人员：方玉明，方志军，刘威，温文媖，袁非牛，杨勇，
申请(专利权)人：方玉明，
类型：发明
国别省市：江西;36