一种立体图像重定向方法技术

本发明专利技术涉及一种立体图像重定向方法，包括：首先根据像素的纹理相似性和视差相似性建立能量方程；再根据建立的能量方程建立代价矩阵M，并且利用动态规划来选择出能量代价最小的线；将深度信息和平面显著性图相结合得到立体显著性图；对显著性图进行空间相干滤波后得到最终的重要性图IM；给左视图分配缩放因子；根据左右视图的视差，找到左右视图中像素间的对应关系，得到右视图的像素的缩放因子；根据每个像素的缩放因子，利用像素融合算法来对图像进行重定向处理，得到最终的重定向后的图像。本发明专利技术能够减小视觉失真。

【技术实现步骤摘要】

本专利技术属于图像处理、立体视觉
，涉及一种的能够保存深度的立体图像重定向的方法。
技术介绍
为了将图像应用于不同系统并进行最佳显示，经常必须对图像的分辨率进行修改，这个过程被称为图像重定向。其目标是在修改给定图像的分辨率，放大或缩小图像的同时保持图像中的重要特征并使其扭曲失真最小化。和传统的平面图像相比，立体图像具有的深度信息能够为重定向带来有价值的线索。然而，该信息的保存也为立体图像重定向带来了新的挑战。立体图像重定向不仅要保存图像中的重要区域，减小视觉失真，还要减小视差失真。视差值的改变会影响图像的立体感知。若调整后的视差过大，则会使观看者产生不舒适感觉，甚至无法将立体图像在大脑中融和成单一的图像；若视差过小，则会影响立体效果的再现，严重时甚至使立体效果完全丧失。这就需要我们结合立体图像的特点，来对立体图像进行重定向处理，而不是简单的将平面图像重定向算法直接应用到立体图像中。现存的适用于立体图像的重定向算法不是很多，主要分为两类：1)离散的方法，该类算法的基本思想是将图像看成离散的信号，根据图像重要度从图像中删除或添加像素来改变图像大小。这类方法的主流方法是线裁剪的方法。利用图像的重要度图来确定剔除(或插入)的像素，从而调整图像的分辨率。其中，线定义为图像中自顶向下的一条路径，并且每一行只经过一个像素点。得到图像的重要度图之后，寻找最佳线就是在矩形区域上搜索最小代价路径的问题，这一过程可以采用动态规划进行实现。这种方法比较灵活，而且视差失真较小。但是由于去除图中像素，所以会带来锯齿效应，产生视觉失真。2)连续的方法，这类方法将图像看成连续信号的离散采样，采用对原始图像进行变形并重新采样来实现重定向。这类方法的通常操作是将图像嵌入到网格中，然后通过对网格的变形实现图像的重定向。采用的网格主要包括四边形网格、三角网格以及多边形网格等。由于该算法的思想是将图像嵌入到网格中进行变形从而实现对图像内容的控制，在将不重要内容进行不同程度的拉伸时，有可能破坏图像的全局结构。同时，由于只考虑一些离散点而不是所有点的视差保存，可能会产生不连续变形和视差失真。考虑到像素移除的方法虽然比较灵活，但是保存对象结构的能力较弱，Yan等人通过像素融合代替像素移除来较好地解决了平面图像线裁剪产生的锯齿形边界的问题。像素融合根据缩放因子调整像素的宽度，采用将像素权值相加的过程。将该方法用于图像重定向能够得到较平滑的结果，减小视觉失真。
技术实现思路
针对当前立体图像重定向方法存在不足的现状，考虑到平面像素融合的较好的表现，本专利技术将像素融合方法应用到立体图像重定向中，给出一种基于像素融合的立体图像重定向方法。本专利技术的技术方案如下：一种立体图像重定向方法，包括下列步骤：1)首先根据像素的纹理相似性和视差相似性建立能量方程，即Etotal(i,j,j±)＝Eintensity(i,j,j±)+α·Ematch(i,j),EL(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)Eh(i,j)＝|I(i,j+1)-I(i,j-1)|Ematch(i,j)＝Ediff(i,j)+Dn(i,j)Ediff(i,j)＝|IL(i,j)-IR(i,j+D(i,j))|其中(i,j)代表第i行被选择像素的坐标，j±代表第i-1行被选择的像素的纵坐标；Etotal(i,j,j±)表示坐标为(i,j)的像素的总能量，Eintensity(i,j,j±)为坐标为(i,j)的像素的纹理相似性能量，Ematch(i,j)为坐标为(i,j)的像素的匹配能量，EL(i,j,j±)代表左图中坐标为(i,j)的像素的纹理相似性能量，代表右视图中坐标为(i,jR)的像素的纹理相似性能量，其计算方法和EL(i,j,j±)的计算方法相同，其中(i,j)和(i,jR)为左右视图中一对匹配像素的坐标，其匹配关系为j＝jR+D(i,j)，D(i,j)代表坐标为(i,j)的像素的视差值，Eh(i,j)代表坐标为(i,j)的像素与其水平方向上相邻像素之间的纹理相似性能量，其中I(i,j)表示图像I中坐标为(i,j)的像素的像素值，Ev(i,j,j±)代表坐标为(i,j)的像素与其垂直方向上相邻像素之间的纹理相似性，Ediff(i,j)代表左视图中坐标为(i,j)的像素与其在右视图中坐标为(i,j+D(i,j))的相匹配像素的像素差值，其中IL(i,j)表示左视图IL中坐标为(i,j)的像素的像素值，IR(i,j+D(i,j))表示右视图IR中坐标为(i,j+D(i,j))的像素的像素值，D(i,j)代表左视图中坐标为(i,j)的像素的视差值，Dn(i,j)表示左视图中坐标为(i,j)的像素归一化后的视差值；再根据建立的能量方程建立代价矩阵M，并且利用动态规划来选择出能量代价最小的线,根据线选择的顺序给每一条线标记一个ID；2)将深度信息和平面显著性图相结合得到立体显著性图S3D；3)对显著性图进行空间相干滤波后得到最终的重要性图IM；给左视图分配缩放因子：将左视图进行区域分类：可匹配区域、不可匹配区域类，并给不同的区域设置不同的缩放因子，以线为单位为图像中的像素分配缩放因子，对于可匹配区域中的线，根据线的重要程度进行缩放因子分配，重要性高的线分配较大的缩放因子值，重要性低的分配较小的缩放因子值；对于不可匹配区域中的线，直接分配值为1的缩放因子来保存整体视差；4)根据左右视图的视差，找到左右视图中像素间的对应关系，得到右视图的像素的缩放因子；5)根据每个像素的缩放因子，利用像素融合算法来对图像进行重定向处理，得到最终的重定向后的图像。本专利技术将像素融合应用到立体图像重定向中，与立体线裁剪方法相比能够减小视觉失真。本专利技术还考虑到了视差保存，通过给不同区域分配不同的缩放因子机制，获得了较小的视差失真。附图说明图1为输入的立体图像对，(a)为左视图(b)为右视图。图2为重定向后的立体图像对，(a)为左视图(b)为右视图。图3为原始的视差图。图4为由SGM算法得出的重定向后立体图像的视差图。图5为技术方案的流程图。具体实施方式下面通过立体图像重定向过程说明本专利技术的最佳实施方式：1.建立线选择能量方程1)首先根据像素的纹理相似性和视差相似性计算出能量方程：Etotal(i,j,j±)＝Eintensity(i,j,j±)+α·Ematch(i,j),基于像素融合的图像重定向就是通过调整每一个像素的大小最终达到图像尺寸调整的目的。因为大量像素的改变会破坏图像的空间一致性，所以需要建立基于线的像素融合来保存空间一致性。基于线的像素融合就是给同一条线上的像素分配相同的缩放因子，这就要求同一条线上的像素具有较高的相似性，这样才不会造成额外的视觉失真。不仅如此，为了同时减小左右视图视觉失真，右视图中的对应的匹配线也应该具有较高的相似性。因此，Eintensity同时计算左右视图中的像素的相似性：Eintensity(i,j,j±)＝EL(i,j,j±)+ER(i,j,j±),EL(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)Eh(i,j)＝|I(i,j+1)-I(i,j-1)|其中右视图的能量方程和左视图相似。因为选择出的线需要找到其在右视图中的匹配线，并建立匹配图。因此，选择出本文档来自技高网...

【技术保护点】
一种立体图像重定向方法，包括下列步骤：1)首先根据像素的纹理相似性和视差相似性建立能量方程，即Etotal(i,j,j±)＝Eintensity(i,j,j±)+α·Ematch(i,j),Eintensity(i,j,j±)=EL(i,j,j±)+ER(i,jR,jR±),]]>EL(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)Eh(i,j)＝|I(i,j+1)‑I(i,j‑1)|Ev(i,j,j±)=V1j±<j,0j±=j,V2j±>j.]]>V1=Σk=j±+1j|I(i-1,k)-I(i,k-1)|,]]>V2=Σk=j+1j±|I(i-1,k)-I(i,k-1)|.]]>Ematch(i,j)＝Ediff(i,j)+Dn(i,j)Ediff(i,j)＝|IL(i,j)‑IR(i,j+D(i,j))|其中(i,j)代表第i行被选择像素的坐标，j±代表第i‑1行被选择的像素的纵坐标；Etotal(i,j,j±)表示坐标为(i,j)的像素的总能量，Eintensity(i,j,j±)为坐标为(i,j)的像素的纹理相似性能量，Ematch(i,j)为坐标为(i,j)的像素的匹配能量，EL(i,j,j±)代表左图中坐标为(i,j)的像素的纹理相似性能量，代表右视图中坐标为(i,jR)的像素的纹理相似性能量，其计算方法和EL(i,j,j±)的计算方法相同，其中(i,j)和(i,jR)为左右视图中一对匹配像素的坐标，其匹配关系为j＝jR+D(i,j)，D(i,j)代表坐标为(i,j)的像素的视差值，Eh(i,j)代表坐标为(i,j)的像素与其水平方向上相邻像素之间的纹理相似性能量，其中I(i,j)表示图像I中坐标为(i,j)的像素的像素值，Ev(i,j,j±)代表坐标为(i,j)的像素与其垂直方向上相邻像素之间的纹理相似性，Ediff(i,j)代表左视图中坐标为(i,j)的像素与其在右视图中坐标为(i,j+D(i,j))的相匹配像素的像素差值，其中IL(i,j)表示左视图IL中坐标为(i,j)的像素的像素值，IR(i,j+D(i,j))表示右视图IR中坐标为(i,j+D(i,j))的像素的像素值，D(i,j)代表左视图中坐标为(i,j)的像素的视差值，Dn(i,j)表示左视图中坐标为(i,j)的像素归一化后的视差值；再根据建立的能量方程建立代价矩阵M，并且利用动态规划来选择出能量代价最小的线,根据线选择的顺序给每一条线标记一个ID；2)将深度信息和平面显著性图相结合得到立体显著性图S3D；3)对显著性图进行空间相干滤波后得到最终的重要性图IM；4)给左视图分配缩放因子：将左视图进行区域分类：可匹配区域、不可匹配区域类，并给不同的区域设置不同的缩放因子，以线为单位为图像中的像素分配缩放因子，对于可匹配区域中的线，根据线的重要程度进行缩放因子分配，重要性高的线分配较大的缩放因子值，重要性低的分配较小的缩放因子值；对于不可匹配区域中的线，直接分配值为1的缩放因子来保存整体视差；5)根据左右视图的视差，找到左右视图中像素间的对应关系，得到右视图的像素的缩放因子；6)根据每个像素的缩放因子，利用像素融合算法来对图像进行重定向处理，得到最终的重定向后的图像。...

【技术特征摘要】
1.一种立体图像重定向方法，包括下列步骤：1)首先根据像素的纹理相似性和视差相似性建立能量方程，即Etotal(i,j,j±)＝Eintensity(i,j,j±)+α·Ematch(i,j),Eintensity(i,j,j±)=EL(i,j,j±)+ER(i,jR,jR±),]]>EL(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)Eh(i,j)＝|I(i,j+1)-I(i,j-1)|Ev(i,j,j±)=V1j±<j,0j±=j,V2j±>j.]]>V1=Σk=j±+1j|I(i-1,k)-I(i,k-1)|,]]>V2=Σk=j+1j±|I(i-1,k)-I(i,k-1)|.]]>Ematch(i,j)＝Ediff(i,j)+Dn(i,j)Ediff(i,j)＝|IL(i,j)-IR(i,j+D(i,j))|其中(i,j)代表第i行被选择像素的坐标，j±代表第i-1行被选择的像素的纵坐标；Etotal(i,j,j±)表示坐标为(i,j)的像素的总能量，Eintensity(i,j,j±)为坐标为(i,j)的像素的纹理相似性能量，Ematch(i,j)为坐标为(i,j)的像素的匹配能量，EL(i,j,j±)代表左图中坐标为(i,j)的像素的纹理相似性能量，代表右视图中坐标为(i,jR)的像素的纹理相似性能量，其计算方法和EL(i,j,j±)的计算方法相同，其中(i,j)和(i,jR)为左右视图中一对匹配像素的坐标，其匹配关系为j＝jR+D(i,j)，D(i,j)代表坐标为(i,j...

【专利技术属性】
技术研发人员：雷建军，吴敏，侯春萍，丛润民，李乐乐，郭琰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12