基于三维显著度的图像扭曲方法技术

本发明专利技术公开了一种基于三维显著度的图像扭曲方法，其特征是按如下步骤进行：1利用深度数据获得目标图像的深度图；2将深度图和二维模型结合起来构建三维显著度模型；3根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重；4利用三维显著度模型计算图像能量函数梯度；5提取图像二维边缘和深度轮廓特征，利用特征点生成三角网格；6构建目标方程，增加约束；7对目标方程求极值，构建转换关系。本发明专利技术能将深度信息与二维显著度进行结合，并增强扭曲的鲁棒性。

【技术实现步骤摘要】
基于三维显著度的图像扭曲方法
本专利技术属于图像处理领域，主要涉及一种基于三维显著度的图像扭曲方法。
技术介绍
随着移动设备例如智能手机和平板电脑的普及，用户习惯将他们所拍摄到的照片上传到社交网站上与朋友进行分享。考虑到用户使用的移动设备的型号不同，如何使用户分享的照片在不同终端上都可以很好地显示，是目前计算机视觉领域研究的热门课题之一。针对上述问题，研究者们提出了一些方法，但是由于扭曲和检测精度的不够，图像中物体的变形和部分重要信息的丢失始终困扰着研究者们。最近在2009年国际顶级会议IEEEInternationalConferenceonImageProcessing上发表了文章《Saliencydetectionforcontent-awareimageresizing》该文章提出利用计算目标图像中的显著度来对图像进行扭曲的约束，使得扭曲过程中显著度大的点得到保存而牺牲显著度小的点。但是当图像中的场景比较复杂、纹理和物体较多时，利用该文章的方法计算得到图像中许多点的显著度都很大，如果对这些点进行保留，图像就得不到有效的扭曲，如果舍弃这些点，一些重要的轮廓信息就会被舍去。到目前为止，依然没有出现一种既能保证图像中物体不会变形或者丢失，又可以对场景比较复杂的图像进行扭曲的方法。
技术实现思路
本专利技术旨在解决当前多数图像扭曲方法对目标图像进行扭曲的过程中会对图像中的物体产生变形、丢失部分重要信息和不能有效的对拥有复杂场景的图像进行扭曲的问题，提出一种基于三维显著度的图像扭曲方法，能将深度信息与二维显著度进行结合，并增强扭曲的鲁棒性。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于三维显著度的图像扭曲方法的特点是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S2D：式(2)中，Xi、Xj分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤4、利用式(3)构建三维显著度模型S3D：S3D＝(1-α)S2D+α·Edepth(3)式(3)中，Edepth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；Dmax为常数；步骤5：利用式(1)和(3)将所述能量函数E重新定义为E'：E'(x,y)＝E(x,y)·S3D(x,y)(5)式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；步骤6：利用式(6)计算所述目标图像I的图像显著度S：式(6)中，(xb,n)为所述目标图像I中第n列的第b个像素点，(xa,n-1)为所述目标图像I中第n-1列的第a个像素点，a≠b，且a,b∈(0,m)；S((xb,n),(xa,n-1))表示所述目标图像I中第n列第b个像素点(xb,n)与第n-1列第a个像素点(xa,n-1)的能量差值；表示所述目标图像I水平方向v上的梯度；并有表示所述目标图像I对角线方向d上的梯度，并有步骤7、根据所述目标图像I的深度图，获得所述目标图像I中物体表面的轮廓；步骤8、利用Delaunay三角法将所述二维特征矩阵X中每个点连接起来并在所述目标图像上构建三角网格；所述三角网格包含若干个三角形t；步骤9、利用式(7)对所述三角网格中所有三角形进行扭曲：式(7)中，和分别为所述三角形t在横方向α和纵方向β上的扭曲；Gt表示对任一个三角形t的扭曲函数；步骤10、利用式(8)获得目标方程Es：式(8)中，T为所述三角形t的集合；At为所述三角形t的面积，表示对所述三角形t进行扭曲后的雅各比矩阵；St为任一个三角形t的显著度；步骤11：利用式(9)定义约束条件Ef：式(9)中，和为所述三角形t上的未经扭曲的三个顶点，和为所述三角形t上的三个顶点经过扭曲后的三个顶点；rt是顶点和顶点之间的边与顶点和顶点之间的边的边长比，Rt是顶点和顶点之间的边与顶点和顶点之间的边所构成的旋转矩阵；步骤12：利用式(10)获得扭曲矩阵F：F＝λEs+(1-λ)Ef(10)式(10)中，λ为系数；以所述目标图像I中每个三角形t按照扭曲矩阵F对应的值进行平移或者旋转实现对所述目标图像I的扭曲。与现有技术相比，本专利技术的有益效果体现在：1、本专利技术将经典的基于L1范式对目标图像进行能量函数计算的方法与深度信息结合起来提出一种新的三维显著度，既保证了原有二维显著度的优点，又添加了深度信息使得当目标图像中的场景比较复杂时依然可以很好的进行扭曲。2、本专利技术中二维显著度与深度信息之间的参数根据图像中灰度的分布自适应的调整，当图像中灰度分布比较单一及图像场景比较单一时，二维显著度的权重将高于深度信息的权重，因此保留了传统二维显著度的优点；而当灰度分布比较广泛时及图像场景比较复杂时，深度信息的权重高于二维显著度，因此可以更好的对复杂场景的图像进行扭曲。3、由于二维显著度的精度受到外界光照的影响较大而深度信息的精度几乎不受外界光照影响，因此本专利技术方法对外界环境具有更强的抗噪性。4、本专利技术由于添加了深度信息和三角网格作为约束，既考虑了每个点的显著度的大小，同时考虑了图像中物体边缘的完整性，这样假设同一条边上的两个点一个显著度大一个显著度小，最终的扭曲结果也不会使这条边发生断裂等情况；从而保证了图像扭曲的鲁棒性。附图说明图1为本专利技术目标图像；图2为本专利技术对目标图像的扭曲结果图。具体实施方式本实施例中，一种基于三维显著度的图像扭曲方法是利用深度数据获得目标图像的深度图；然后将深度图和二维模型结合起来构建三维显著度模型；其次根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重；再次利用三维显著度模型计算图像能量函数梯度；之后提取图像二维边缘和深度轮廓特征，利用特征点生成三角网格；最终构建目标函数求取极值并添加约束，得到扭曲矩阵；具体的说是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：该能量函数通过利用L1范式计算目标图像的每一个像素点的梯度得到；梯度信息通常反应出图像中物体的边缘，在剪裁过程中可以有效的保证图像的完整，目标图像如图1所示：式(1)中，E(x,y)为目标图像I在像素点(x,y)处的能量值；I(x,y)为目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对目标图像I进行特征提取，对图像进行特征提取的方法不受限制，比如可以采用LocalBinaryPattern(LBP)或者SIFT等特征提取方法都可以得到获得二维特征矩阵X；步骤3、利用式(2)获得目标图像I的二维显著度S2D：式(2)中，Xi、Xj分别为二维特征矩阵两个不同行向量；σ为常数；步骤4、利用式(3)构建三维显著度模型S3D：模型在原有的二维显著度基础之上将深度信息结合起来，并且根据图像的区别，自适应调节二维显著度和深度信息之间的权值关系；S3D＝(1-α)S2D+α·Edepth本文档来自技高网...

【技术保护点】
一种基于三维显著度的图像扭曲方法，其特征是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：E(x,y)=|δδxI(x,y)|+|δδyI(x,y)|---(1)]]>式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S2D：S2D=exp(-||Xi-Xj||22σ2)---(2)]]>式(2)中，Xi、Xj分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤4、利用式(3)构建三维显著度模型S3D：S3D＝(1‑α)S2D+α·Edepth          (3)式(3)中，Edepth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：α=Σx,y=0m,nn(x,y)·(I(x,y)-I(x,y)‾)2Dmax---(4)]]>式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；Dmax为常数；步骤5：利用式(1)和(3)将所述能量函数E重新定义为E'：E'(x,y)＝E(x,y)·S3D(x,y)        (5)式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；步骤6：利用式(6)计算所述目标图像I的图像显著度S：S((xb,n),(xa,n-1))=Σa=1b-1|Ga,nv-Ga,nd|+Σa=a+1b|Ga,nvGa-1,nd|---(6)]]>式(6)中，(xb,n)为所述目标图像I中第n列的第b个像素点，(xa,n‑1)为所述目标图像I中第n‑1列的第a个像素点，a≠b，且a,b∈(0,m)；S((xb,n),(xa,n‑1))表示所述目标图像I中第n列第b个像素点xb与第n‑1列第a个像素点xa的能量差值；表示所述目标图像I水平方向v上的梯度；并有表示所述目标图像I对角线方向d上的梯度，并有Ga,nd=|Ea,n′-Ea+1,n-1′|;]]>步骤7、根据所述目标图像I的深度图，获得所述目标图像I中物体表面的轮廓；步骤8、利用Delaunay三角法将所述二维特征矩阵X中每个点连接起来并在所述目标图像上构建三角网格；所述三角网格包含若干个三角形t；步骤9、利用式(7)对所述三角网格中所有三角形进行扭曲：Gt=stα00stβ---(7)]]>式(7)中，和分别为所述三角形t在横方向α和纵方向β上的扭曲；Gt表示对任一个三角形t的扭曲函数；步骤10、利用式(8)获得目标方程Es：Es=Σt∈TStAt||Jt(q)-Gt||2---(8)]]>式(8)中，T为所述三角形t的集合；At为所述三角形t的面积，Jt(q)表示对所述三角形t进行扭曲后的雅各比矩阵；St为任一个三角形t的显著度；步骤11：利用式(9)定义约束条件Ef：Ef=Σt∈TT||(ct2q-ct1q)-riRi(ct1q-ctq)||2---(9)]]>式(9)中，为所述三角形t上的未经扭曲的三个顶点为所述三角形t上的三个顶点经过扭曲后的三个顶点；ri是顶点和顶点之间的边与顶点和顶点之间的边的边长比，Rt是顶点和顶点之间的边与顶点和顶点之间的边所构成的旋转矩阵；步骤12：利用式(10)获得扭曲矩阵F：F＝λEs+(1‑λ)Ef               (10)式(10)中，λ为系数；以所述目标图像I中每个三角形t按照扭曲矩阵F对应的值进行平移或者旋转实现对所述目标图像I的扭曲。...

【技术特征摘要】
1.一种基于三维显著度的图像扭曲方法，其特征是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S2D：式(2)中，Xi、Xj分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤4、利用式(3)构建三维显著度模型S3D：S3D＝(1-α)S2D+α·Edepth(3)式(3)中，Edepth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；Dmax为常数；步骤5：利用式(1)和(3)将所述能量函数E重新定义为E'：E'(x,y)＝E(x,y)·S3D(x,y)(5)式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；步骤6：利用式(6)计算所述目标图像I的图像显著度S：式(6)中，(xb,n)为所述目标图像I中第n列的第b个像素...

【专利技术属性】
技术研发人员：汪萌，高欣健，陈雁翔，潘宜飞，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34