基于三维显著度的图像剪裁方法技术

本发明专利技术公开了一种基于三维显著度的图像剪裁方法，其特征是按如下步骤进行：1利用深度数据获得目标图像的深度图；2将深度图和二维模型结合起来构建三维显著度模型；3根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重；4利用三维显著度模型计算图像能量函数梯度；5去除显著度较小的点以对图像进行剪裁。本发明专利技术能将深度信息与二维显著度进行结合，并增强剪裁的鲁棒性。

【技术实现步骤摘要】
基于三维显著度的图像剪裁方法
本专利技术属于图像处理领域，主要涉及一种基于三维显著度的图像剪裁方法。
技术介绍
随着移动设备例如智能手机和平板电脑的普及，用户习惯将他们所拍摄到的照片上传到社交网站上与朋友进行分享。考虑到用户使用的移动设备的型号不同，如何使用户分享的照片在不同终端上都可以很好地显示，是目前计算机视觉领域研究的热门课题之一。针对上述问题，研究者们提出了一些方法，但是由于缩放和检测精度的不够，图像中物体的变形和部分重要信息的丢失始终困扰着研究者们。最近在2009年国际顶级会议IEEEInternationalConferenceonImageProcessing上发表了文章《Saliencydetectionforcontent-awareimageresizing》该文章提出利用计算目标图像中的显著度来对图像进行剪裁的约束，使得剪裁过程中显著度大的点得到保存而牺牲显著度小的点。但是当图像中的场景比较复杂、纹理和物体较多时，利用该文章的方法计算得到图像中许多点的显著度都很大，如果对这些点进行保留，图像就得不到有效的剪裁，如果舍弃这些点，一些重要的轮廓信息就会被舍去。到目前为止，依然没有出现一种既能保证图像中物体不会变形或者丢失，又可以对场景比较复杂的图像进行剪裁的方法。
技术实现思路
本专利技术旨在解决当前多数图像剪裁方法对目标图像进行剪裁的过程中会对图像中的物体产生变形、丢失部分重要信息和不能有效的对拥有复杂场景的图像进行裁剪的问题，提出一种基于三维显著度的图像裁剪方法，能将深度信息与二维显著度进行结合，并增强图像剪裁的鲁棒性。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于三维显著度的图像剪裁方法的特点是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S2D：式(2)中，Xi、Xj分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤3、利用式(3)构建三维显著度模型S3D：S3D＝(1-α)S2D+α·Edepth(3)式(3)中，Edepth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；Dmax为常数；步骤4：利用式(1)和(3)将所述能量函数E重新定义为E'：E'(x,y)＝E(x,y)·S3D(x,y)(5)式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；步骤5：利用式(6)计算所述目标图像I的图像显著度S：式(6)中，(xb,n)为所述目标图像I中第n列的第b个像素点，(xa,n-1)为所述目标图像I中第n-1列的第a个像素点，a≠b，且a,b∈(0,m)；S((xb,n),(xa,n-1))表示所述目标图像I中第n列第b个像素点xb与第n-1列第a个像素点xa的能量差值；表示所述目标图像I水平方向v上的梯度；并有表示所述目标图像I对角线方向d上的梯度，并有步骤6：以b个像素为窗口对所述目标图像I进行扫描，并利用式(7)获得所述图像显著度S的最小值集合s*：s*＝minS(7)步骤7、去除所述目标图像I中最小值集合s*所对应的像素点以实现对所述目标图像I的裁剪。与现有技术相比，本专利技术的有益效果体现在：1、本专利技术将经典的基于L1范式对目标图像进行能量函数计算的方法与深度信息结合起来提出一种新的三维显著度，既保证了原有二维显著度的优点，又添加了深度信息使得当目标图像中的场景比较复杂时依然可以很好的进行剪裁。2、本专利技术中二维显著度与深度信息之间的参数根据图像中灰度的分布自适应的调整，当图像中灰度分布比较单一及图像场景比较单一时，二维显著度的权重将高于深度信息的权重，因此保留了传统二维显著度的优点；而当灰度分布比较广泛时及图像场景比较复杂时，深度信息的权重高于二维显著度，因此可以更好的对复杂场景的图像进行剪裁。3、由于二维显著度的精度受到外界光照的影响较大而深度信息的精度几乎不受外界光照影响，因此本专利技术方法对外界环境具有更强的抗噪性。附图说明图1为本专利技术目标图像；图2为本专利技术对目标图像的剪裁结果图。具体实施方式本实施例中，一种基于三维显著度的图像剪裁方法是利用深度数据获得目标图像的深度图；然后将深度图和二维模型结合起来构建三维显著度模型；其次根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重；再次利用三维显著度模型计算图像能量函数梯度；最后去除显著度较小的点以对图像进行剪裁，具体的说是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：该能量函数通过利用L1范式计算目标图像的每一个像素点的梯度得到；梯度信息通常反应出图像中物体的边缘，在剪裁过程中可以有效的保证图像的完整，目标图像如图1所示：式(1)中，E(x,y)为目标图像I在像素点(x,y)处的能量值；I(x,y)为目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对目标图像I进行特征提取，对图像进行特征提取的方法不受限制，比如可以采用LocalBinaryPattern(LBP)或者SIFT等特征提取方法都可以得到二维特征矩阵X；步骤3、利用式(2)获得目标图像I的二维显著度S2D：式(2)中，Xi、Xj分别为二维特征矩阵两个不同行向量；σ为常数；步骤3、利用式(3)构建三维显著度模型S3D：模型在原有的二维显著度基础之上将深度信息结合起来，并且根据图像的区别，自适应调节二维显著度和深度信息之间的权值关系；S3D＝(1-α)S2D+α·Edepth(3)式(3)中，Edepth为利用3D相机获取目标图像I的深度图，α为自适应参数；并有：...

【技术保护点】
一种基于三维显著度的图像剪裁方法，其特征是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：E(x,y)=|δδxI(x,y)|+|δδyI(x,y)|---(1)]]>式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S2D：S2D=exp(-||Xi-Xj||22σ2)---(2)]]>式(2)中，Xi、Xj分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤3、利用式(3)构建三维显著度模型S3D：S3D＝(1‑α)S2D+α·Edepth   (3)式(3)中，Edepth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：α=Σx,y=0m,nn(x,y)·(I(x,y)-I(x,y)‾)2Dmax---(4)]]>式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；Dmax为常数；步骤4：利用式(1)和(3)将所述能量函数E重新定义为E'：E'(x,y)＝E(x,y)·S3D(x,y)    (5)式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；步骤5：利用式(6)计算所述目标图像I的图像显著度S：S((xb,n),(xa,n-1))=Σa=1b-1|Ga,nv-Ga,nd|+Σa=a+1b|Ga,nvGa-1,nd|---(6)]]>式(6)中，(xb,n)为所述目标图像I中第n列的第b个像素点，(xa,n‑1)为所述目标图像I中第n‑1列的第a个像素点，a≠b，且a,b∈(0,m)；S((xb,n),(xa,n‑1))表示所述目标图像I中第n列第b个像素点xb与第n‑1列第a个像素点xa的能量差值；表示所述目标图像I水平方向v上的梯度；并有表示所述目标图像I对角线方向d上的梯度，并有Ga,nd=|Ea,n′-Ea+1,n-1′|;]]>步骤6：以b个像素为窗口对所述目标图像I进行扫描，并利用式(7)获得所述图像显著度S的最小值集合s*：s*＝minS     (7)步骤7、去除所述目标图像I中最小值集合s*所对应的像素点以实现对所述目标图像I的裁剪。...

【技术特征摘要】
1.一种基于三维显著度的图像剪裁方法，其特征是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S2D：式(2)中，Xi、Xj分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤3、利用式(3)构建三维显著度模型S3D：S3D＝(1-α)S2D+α·Edepth(3)式(3)中，Edepth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：式...

【专利技术属性】
技术研发人员：汪萌，高欣健，陈雁翔，潘宜飞，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34