动态场景的散焦深度估计和全聚焦图像获取方法技术

本发明专利技术提出一种动态场景的散焦深度估计和全聚焦图像获取方法，包括以下步骤：获取多张散焦图像的第一深度图以及全局不一致的模糊核，采用基于散焦深度估计和图像去模糊算法进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图；对每一时刻的全聚焦图像进行颜色分割后对深度图进行平面拟合，并进行空间上的精化以得到第三深度图，并重新优化以得到优化的全聚焦图像；对优化的全聚焦图像进行光流估计后对第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。该方法可以获得更精确的动态场景深度估计结果和全清晰图像，容易实现。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特别涉及一种。
技术介绍
如何从三维场景采集所成的ニ维图像序列恢复场景的深度信息是计算机视觉领域ー个重要的研究内容。通常利用所采集到的深度线索来推测场景的深度，如基于多视角的深度估计、基于阴影的深度估计、散焦的深度估计、聚焦深度估计等等，此外还有ー些方法通过向场景投射主动光的方式来估计场景的深度。散焦深度估计自Pentland提出以来便一直受到人们的关注，主要有基于单张的散焦图像和基于多张散焦图像的方法。基于单张散焦图像的散焦深度估计算法由于问题的欠定性通常不能获得令人满意的深度估计結果。基于多张散焦图像的深度估计算法，主要有局部的方法和全局的方法，局部的方法如一些采用局部窗的空域或者频域的方法通常会产生边缘或者窗效应，而ー些全局的方法的算法复杂度通常比较高。传统的散焦深度估计算法在求解过程通常会消除场景辐射度(全聚焦图像)的估计而只估计场景的深度。此夕卜，现有对于动态场景的散焦深度估计研究的工作相对较少的主要原因是很难采集到动态场景在某ー时刻下的多张聚焦于不同深度下的散焦图像。
技术实现思路
本专利技术的目的g在至少解决上述的技术问题之一。为此，本专利技术的目的在于提出了一种，该方法能够实现动态场景的高质量捕获和深度信息提取，得到深度估计结果和全清晰图像后可以进行合成光圈、小视角自由视点等应用，容易实现。为达到上述目的，本专利技术的实施例提出了一种，包括以下步骤获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，井根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每ー时刻的全聚焦图像和第二深度图；对所述每ー时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域，根据所述第二深度图获得所述每个顔色分割区域的区域深度图，对每个所述区域深度图进行平面拟合以更新所述第二深度图，并在空间上精化更新后的第二深度图以得到第三深度图，根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像；以及对所述优化的全聚焦图像进行光流估计以得到光流估计结果，根据所述光流估计结果对所述第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。根据本专利技术实施例的，对于更富有挑战的数据(如纹理不丰富的场景)能获得更好的深度估计结果，井能获得全聚焦的图像。同时，在空间和时间上精化深度可以获得更加精确的动态场景深度估计结果和全聚焦图像，井能保证深度图时间上的一致性。此外，得到深度估计结果和全清晰图像后还可以进行合成光圈、小视角自由视点等应用。在本专利技术的一个实施例中，聚焦于深度为s下的特定景深的散焦图像为h (y) = fnefl2 K (y, x)/(x)c/x其中，I为所述全聚焦图像，X和y均表示ニ维像素坐标，Q G R2表示像素坐标X的取值范围，hjy，x)为模糊核，所述hjy，x)可用高斯模型近似 ,,、 I, Ily-x||2K(y^)=~~； 2^0- (y)2 cr (y)，其中，O (y)为对应像素y和深度相关的模糊量，O (y) = y b (y), , Dv.l I I I^(y) = — I ----TT I 2 F V ベ y)，其中，b为所述像素y处的模糊半径，F为焦距，D为光圈直径，V为像距，s为物距，Y为校准參数。此外，对所述第一深度图获取为S = arg min Es = arg min(五ゾ + aEJ)，其中,ぶ为获取的所述第一深度图，Es为深度获取过程中的能量项，a为正则项系数，Ems为正则项，所述正则项使用深度图梯度的LI范数稀疏先验，め=f||V5(y) I Idy，当对于两幅聚焦于不同深度的图像ら、I2时，深度获取过程中的数据项为E/ (5) = [ H(Aa(y)) \ \ I1 (y) -11 (y) 112 ^ + J (I - H(Aa(y))) \ \ I2 (y) -12 (y) 112 dy其中H(0为阶跃函数。在本专利技术的一个实施例中，获得所述初始的全聚焦图像的过程为1 = arg min E1 = arg min(五/ +a Em')其中，/为获得的所述初始的全聚焦图像，Ei为所述初始的全聚焦图像获取过程中的优化能量项，a为所述正则项系数，En/(I)为正则项，所述正则项使用自然图像梯度的LI范数稀疏先验，^CO= |liv/(y川為所述初始的全聚焦图像获取过程中的数据项为EJ(I) =H 丨Zzai (y,+其中，\\为所述散焦图像I:、I2全局不一致的模糊核。在本专利技术的一个实施例中，所述根据初始的全聚焦图像和所述第一深度图进行反馈迭代优化，包括如下步骤将所述全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计，其中，当所述散焦视频序列包括两张散焦图像吋，反馈的能量项为E/(s) =II f K1 (y5 x)/(x) Jx - Z1 (y) 112 +11 j (y, x)/(x) Jx - Z2 (y) 112.对所述反馈能量项、所述深度估计数据项和所述正则项进行优化深度估计，ぞ=arg mjn E = arS mjn(五ノ + aEJ + Pe/)")其中，Ems为所述正则项，E/为所述深度估计数据项，E/为所述反馈能量项。在本专利技术的另ー个实施例中，在空间上精化深度，包括以下步骤对所述每ー时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割；设每个区域分割图〗(X)表示为s(x) = akx+bky+ck = T, 其中，为X的图像齐次坐标，(ak，bk，ck)T为待求的平面參数；对每个所述区域深度图进行平面拟合，得到优化的平面參数(ak% b；, c；)T，根据所述优化的平面參数与所述s(x) = akx+bky+ck = T更新所述第二深度图以获得所述第三深度图；获得空间上精化的第三深度估计结果后，并再次根据所述1 = ar§m/n= argmin(i ；，利用所述散焦图像和所述第三深度图去模糊得到优化的全聚焦图像。在本专利技术的一个实施例中，在时间上精化深度，还包括以下步骤获得在t时刻的所述全聚焦图像为It和所述深度图为st，在t+1时刻的所述全聚焦图像为It+1和所述深度图为st+1 ；对所述t时刻和所述t+1时刻的所述全聚焦图像It和It+1之间进行光流估计以获得所述光流估计的结果Tt, t+1;保持所述深度图St不变,将所述深度图st+1作为初值,通过优化能量项^ = arSin IlH22 +スIl V毛+! Ili更新所述st+1,获得所述时间一致的深度估计结果。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I为根据本专利技术实施例的的流程图；图2为根据本专利技术ー个实施例的的方框图；和图3为根据本专利技术实施例的的进ー步流程图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过參考附图描述的实施例是示例性的，仅用于解本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，林星，索津莉，
申请(专利权)人：清华大学，
类型：发明
国别省市：