一种基于重聚焦极线图邻域分布的深度估计方法和装置制造方法及图纸

一种基于重聚焦极线图邻域分布的深度估计方法和装置，所述方法包括：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback‑Leibler散度分析两侧的直方图分布；分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。本方法实现在未显示定义遮挡模型的前提下，保证整张深度图质量得到提高。

A depth estimation method and device based on the neighborhood distribution of the refocused polar graph

【技术实现步骤摘要】
一种基于重聚焦极线图邻域分布的深度估计方法和装置
本专利技术涉及计算机视觉与数字图像处理领域，特别是一种基于重聚焦极线图邻域分布的深度估计方法和装置。
技术介绍
近些年来，如何让计算机感知世界万物，从而真实地重构出客观世界的场景，是计算机视觉领域中重要且具有挑战性的研究方向之一。光场数据可同时记录四维光场，实现多视角转换、先拍照后对焦等功能，在计算机视觉领域展现出无与伦比的优势，尤其丰富了该领域中深度估计的算法，提高了效率，对于基于深度的三维重建等应用具有重大意义。光场数据有多种存储格式，极线图(EpipolarImage,EPI)是其中一种，在笛卡尔坐标系中，两个坐标轴中的一个代表空间信息，另一个代表角度信息，因此，3D空间中的点对应EPI中的一条线，当物体处在不同深度时，空间位置随视角变化的变化率不同，该线斜率就对应于该空间点的深度。当物体准确聚焦时，其空间信息不随视角变化而变化，因此表现形式为垂直于空间坐标的直线，两侧的邻域分布差异较大。当物体被遮挡时，背景物体的极线被前景物体截断，故而不能表现为完整的直线形式，但此时截断极线两侧的像素分布依然能保持较大差异。
技术实现思路
本专利技术的主要目的在于克服上述技术缺陷中的至少一种，提供一种基于重聚焦极线图邻域分布的深度估计方法和装置。为实现上述目的，本专利技术采用以下技术方案：一种基于重聚焦极线图邻域分布的深度估计方法，所述方法包括如下步骤：A1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；A2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度KLD分析两侧的直方图分布；A3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；A4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。进一步地：步骤A1中，首先进行光场重聚焦操作，生成一系列聚焦在不同深度的光场图Lα(x,y,u,v),(α＝1,2,3,…)，其中x,y为空间坐标，u,v为角度坐标,之后通过固定每张光场图竖直方向的空间坐标y和角度坐标v获得水平极线图(x-u)EPI，综合所有的深度层上的极线图生成水平极线图栈((x-u)EPI栈)，并以同样的方法生成竖直极线图栈((y-v)EPI栈)。步骤A2中，对于每个像素在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度(K-L散度)分析两侧的直方图分布；在(x-u)EPI栈上，首先将定义为:其中和为在EPI竖直两侧对应的强度值为i的像素出现概率；代表左侧像素对右侧像素的K-L散度，计算方式与其相同，代表右侧像素对左侧像素的K-L散度；进而，像素p(p＝(x,y))水平方向的深度张量Dh定义为:像素p竖直方向的深度张量Dv以同样的方式在竖直(y-v)EPI栈中计算，代表上侧像素对下侧像素的K-L散度，代表下侧像素对上侧像素的K-L散度。像素p(p＝(x,y))竖直方向的深度张量Dv定义为:水平或竖直张量的初始深度图通过以下方式获得：其中*可选择性地代表h或v，即竖直或水平方向。步骤A3中，对竖直和水平重聚焦EPI中提取的张量进行分析，从而得到每个结果的置信度，对于从竖直和水平张量得到的深度图，将其通过权重融合。所述步骤A3中，KLD曲线波峰附近变化剧烈的像素点，认定所得深度值置信度更高，反之亦然；其中，通过方差作为衡量变化是否剧烈的指标，置信度c*定义为:c*(p)＝var(D*e(p))|e∈H(α(p)),H(α(p))＝[α*(p)-δ,α*(p)+δ],(5)其中*可选择性地代表h或v，var(·)代表计算方差的操作，H(α(p))代表在深度层α维度上，初始深度值α*(p)周围的邻域中张量数值，δ即为邻域宽度。步骤A5中，使用多标签优化模型进行深度值的迭代传递，其中，全局优化模型定义如下：其中αh(p)，αv(p)分别代表从竖直和水平张量中计算求得的初始深度图，gα(p)代表最终深度图中的梯度，代表中心子孔径图像中的梯度，λ1和λ2分别为控制最终精细化深度图的连续性和平滑性的约束；通过最小化方程(6),得到最终深度图αfinal。一种基于重聚焦极线图邻域分布的深度估计装置，包括至少一个存储器以及至少一个处理器；所述存储器，存储有至少一个可执行程序；所述可执行程序在由所述处理器执行时，实现所述的方法。本专利技术具有如下有益效果：本专利技术提出了一种基于重聚焦极线图邻域分布的深度估计方法装置，本专利技术充分利用光场数据结构特性，从一系列重聚焦EPI图中提取与聚焦相关的张量，分析其聚焦程度，且在没有显式定义遮挡模型的情况下，很好地保留遮挡边界，获得细节丰富、边界清晰的深度图。本专利技术深入分析重聚焦特点和极线图结构，最终将深度估计问题转化成为一个带有极线约束的全局优化问题。本专利技术综合散焦分析法与极线图法，首先对光场图像进行数字重聚焦，进而提取重聚焦图像中的极线图，通过邻域像素分布分析其是否为垂直空间坐标轴的直线，并选择能够准确描述该特点的深度线索KLD，并定义代价方程，通过最值化代价方程的形式来获取深度图，可获取准确性与一致性高、遮挡边缘锐利清晰的结果。本方法在未显示定义遮挡模型的前提下，保证整张深度图质量得到提高。附图说明图1为本专利技术一种实施例的基于重聚焦极线图邻域分布的深度估计方法的流程图。具体实施方式以下对本专利技术的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。参阅图1，本专利技术实施例提出一种基于重聚焦极线图邻域分布的深度估计方法，所述方法包括如下步骤：A1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线图(Epipolarimage,EPI)，即水平重聚焦极线图栈和竖直重聚焦极线图栈；A2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度(KLD)分析两侧的直方图分布；A3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到高质量的深度图；A4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。所述步骤A2、A3、A4体现的深度图像估计过程，均依赖于步骤A1中竖直和水平重聚焦EPI图的提取。在优选实施例中，步骤A1中，首先进行光场重聚焦操作，生成一系列聚焦在不同深度的光场图Lα(x,y,u,v),(α＝1,2,3,…)，其中x,y为空间坐标，u,v为角度坐标。之后通本文档来自技高网...

【技术保护点】
1.一种基于重聚焦极线图邻域分布的深度估计方法，其特征在于，所述方法包括如下步骤：/nA1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；/nA2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度KLD分析两侧的直方图分布；/nA3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；/nA4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。/n

【技术特征摘要】
1.一种基于重聚焦极线图邻域分布的深度估计方法，其特征在于，所述方法包括如下步骤：
A1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；
A2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度KLD分析两侧的直方图分布；
A3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；
A4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。


2.如权利要求1所述的方法，其特征在于，步骤A1中，首先进行光场重聚焦操作，生成一系列聚焦在不同深度的光场图Lα(x,y,u,v),(α＝1,2,3,…)，其中x,y为空间坐标，u,v为角度坐标，之后通过固定每张光场图竖直方向的空间坐标y和角度坐标v获得水平极线图(x-u)EPI，综合所有的深度层上的极线图生成水平极线图栈即(x-u)EPI栈，并以同样的方法生成竖直极线图栈即(y-v)EPI栈。


3.如权利要求1或2所述的方法，其特征在于，步骤A2中，对于每个像素在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度即K-L散度分析两侧的直方图分布；
在(x-u)EPI栈上，首先将定义为:



其中和为EPI竖直两侧对应的强度值为i的像素出现概率；代表左侧像素对右侧像素的K-L散度，计算方式与其相同，代表右侧像素对左侧像素的K-L散度；进而，像素p(p＝(x,y))水平方向的深度张量Dh定义为:



像素p竖直方向的深度张量Dv以同样的方式在竖直(y-v)EPI栈中计算，代表上侧像素对下侧像素的...

【专利技术属性】
技术研发人员：金欣，李俊科，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44