基于光场图像角度域像素的深度估计方法及系统技术方案

本发明专利技术提供一种基于光场图像角度域像素的深度估计方法，包括：A1.输入光场图像数据进行重聚焦；提取基于颜色通道的角度域像素强度一致性的深度张量，根据该深度张量进行深度估计，获得初始深度图像Draw；A2.对所述初始深度图像Draw进行置信度分析：通过分析归一化的角度域像素一致性变量图像的最低点邻域内的方差，根据阈值，判定置信区域Ω和非置信区域；A3.根据置信区域Ω，建立优化模型，对非置信区域进行优化，填充非置信点，得到增强的深度图像Dopt。该方法使图像纹理平滑区域的深度更加准确，深度过渡感增强，实际场景物体的边界更加清晰，从而使深度图像得到增强。

【技术实现步骤摘要】
基于光场图像角度域像素的深度估计方法及系统
本专利技术涉及计算机视觉与数字图像处理领域，特别涉及一种基于光场图像角度域像素的深度估计方法及系统。
技术介绍
光场可以记录环境中所有的光线信息，这一概念早在二十世纪四十年代就被提出。自此以后人们开始研究光场成像原理并不断地丰富光场的内涵。基于光场成像理论，科研人员开始研制可以记录光场的相机，光场相机可以记录来自实际场景中光线的方向及强度，近些年来专利技术的光场相机在工业及商业界均取得了不错的效果。现有深度估计的策略主流算法是立体匹配算法，该算法主要思想是利用普通相机采集两个视角的图像，然后分析两个视角之间的相关性构造损失函数，通过最小化损失函数来实现深度的估计；这种方法对于光场相机深度估计存在一定的局限性，由于光场相机的基线太短，构造的损失函数不够精确，会产生一定的块效应，从而使得误差会过大，无法满足深度估计的精度要求。另外一种方法是利用结合分析光场子孔径图像之间的散焦量以及匹配度来弥补单纯的立体匹配的误差，这种方式在一定程度上提高了深度图像的精确度，但是不能准确估计纹理稀疏处的深度。还有一种提取方式：信息熵；这种度量手段可以有效的抑制噪声的影响以及可以很好地处理遮挡的影响，但是这种方式的计算消耗过大。
技术实现思路
为解决上述问题，本专利技术提出一种基于光场图像角度域像素的深度估计方法及系统，该方法使图像纹理平滑区域的深度更加准确，深度过渡感增强，实际场景物体的边界更加清晰，从而使深度图像得到增强。本专利技术提供一种基于光场图像角度域像素的深度估计方法，其特征在于，包括如下步骤：A1.输入光场图像数据进行重聚焦，得到多个不同聚焦平面的重聚焦光场图像；根据所述多个重聚焦光场图像，提取基于颜色通道的角度域像素强度一致性的深度张量；根据该深度张量，沿着深度层次的方向进行深度估计，获得初始深度图像Draw；A2.对所述初始深度图像Draw进行置信度分析：通过分析归一化的角度域像素一致性变量图像的最低点邻域内的方差，方差大于一定阈值，则判定为置信点，从而得到相应的置信区域Ω；方差小于该阈值，则判定为非置信点，从而得到相应的非置信区域；A3.根据置信区域Ω，建立优化模型，对非置信区域进行优化，填充非置信点，得到增强的深度图像Dopt。优选地，所述步骤A1中的深度张量包括以强度差值为基础变量，表达为如下公式：C(p,α)＝βRmax(p,α)+(1-α)Ravg(p,α)，C(p,α)表示角度域像素p在重聚焦平面α的深度张量；β表示加权系数，0≤β≤1；Rmax表示R，G，B三个颜色通道强度的最大值，Rmax(p,α)＝max(RR(p,α),RG(p,α),RB(p,α))；Ravg表示R，G，B三个颜色通道强度的平方平均值，其中，Ri(p,α)＝max(Iq)-min(Iq)，i表示R，G，B，q∈A(p,α)，q表示位于角度域A(p,α)内的像素。优选地，所述步骤A1中的深度张量包括以强度信息熵为基础变量，表达为如下公式：C(p,α)＝βRmax(p,α)+(1-α)Ravg(p,α)，C(p,α)表示角度域像素p在重聚焦平面α的深度张量；β表示加权系数，0≤β≤1；Rmax表示R，G，B三个颜色通道强度的最大值，Rmax(p,α)＝max(RR(p,α),RG(p,α),RB(p,α))；Ravg表示R，G，B三个颜色通道强度的平方平均值，其中，Ri(p,α)＝-∑jh(j)log(h(j))，i表示R，G，B，h(j)表示强度j在角度域A(p,α)中出现的概率。优选地，所述步骤A1中的深度张量包括以强度匹配度为基础变量，表达为如下公式：C(p,α)＝βRmax(p,α)+(1-α)Ravg(p,α)，C(p,α)表示角度域像素p在重聚焦平面α的深度张量；β表示加权系数，0≤β≤1；Rmax表示R，G，B三个颜色通道强度的最大值，Rmax(p,α)＝max(RR(p,α),RG(p,α),RB(p,α))；Ravg表示R，G，B三个颜色通道强度的平方平均值，其中，i表示R，G，B，|WD|表示当前像素的领域窗口大小，表示角度域像素强度的均值，Δp表示拉氏算子。优选地，所述步骤A1中初始深度图像Draw表达为如下公式：Draw(p)＝∑pDraw(p)，其中，优选地，所述步骤A2中的置信区域Ω表达为如下公式：Ω＝{p|var(R(r))|r∈M(p)>τreject}，其中，var(*)表示方差运算，M(p)表示像素点p的邻域，M(p)＝[Draw(p)-Δ,Draw(p)+Δ]，Δ表示半邻域宽；τreject表示阈值。优选地，所述步骤A3的优化模型为像素点的深度值、梯度和平滑度的优化模型。进一步地优选，所述步骤A3的优化模型为：Dopt＝argminJ1(D)+λJ2(D)+γJ3(D)。其中，J1(D)表示深度图像中像素r与其邻域内像素s的深度值加权平局的误差函数，D表示最终得到的深度图，s表示位于像素点r邻域N(r)内的像素点，wrs表示像素s与r之间的权重系数，具体的形式为：其中Ic表示中心孔径图像。J2(D)表示深度图像中像素r与置信深度区域的图像Ic的梯度保持误差函数，gD和分别表示D和Ic的梯度。J3(D)表示深度图像中非置信深度区域的平滑度，ΔD表示D的二阶导数；λ和γ为比例系数。优选地，在所述步骤A3之后还包括步骤A4：使用加权中值滤波对Dopt再进行优化得到Dfinal。本专利技术还提供一种基于光场图像角度域像素的深度估计系统，包括一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上所述的方法。本专利技术的有益效果：通过对光场图像重聚焦，并提取基于颜色通道的角度域像素强度一致性的深度张量，根据该张量沿着深度层次的方向进行深度估计，获得初始深度估计图像；并对初始深度图像进行置信度分析，建立优化模型，对非置信区域进行优化，从而使得图像纹理平滑区域的深度准确，实际场景物体的边界清晰，进而使深度图像得到增强。在进一步的优选方案中还能获得更多的优点：通过构造几种有效的衡量光场图像角度域像素强度一致性的基础变量，如：强度差值、强度信息熵、强度匹配度，能够很好地估计深度，深度估计更准确；通过分析CMR曲线最低点邻域内的方差能够有效地得到包含最终置信深度点的置信区域Ω；依据置信区域Ω，建立置信深度点扩散模型，对非置信深度区域进行优化，填充非置信深度点，二阶导数项的增加使得图像纹理平滑区域的深度更加准确，一阶梯度项使得深度过渡感增强，实际场景物体的边界更加清晰。附图说明图1为本专利技术实施例1深度估计方法的流程示意图。图2为本专利技术实施例1重聚焦光场图像示意图。图3为本专利技术实施例1光场图像与角度域像素的关系示意图。图4为本专利技术实施例1光场图像与中心视角图像的关系示意图。图5a为本专利技术实施例1基于强度一致性深度张量的损失函数曲线及置信度分析示意图。图5b为本专利技术实施例2基于强度匹配度深度张量的损失函数曲线及置信度分析示意图。图5c为本专利技术实施例3基于强度信息熵深度张量的损失函数曲线及置信度分析示意图。具体实施方式下面结合具体实施方式并对照附图对本专利技术作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围本文档来自技高网...

【技术保护点】
一种基于光场图像角度域像素的深度估计方法，其特征在于，包括如下步骤：A1.输入光场图像数据进行重聚焦，得到多个不同聚焦平面的重聚焦光场图像；根据所述多个重聚焦光场图像，提取基于颜色通道的角度域像素强度一致性的深度张量；根据该深度张量，沿着深度层次的方向进行深度估计，获得初始深度图像Draw；A2.对所述初始深度图像Draw进行置信度分析：通过分析归一化的角度域像素一致性变量图像的最低点邻域内的方差，方差大于一定阈值，则判定为置信点，从而得到相应的置信区域Ω；方差小于该阈值，则判定为非置信点，从而得到相应的非置信区域；A3.根据置信区域Ω，建立优化模型，对非置信区域进行优化，填充非置信点，得到增强的深度图像Dopt。

【技术特征摘要】
1.一种基于光场图像角度域像素的深度估计方法，其特征在于，包括如下步骤：A1.输入光场图像数据进行重聚焦，得到多个不同聚焦平面的重聚焦光场图像；根据所述多个重聚焦光场图像，提取基于颜色通道的角度域像素强度一致性的深度张量；根据该深度张量，沿着深度层次的方向进行深度估计，获得初始深度图像Draw；A2.对所述初始深度图像Draw进行置信度分析：通过分析归一化的角度域像素一致性变量图像的最低点邻域内的方差，方差大于一定阈值，则判定为置信点，从而得到相应的置信区域Ω；方差小于该阈值，则判定为非置信点，从而得到相应的非置信区域；A3.根据置信区域Ω，建立优化模型，对非置信区域进行优化，填充非置信点，得到增强的深度图像Dopt。2.如权利要求1所述的深度估计方法，其特征在于，所述步骤A1中的深度张量包括以强度差值为基础变量，表达为如下公式：C(p,α)＝βRmax(p,α)+(1-α)Ravg(p,α)，C(p,α)表示角度域像素p在重聚焦平面α的深度张量；β表示加权系数，0≤β≤1；Rmax表示R，G，B三个颜色通道强度的最大值，Rmax(p,α)＝max(RR(p,α),RG(p,α),RB(p,α))；Ravg表示R，G，B三个颜色通道强度的平方平均值，其中，Ri(p,α)＝max(Iq)-min(Iq)，i表示R，G，B，q∈A(p,α)，q表示位于角度域A(p,α)内的像素。3.如权利要求1所述的深度估计方法，其特征在于，所述步骤A1中的深度张量包括以强度信息熵为基础变量，表达为如下公式：C(p,α)＝βRmax(p,α)+(1-α)Ravg(p,α)，C(p,α)表示角度域像素p在重聚焦平面α的深度张量；β表示加权系数，0≤β≤1；Rmax表示R，G，B三个颜色通道强度的最大值，Rmax(p,α)＝max(RR(p,α),RG(p,α),RB(p,α))；Ravg表示R，G，B三个颜色通道强度的平方平均值，其中，Ri(p,α)＝-∑jh(j)log(h(j))，i表示R，G，B，h(j)表示强度j在角度域A(p,α)中出现的概率。4.如权利要求1所述的深度估计方法，其特征在于，所述步骤A1中的深度张量包括以强度匹配度为基础变量，表达为如下公...

【专利技术属性】
技术研发人员：金欣，秦延文，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44