一种基于聚焦图像的深度估计方法及图像处理装置制造方法及图纸

本申请涉及一种基于聚焦图像的深度估计方法及图像处理装置，其中深度估计方法包括：获取图像序列，对图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；构建各个超像素区域的聚焦评估曲线；根据聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。一方面，技术方案采用超像素分割，分割出来的超像素区域的分割界限与现实物体发生剧烈深度变化的区域能够重合，这样可以避免现有技术中实际深度变化较大区域被过度平滑的问题；另一方面，技术方案构建形成的聚焦评估曲线具有陡峭区宽度宽、清晰度比率高的优点，能够保证深度估计的准确性和对噪声的抗干扰能力。力。力。

【技术实现步骤摘要】
一种基于聚焦图像的深度估计方法及图像处理装置


[0001]本申请涉及图像处理
，具体涉及一种基于聚焦图像的深度估计方法及图像处理装置。

技术介绍

[0002]三维深度估计对计算机视觉应用至关重要，通过二维图像进行三维深度估计作为计算机视觉领域中的一项重要的技术已经广泛应用于测绘、自动化制造、生物医学、自动驾驶等领域。
[0003]为了实现三维深度估计，已有技术人员提出了聚焦测距(depth from focus，简称DFF)的方法，该方法的一般处理过程可以概括为：首先通过改变相机焦距等参数对物体进行深度聚焦来获取多幅聚焦图像，根据某种聚焦函数计算图像中像素点的聚焦函数曲线，然后得到图像中每个像素点的深度估计结果；在某些方法中，还进一步提出使用线性加权对聚焦函数进行改进以弥补一般方法聚焦估计不够准确的问题。
[0004]然而，现有技术中使用的三维深度估计还存在以下问题：(1)通过改变相机焦距进行图像采集无法避免图像序列的基准空间不一致的情况发生，哪怕使用远心镜头也会导致一定的测量误差；(2)物体表面深度发生剧烈变化的成像区域在聚焦函数计算过程中很容易被过度平滑，造成表面深度估计不够精准；(3)针对图像上每个像素点进行聚焦函数曲线计算将导致算法效率低下，不利于实际应用中的高效计算要求；(4)在利用聚焦函数曲线计算深度估计结果的时候对噪声干扰比较敏感，严重影响三维深度估计的结果。

技术实现思路

[0005]本申请主要解决的技术问题是：如何提高三维深度估计的准确性。为解决上述技术问题，本申请提供一种基于聚焦图像的深度估计方法及图像处理装置。
[0006]根据第一方面，一种实施例中提供一种基于聚焦图像的深度估计方法，其包括：获取图像序列，所述图像序列包括多幅不同焦距深度的聚焦图像；对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；构建各个所述超像素区域的聚焦评估曲线；根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。
[0007]所述对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域，包括：通过像素梯度索引将所述图像序列中的各幅聚焦图像形成为一幅合成图像M
merge
；根据预设的间距d对所述合成图像进行种子点初始化，得到多个第一种子点，选择每个所述第一种子点的邻域范围内像素梯度最小的像素点为第二种子点；
[0008]执行超像素聚类步骤：对于所述合成图像中任意一个像素点p，计算像素点p与周围各个第二种子点s的差异性度量值，将像素点p归属到最小差异性度量值对应的第二种子点；所述差异性度量值表示为
[0009][0010]其中，sqrt()为平方根计算函数，(x
p
,y
p
)为像素点p的坐标，(x
s
,y
s
)为第二种子点s的坐标，M
merge
表示所述合成图像，I表示所述合成图像对应的索引图像，N为所述图像序列中的图像数目；根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，利用各个所述第二种子点区域对所述合成图像进行超像素分割，构成多个超像素区域。
[0011]在对所述图像序列中的各幅聚焦图像进行超像素分割之前还包括图像配准步骤，所述图像配准步骤包括：在图像序列中选择一幅聚焦图像作为基准图像，并选择其余任意一幅聚焦图像作为待配准图像，计算所述待配准图像相对于所述基准图像的导数F
x
、F
y
、F
t
，其中，x、y、t分别是关于X轴、Y轴、时间T的求导参数；构建约束方程F
x
u+F
y
v+F
t
＝0，并将X轴上的运动向量u＝x
j
‑
x
i
和Y轴上的运动向量v＝y
j
‑
y
i
代入预设的空间变换关系得到
[0012][0013]其中所述空间变换关系表示为
[0014][0015]计算得到变换参数a1、
…
、a6并对所述空间变换关系进行配置，依据配置完成的空间变换关系对所述待配准图像进行空间变换，以将图像序列{M
i
}中的各幅聚焦图像转换到同一个基准空间。
[0016]所述构建各个所述超像素区域的聚焦评估曲线，包括：对各个所述超像素区域分别进行随机采样，得到多个采样点；建立聚焦评估函数模型且表示为
[0017]F(x,y)＝w1f1(x,y)+w2f2(x,y)+w3f3(x,y)；
[0018]其中，f1()、f2()、f3()分别为不同类型的聚焦函数，(x,y)为任意采样点的坐标，w1、w2、w3均为待配置的权重系数；利用各个采样点分别参与所述聚焦评估函数模型的计算，构建每个采样点的聚焦评估曲线且表示为{F
i
(x,y)}(i＝0,1,
…
,N)；针对已构建的每个采样点的聚焦评估曲线{F
i
(x,y)}，设置所述聚焦评估函数模型的损失函数为
[0019][0020]其中，F
min
(x,y)＝min{F
i
(x,y)}、F
max
(x,y)＝max{F
i
(x,y)}分别为采样点(x,y)处聚焦评估曲线的最大值和最小值，W
peak
为敏感区域的宽度；对所述聚焦评估函数模型进行训练，在对应的损失函数收敛时计算得到权重系数w1、w2、w3，利用计算得到的权重系数配置所述聚焦评估函数模型并得到每个采样点的聚焦评估曲线。
[0021]所述根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像，包括：对于所述超像素区域内的每个像素点(x,y)，计算像素点(x,y)在聚焦评估曲线{F
i
(x,y)}(i＝0,1,
…
,N
‑
1)中的极大值F
max
(x,y)，确定极大值对应的聚焦图像在图像序列
{M
i
}(i＝0,1
…
N
‑
1)中的索引值k；通过以索引值k为中心的三个点(k
‑
1,F
k
‑1(x,y))、(k,F
k
(x,y))、(k+1,F
k+1
(x,y))拟合二次曲线，以及计算二次曲线在[k
‑
1,k+1]内的极大值位置k
max
(x,y)，利用极大值的位置k
max
(x,y)确定像素点(x,y)的深度估计值D(x,y)＝255
×
k
max
(x,y)/N；获取所述超像素区域内各个像素点的深度估计值并形成深度估计图像。
[0022]得到所述深度估计图像之后包括图像优化步骤，所述图像优化步骤包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚焦图像的深度估计方法，其特征在于，包括：获取图像序列，所述图像序列包括多幅不同焦距深度的聚焦图像；对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；构建各个所述超像素区域的聚焦评估曲线；根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。2.如权利要求1所述的深度估计方法，其特征在于，对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域，包括：通过像素梯度索引将所述图像序列中的各幅聚焦图像形成为一幅合成图像M
merge
；根据预设的间距d对所述合成图像进行种子点初始化，得到多个第一种子点，选择每个所述第一种子点的邻域范围内像素梯度最小的像素点为第二种子点；执行超像素聚类步骤：对于所述合成图像中任意一个像素点p，计算像素点p与周围各个第二种子点s的差异性度量值，将像素点p归属到最小差异性度量值对应的第二种子点；所述差异性度量值表示为其中，sqrt()为平方根计算函数，(x
p
,y
p
)为像素点p的坐标，(x
s
,y
s
)为第二种子点s的坐标，M
merge
表示所述合成图像，I表示所述合成图像对应的索引图像，N为所述图像序列中的图像数目；根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，利用各个所述第二种子点区域对所述合成图像进行超像素分割，构成多个超像素区域。3.如权利要求2所述的深度估计方法，其特征在于，所述通过像素梯度索引将所述图像序列中的各幅聚焦图像形成为一幅合成图像，包括：对于图像序列{M
i
}(i＝0,1
…
N
‑
1)，计算每幅聚焦图像M
i
的像素梯度，得到对应的梯度图像并构建梯度图像序列在梯度图像序列中，比较各梯度图像并取得每个像素坐标处最大像素梯度对应的聚焦图像在图像序列{M
i
}中的索引值，构建索引图像I；根据索引图像I中的每个索引值获得图像序列{M
i
}中对应聚焦图像在对应像素坐标处的像素值，通过像素赋值构成合成图像M
merge
且赋值过程表示为M
merge
(i,j)＝M
I(i,j)
(i,j)，其中(i,j)为像素坐标。4.如权利要求2所述的深度估计方法，其特征在于，所述根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，包括：根据归属到各个第二种子点的像素点重新计算各个第二种子点的位置坐标；每个第二种子点的位置坐标表示为其中，(x
i
,y
i
)为归属于第二种子点的像素点的坐标，n为归属于第二种子点的像素点的数目，(x
′
,y
′
)为重新计算的第二种子点的位置坐标；
利用重新计算的第二种子点的位置坐标对所述合成图像再次执行超像素聚类步骤，直至重新计算的每个第二种子点的位置变化达到收敛，或者计算达到预设的次数。5.如权利要求1所述的深度估计方法，其特征在于，在对所述图像序列中的各幅聚焦图像进行超像素分割之前还包括图像配准步骤，所述图像配准步骤包括：在图像序列中选择一幅聚焦图像作为基准图像，并选择其余任意一幅聚焦图像作为待配准图像，计算所述待配准图像相对于所述基准图像的导数F
x
、F
y
、F
t
，其中，x、y、t分别是关于X轴、Y轴、时间T的求导参数；构建约束方程F
x
u+F
y
v+F
t
＝0，并将X轴上的运动向量u＝x
j
‑
x
i
和Y轴上的运动向量v＝y
j
‑
y
i
代入预设的空间变换关系得到其中所述空间变换关系表示为计算得到变换参数a1、
…
、a6并对所述空间变换关系进行配置，依据配置完成的空间变换关系对所述待配准图像进行空间变换，以将图像序列{M
i...

【专利技术属性】
技术研发人员：黄淦，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：