一种基于空角一致性光场抠图方法及装置制造方法及图纸

本发明专利技术公开了一种基于空角一致性光场抠图方法及装置，其包括：步骤1，提取光场数据的中心子孔径图像并计算其视差；步骤2，计算中心子孔径图像alpha图；步骤3，通过光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha

【技术实现步骤摘要】
一种基于空角一致性光场抠图方法及装置


[0001]本专利技术涉及光学信息处理
，特别是关于一种基于空角一致性光场抠图方法及装置。

技术介绍

[0002]光场描述了光线在自由空间中的分布，光场数据捕获来自各个方向光线的辐射，记录了光线的空间信息和角度信息和强度信息，光场成像可以捕捉更丰富的视觉信息，弥补传统摄影中丢失的角度信息，为场景理解提供了更强的能力，提高了传统计算机视觉问题的性能。
[0003]一个4D光场数据可由2D子孔径图像阵列表示，因此逐子孔径图像进行2D图像抠图算法一定程度上可以看作实现了4D光场数据的抠图。逐子孔径图像操作的方法没有考虑不同子孔径图像之间的联系，无法保持光场数据的空角一致性，得到的结果难以满足下游技术与应用的要求。并且光场数据尺寸较大，子孔径图像之间存在大量冗余信息，简单的逐子孔径图像处理存在过多冗余计算，效率过低。

技术实现思路

[0004]本专利技术的目的在于提供一种空角一致性光场抠图及其评价指标的方法，能够避免抠图过程中对光场数据空角一致性的破坏，并减少计算冗余。
[0005]为实现上述目的，本专利技术提供一种基于空角一致性光场抠图方法，其包括：
[0006]步骤1，提取光场数据的中心子孔径图像并计算其视差；
[0007]步骤2，计算中心子孔径图像alpha图；
[0008]步骤3，通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u,v
(x,y)；
[0009][0010]式中，为中心视点(u0,v0)下子孔径图像的alpha图，disp(x,y)为中心子孔径图像中像点(x,y)对应的视差，Δu、Δv分别为任意视点(u,v)与中心视点(u0,v0)在u、v方向上的距离。
[0011]进一步地，步骤2中的视差图disp(x,y)的计算公式为式(2)：
[0012]disp(x,y)＝F/Z(x,y)+F
ꢀꢀꢀ
(2)
[0013]式中，F为相机的焦距，Z(x,y)为场景的深度图。
[0014]进一步地，步骤2中的中心子孔径图像alpha图的获取方法具体包括：
[0015]步骤21，将视差图disp(x,y)中任意像素i的置信度q
i
设置为式(3)：
[0016][0017]式中，p
i
为视差图disp(x,y)中任意像素i的视差值，D＝max(disp(x,y))为视差图中的最大值，d＝min(disp(x,y))为视差图中的最小值；
[0018]步骤22，设置置信度阈值t1和t2，当置信度q
i
大于t1时，则该区域属于前景，当置信度q
i
小于t2时，则该区域属于背景，其他区域为三分图中不确定的区域，则获得式(4)描述的三分图：
[0019][0020]步骤23，将所述三分图转化为I1和I2，I1中前景和背景标记处像素为1，其余地方像素值为0，将I1转化为稀疏化对角矩阵即为D
s
，I2中前景标记处像素值为1，其余像素值为0，将其转化为列向量即为b
s
：
[0021][0022][0023]步骤24，通过式(7)对中心子孔径图像的alpha图进行求解：
[0024]α＝λ(L+λ)
‑1b
s
ꢀꢀꢀ
(7)
[0025]式中，λ为标记的权重系数，L为抠图的拉普拉斯矩阵。
[0026]进一步地，所述基于空角一致性光场抠图方法还包括：
[0027]步骤4，对光场抠图的空角一致性进行评价。
[0028]进一步地，步骤4具体通过式(8)提供的在空间域获取的空角一致性评价指标S
‑
cons，对光场alpha图中的空角一致性进行评价：指标S
‑
cons取值范围在(0
‑
1)，指标S
‑
cons越接近1，代表边界区域方差越小，光场数据的一致性越好，指标S
‑
cons越接近0，光场数据的一致性越差；
[0029][0030]式中，N
EPI
为光场alpha图的EPI(对极平面图(Epipolar Plane Image,EPI))的数量，E
j
为对应的第j张EPI，每一张EPI中会有l个边界区域，记为Ω
l
，N
l
为第j张EPI中Ω
l
区域的像素总个数，E
ji
为光场alpha图第j张EPI中第i个像素，为第j张EPI中Ω
l
边界处像素值的均值；
[0031]或者，步骤4具体通过式(9)提供的在频域获取的空角一致性评价指标F
‑
cons，对光场alpha图中的空角一致性进行评价：指标F
‑
cons取值范围在(0
‑
1)，指标F
‑
cons越大，代表支集所占范围越小，光场数据空角一致性越好，反之越差；
[0032][0033]式中：
[0034][0035]式中，L
′
(Ω
u
,Ω
v
,Ω
x
,Ω
y
)为频谱图L(Ω
u
,Ω
v
,Ω
x
,Ω
y
)通过二值化后统计频谱图，ε为一个较小的数，M为频谱图整体像素的个数，Ω
u
、Ω
v
、Ω
x
、Ω
y
分别为光场频谱图的坐标轴。
[0036]本专利技术还提供基于空角一致性光场抠图装置，其包括：
[0037]中心子孔径图像提取单元，其用于提取光场数据的中心子孔径图像；
[0038]计算单元，其用于计算光场数据的中心子孔径图像中像素的视差和中心子孔径图像alpha图；
[0039]光场抠图单元，其用于通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u,v
(x,y)；
[0040][0041]式中，为中心视点(u0,v0)下子孔径图像的alpha图，disp(c,y)为中心子孔径图像中像点(x,y)对应的视差，Δu、Δv分别为任意视点(u,v)与中心视点(u0,v0)在u、v方向上的距离。
[0042]进一步地，计算单元包括：
[0043]视差计算子单元，其用于根据光场数据的深度图，通过式(2)计算视差图disp(x,y)：
[0044]disp(x,y)＝F/Z(x,y)+F
ꢀꢀꢀ
(2)
[0045]式中，F为相机的焦距，Z(x,y)为场景的深度图。
[0046]进一步地，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空角一致性光场抠图方法，其特征在于，包括：步骤1，提取光场数据的中心子孔径图像并计算其视差；步骤2，计算中心子孔径图像alpha图；步骤3，通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u，v
(x，y)；式中，为中心视点(u0，v0)下子孔径图像的alpha图，disp(x，y)为中心子孔径图像中像点(x，y)对应的视差，Δu、Δv分别为任意视点(u，v)与中心视点(u0，v0)在u、v方向上的距离。2.如权利要求1所述的基于空角一致性光场抠图方法，其特征在于，步骤2中的视差图disp(x，y)的计算公式为式(2)：disp(x，y)＝F/Z(x，y)+F
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中，F为相机的焦距，Z(x，y)为场景的深度图。3.如权利要求1或2所述的基于空角一致性光场抠图方法，其特征在于，步骤2中的中心子孔径图像alpha图的获取方法具体包括：步骤21，将视差图disp(x，y)中任意像素i的置信度q
i
设置为式(3)：式中，p
i
为视差图disp(x，y)中任意像素i的视差值，D＝max(disp(x，y))为视差图中的最大值，d＝min(disp(x，y))为视差图中的最小值；步骤22，设置置信度阈值t1和t2，当置信度q
i
大于t1时，则该区域属于前景，当置信度q
i
小于t2时，则该区域属于背景，其他区域为三分图中不确定的区域，则获得式(4)描述的三分图：步骤23，将所述三分图转化为I1和I2，I1中前景和背景标记处像素为1，其余地方像素值为0，将I1转化为稀疏化对角矩阵即为D
s
，I2中前景标记处像素值为1，其余像素值为0，将其转化为列向量即为b
s
：：步骤24，通过式(7)对中心子孔径图像的alpha图进行求解：α＝λ(L+λ)
‑1b
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)式中，λ为标记的权重系数，L为抠图的拉普拉斯矩阵。4.如权利要求1
‑
3中任一项所述的基于空角一致性光场抠图方法，其特征在于，还包
括：步骤4，对光场抠图的空角一致性进行评价。5.如权利要求4所述的基于空角一致性光场抠图方法，其特征在于，步骤4具体通过式(8)提供的在空间域获取的空角一致性评价指标S
‑
cons，对光场alpha图中的空角一致性进行评价：指标S
‑
cons取值范围在(0
‑
1)，指标S
‑
cons越接近1，代表边界区域方差越小，光场数据的一致性越好，指标S
‑
cons越接近0，光场数据的一致性越差；式中，N
EPI
为光场alpha图的EPI(对极平面图(Epipolar Plane Image，EPI))的数量，E
j
为对应的第j张EPI，每一张EPI中会有l个边界区域，记为Ω
l
，N
l
为第j张EPI中Ω
l
区域的像素总个数，E
ji
为光场alpha图第j张EPI中第i个像素，为第j张EPI中Ω
l
边界处像素值的均值；或者，步骤4具体通过式(9)提供的在频域获取的空角一致性评价指标F
‑
cons，对光场alpha图中的空角一致性进行评价：指标F
‑
cons取值范围在(0
‑
1)，指标F
‑
cons越大，代表支集所占范围越小，光场数据空角一致性越好，反之越差；式中：式中，L
′
(Ω
u
，Ω
v
，Ω
x
，Ω
y
)为频谱图L(Ω
u
，Ω
v
，Ω
x
，Ω
y
)通过二值化后统计频谱图，ε为一个较小的数，M为频谱图整体像素的个数，Ω
u
、Ω
v
、Ω
x
、Ω
y
分别为光场频谱图的坐标轴。6.一种基于空角一致性光场抠图装置，其特征在于，包括：中心子孔径图像提取单元，其用于提取光场数据的中心子孔径图像；计算单元，其用于计算光场数据的...

【专利技术属性】
技术研发人员：何迪，刘畅，刘天艺，邱钧，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：