基于光场的反射消除制造技术

一种将透射层与反射层分离的光场图像处理方法。该方法包括：在具有不同偏振角度的多个视角下拍摄多幅视角图像；利用SIFT流，获得第一视角图像的初始视差估算结果，并将第一视角图像变形至参考视角图像；以采用交替方向最小化(ADM)法的增强拉格朗日乘子(ALM)，对含透射层和次级层的目标函数进行优化；更新第一视角图像的视差估算结果；重复目标函数优化和视差估算结果更新步骤，直至相继两次迭代之间的目标函数变化量低于阈值；以及利用第一视角图像的视差估算结果，进行透射层与次级层的分离。

【技术实现步骤摘要】
【国外来华专利技术】基于光场的反射消除
本专利技术涉及图像处理，尤其涉及一种基于光场的图像处理方法。
技术介绍
目标场景常常位于反射层或透光层的背面。典型地，例如盖在玻璃下的相片，以及被纱帘遮挡的场景。在此类情况中，图像一般可建模为含目标场景的透射层与含反射物或透光物的次级层的线性组合。图像可由光场相机拍摄，其中，输入量为各个不同视角下的光场图像，中心视角图像通常称为参考视角图像。为了获得更为准确的场景图像，往往希望将透射层与反射层或透光层分离。其中的一种方法为在光场内的相机中添加具有各种不同偏振角度的偏振片。现实生活中的大部分光为非偏振光，而且当此类光在界面处发生反射后，其偏振状态将变得与透射部分的偏振状态不同。通过采集反射层的不同部分，可有助于实现透射层的分离。在一种针对参考视角图像的层分离方法中，对其他视角图像中的冗余信息加以使用。为了将所有视角图像下的场景外观考虑在内，先估算透射层的视差图，然后利用该图将所有光场视角图像与参考视角图像对齐，以促进层分离。其中，视差图估算和层分离步骤均为迭代步骤。在现有技术中，分离质量严重依赖于流的初始化。如此，由于初始视差估算可能存在错误，因此无法实现层分离的总体质量优化。
技术实现思路
为了解决现有技术中的问题，本专利技术实施方式提供一种将透射层与反射层分离的光场图像处理方法。根据本专利技术一种实施方式，该方法包括：在具有不同偏振角度的多个视角下拍摄多幅视角图像；利用SIFT流，获得第一视角图像的初始视差估算结果，并将第一视角图像变形至参考视角图像；以采用交替方向最小化(ADM)法的增强拉格朗日乘子(ALM)，对含透射层和次级层的目标函数进行优化；更新第一视角图像的视差估算结果；重复目标函数优化和视差估算结果更新步骤，直至相继两次迭代之间的目标函数变化量低于阈值；以及利用第一视角图像的视差估算结果，进行透射层与次级层的分离。优选地，所述透射层为低秩层。优选地，所述次级层为稀疏层。优选地，所述透射层和次级层为独立层。优选地，所述透射层和次级层的梯度为稀疏梯度。优选地，该方法还包括：计算参考视角图像的理想偏振角度。优选地，该方法还包括：将所述理想偏振角度设为参考视角图像的偏振角度。优选地，所述多幅视角图像为光场视频的一部分。附图说明为了更好地说明本专利技术实施方式的技术特征，以下将结合附图，简要描述本专利技术的各种实施方式。图1为根据本专利技术一种实施方式将透射层与反射层分离的光场图像处理方法。图2为根据本专利技术另一实施方式添加至光场相机中的偏振片的偏振角度例示示意图。图3所示为根据本专利技术又一实施方式采用基于单应性的变换和基于视差图的变形的透射层和次级层图像。图4所示为根据本专利技术又一实施方式和两种现有技术的透射层和次级层图像。图5所示为根据本专利技术又一实施方式的深度引导式透射层重新聚焦图像。图6所示为根据本专利技术又一实施方式动态场景(即视频)中的透射层和反射层图像。具体实施方式根据本专利技术实施方式，提供一种将透射层与反射层分离的光场图像处理方法。根据本专利技术实施方式，所拍摄的场景(透射层)光场图像具有次级层(如反射层)。其中，输入内容为来自各种不同视角的光场图像，而且中心视角图像用作参考视角图像。对于光场中的各个相机，这些相机中分别添加具有各个不同偏振角度的偏振片。现实生活中的大部分光为非偏振光，而且当此类光在界面处发生反射后，其偏振状态将变得与透射部分的偏振状态不同。通过采集反射层的不同部分，可有助于实现透射层的分离。在一种针对参考视角图像的层分离方法，对其他视角图像中的冗余信息加以使用。为了将所有视角图像下的场景外观考虑在内，先估算透射层的视差图，然后利用该图将所有光场视角图像与参考视角图像对齐，以促进层分离。其中，视差图估算和层分离步骤均为迭代步骤。为了有助于找到最佳解，需要引入更多的约束条件。首先，透射层在视差变形至参考视角图像之后应该保持不变，因此应该为低秩层。与此相对，由于次级层的变形采用透射层的视差图，而非其自身的视差图，因此变形后的次级层应该在各幅视角图像之间具有较低的像素级连贯性，所以应该为稀疏层。此外，透射层和次级层应该为独立层，而且具有稀疏梯度。图1为根据本专利技术一种实施方式将透射层与反射层分离的光场图像处理方法。如图1所示，该方法包括如下步骤：1.以K＝N×N个视角采集光场数据，而且将中心视角图像作为参考视角图像。2.对于除中心视角图像之外的每一视角图像，运行SIFT流，以获得初始视差估算结果，并将该视角图像变形至中心视角图像。3.通过采用交替方向最小化(ADM)法的增强拉格朗日乘子(ALM)优化目标函数。该目标函数为与透射层T、次级层S(通常为反射层)及视差d结合的函数，其目标在于通过以与凸优化问题类似的方式将该函数的值最小化而求解T和S。此外，还采用交替方向法迭代求解子问题。4.在获得每次迭代的解之后，更新视差估算结果，并以新的视差将视角图像变形至中心视角图像。5.重复步骤3和步骤4，直至相继两次迭代之间的目标函数变化量变得极小，例如降至一定阈值以下。在一种实施方式中，所述阈值为0.1。6.利用最终视差，进行透射层与次级层的分离。实际上，在步骤3中获得T和S之后，透射层以与次级层分离。然而，如步骤3中所述，本方法的目标与视差d相关，因此分离质量取决于视差d的准确度。由于初始视差并不总能满足要求，因此往往需要通过步骤5进行视差优化。根据本专利技术的一种实施方式，本专利技术首先将子孔径图像变形至中心视角图像。由于透射层在很大概率上不为平面结构，因此可能需要通过密集三维重建进行图像的变形。为了避免发生重大错误，以SIFT流进行本地流的平均化，以获得初始视差估算结果。在获得初始视差估算结果后，通过采用交替方向最小化(ADM)法的增强拉格朗日乘子(ALM)优化目标函数。ALM的目标在于，找出L的逼近原始问题的解的鞍点。此外，还采用交替方向法迭代求解子问题。在获得每次迭代的解之后，更新视差估算结果。随后，一直重复这一过程，直至相继两次迭代之间的目标函数变化量变得极小。在一种实施方式中，该值低于0.1。在上文中，假设透射层占主。当光场相机内添加偏振片时，将基于偏振角度以不同方式减小反射，而且上述算法能够获得更佳结果。由于不同位置处的相机所接受的反射可能具有不同的偏振方向，因此剩下的问题在于如何确定所述偏振角度。图2为根据本专利技术另一实施方式添加至光场相机中的偏振片的偏振角度例示示意图。由于中心相机应为参考视角图像，因此首先按照图2所示方式设置外围的8台相机。通过这一设置方式，可以计算出能够减小中心视角下大部分反射的理想角度，并且按照这一理想角度设置中心相机。结果1.变形首先，将本专利技术基于视差的变形与基于单应性的变换相比较。图3所示为根据本专利技术又一实施方式通过基于单应性的变换和基于视差图的变形获得的透射层和次级层图像。如图3所示，与单应本文档来自技高网...

【技术保护点】
1.一种光场图像处理方法，其特征在于，包括：/n在具有不同偏振角度的多个视角下拍摄多幅视角图像；/n利用SIFT流，获得第一视角图像的初始视差估算结果，并将所述第一视角图像变形至参考视角图像；/n以采用交替方向最小化法的增强拉格朗日乘子，对含透射层和次级层的目标函数进行优化；/n对所述第一视角图像的视差估算结果进行更新；/n重复对所述目标函数进行优化的步骤和对所述视差估算结果进行更新的步骤，直至相继两次迭代之间的所述目标函数的变化量低于阈值；以及/n利用所述第一视角图像的更新后的所述视差估算结果，进行所述透射层与所述次级层的分离。/n

【技术特征摘要】
【国外来华专利技术】20180419 CN PCT/CN2018/0837831.一种光场图像处理方法，其特征在于，包括：
在具有不同偏振角度的多个视角下拍摄多幅视角图像；
利用SIFT流，获得第一视角图像的初始视差估算结果，并将所述第一视角图像变形至参考视角图像；
以采用交替方向最小化法的增强拉格朗日乘子，对含透射层和次级层的目标函数进行优化；
对所述第一视角图像的视差估算结果进行更新；
重复对所述目标函数进行优化的步骤和对所述视差估算结果进行更新的步骤，直至相继两次迭代之间的所述目标函数的变化量低于阈值；以及
利用所述第一视角图像的更新后的所述视差估算结果，进行所述透射层与所述次级层的分离。
<...

【专利技术属性】
技术研发人员：吴旻烨，石志儒，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海;31