用于处理光场图像的方法、图形用户接口以及计算机程序产品技术

本发明专利技术提供了一种用于处理光场数据中的物体的方法和图形用户接口。所述方法和图形用户接口可以被用于去除所拍摄场景中的阻挡另一物体或背景的物体或障碍物。所述方法和图形用户接口还可以被用于光场图像中的高精度边缘检测。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】本专利技术提供了一种用于处理光场数据中的物体的方法和图形用户接口。所述方法和图形用户接口可以被用于去除所拍摄场景中的阻挡另一物体或背景的物体或障碍物。所述方法和图形用户接口还可以被用于光场图像中的高精度边缘检测。【专利说明】用于处理光场图像的方法、图形用户接口以及计算机程序产品
本专利技术总体上涉及光场成像领域。更具体地说，本专利技术涉及一种用于处理光场图像的方法、图形用户接口以及计算机程序产品。
技术介绍
光场成像涉及利用光场摄影术创建的图像，其中，光场数据(S卩，角度信息、位置，以及来自所拍照物体或场景的光线的发光度)可从所得光场图像获取。标准2D摄像机在平面f处按二维拍摄光线。发光度和位置被记录为像素值和像素位置(坐标X和y)。然而，并未记录光线的角度。然而，光场摄像机记录角度信息并且记录发光度和位置。以描述光线的数据作为矢量，该图像的呈现可以按标准2D摄像机所不能的方式来处理。本质上，光场图像包括至少两个子集图像，其中，每一个子集图像都对应于所成像物体或场景的不同视点或方向。每一个子集图像都是由分离的镜头拍摄的。因此，按这些子集图像之间的关系或差异来记录角度信息。已经提出了针对拍摄光场数据的问题的各种解决方案。具有两个镜头的3D摄像机可以随着一些角度数据被保留而被视为简单的光场摄像机。已经使用了具有多个摄像机的阵列。全光(plenoptic)摄像机使用单个主透镜和靠近图像传感器定位的微透镜阵列。全光摄像机可以分成两类:聚焦型和非聚焦型。图1示意性地例示了已知的聚焦全光摄像机，其利用微透镜阵列Lm来拍摄来自物体r的光场图像，其中，该物体r如果在焦平面f拍摄的话将导致清晰图像(就标准2D摄像机方面而论)。该图像传感器(未示出)被放置在微透镜阵列Lm的焦平面f2中。示出了针对两个微透镜的光路。两个微透镜通过仅利用整个光锥的表示该物体的同一点的一部分来描绘该特定点。典型的聚焦全光摄像机使用大约20-50个透镜，来拍摄来自单个点的光束。典型设计具有几千个微透镜。由于与主透镜L相比，微透镜的焦距非常短，因而，通过微透镜形成的单个子集图像的景深非常大。接近或者远离摄像机移动的物体将成像在不同焦平面f，如可以在图2a和2b中看到的。因此，光线的不同角度转变成了微透镜图像中的位置差异。图3a例示了两个物体“C”和“F”的、由全光摄像机拍摄的光场图像的一部分，并且“C”比“F”的位置更靠近摄像机。每一个六边形都表示来自单个微透镜的子集图像。图3b示出了来自图3a的光场图像的两个相邻微透镜子集图像。在图3c中，这两个子集图像已经按字母C重合的方式重叠。应注意到，字母F向一旁偏移。这表示了以设置在字母C的距离处的焦点呈现的图像。在图3d中，这两个图像之间的距离已经被移位，使得字母F清晰，而字符C模糊。可以从该示例看出，图像之间的更大移位(d)表示了距离更靠近摄像机的焦点。在该示例中，离焦部分显露出双击(double strike)字母。通常来说，当呈现一图像时，将所有微透镜子集图像叠加，使得离焦图像呈现平滑模糊。用于呈现的另一方法是，保持各个微透镜图像的位置，但放大它们，直到希望焦平面中的细节重合为止。利用目前的光场成像技术，可以聚焦、重新聚焦，以及改变透视。然而，能够实现新功能的用于处理光场图像的改进方法、图形用户接口，以及计算机程序产品将是有利的。
技术实现思路
根据一方面，提供了一种处理由具有已知构造的光场摄像机拍摄的、包括一场景的光场数据的第一光场图像的方法。所述光场数据包括拍摄的所述场景的角度信息。所述方法包括以下步骤:根据所述光场数据呈现与拍摄的所述场景的一物体在焦点上的第一焦平面(fl)相对应的第一图像。而且，所述方法包括以下步骤:选择所呈现的图像中的所述物体。而且，所述方法包括以下步骤:应用至少覆盖了与所选择的物体的边缘有关的像素的掩模。所述方法还包括以下步骤:从所述光场数据中删除与所应用的掩模相关联的像素，从而得到第一组修改后光场数据。在又一方面，提供了一种用于连接至一处理装置、以基于用户的输入来处理光场数据的图形用户接口。所述图形用户接口被设置成，在其显示部中显示在按特定焦平面拍摄的光场图像的呈现2D图像。所述图形用户接口包括:用户输入控制部，该用户输入控制部被设置成，控制所述光场图像的2D表示的所述焦平面，使之作为2D图像显示给用户。根据另一方面，提供了一种存储在计算机可读介质上的计算机程序产品，该计算机程序产品包括适于当在数据处理装置上运行时执行根据一些实施方式的方法的步骤的软件代码。一个目的是，提供一种在包括光场数据的光场图像中进行鲁棒边缘检测的方法。另一目的是，提供一种即使在仅可以标识边缘的近似位置的情况下，也可在光场图像中应用边缘检测的方法。另一目的是，提供一种考虑到可以比传统非光场2D图像数据的边缘检测更精确且可靠的边缘检测方法。另一目的是，使能实现基于用于重新聚焦过去处理中的光场图像的能力，来选择物体和/或边缘的简化输入用户接口。另一目的是，提供一种用于呈现2D图像的方法，其中，已经去除了光场数据中的有限尺寸的遮拦物体。另一目的是，提供一种用于光场图像的复制/剪切和粘贴功能。这样，可以将光场图像中的一物体的图像传递至另一光场图像，同时保持所传递图像的深度信息。【专利附图】【附图说明】本专利技术能够实现的这些和其它方面、特征以及优点根据本专利技术的实施方式的下列描述将清楚并加以阐明，对附图进行说明，其中，图1示意性地例示了现有技术的聚焦全光摄像机；图2a和2b例示了所成像物体的、与全光摄像机有关的位置怎样影响所得光场图像；图3a例示了由全光摄像机拍摄的两个物体“C”和“F”的光场图像的一部分，并且“C”比“F”的位置更靠近摄像机；图3b示出了来自图3a的光场图像的两个相邻微透镜子集图像；图3c例示了图3b的两个子集图像按字母C重合的方式叠加；图3d例示了图3b的两个子集图像按字母F重合的方式叠加；图4a至4c例示了本专利技术的原理；图5a至5g例示了根据一个实施方式的物体去除的实施例；图6a至6d例示了根据一个实施方式的边缘检测的实施例；图7a至7b例示了根据一个实施方式的剪切/复制粘贴功能的实施例；图8例示了根据一个实施方式的方法；图9例示了根据一个实施方式的图形用户接口。【具体实施方式】下面的描述集中于可应用于光场图像中的边缘检测的实施方式。一种构思是，提供一种去除所拍摄光场图像中的、遮拦背景的物体，并且呈现其中去除了该物体的新图像的方法，并且其中，所删除物体的像素用可从光场图像取得的、来自该物体后面的真实背景数据所替换。为了易于理解本专利技术 ，图4a至4c旨在例示本专利技术的基础。图4例示了包括主凸透镜41的简单摄像机的光学设置，和光线怎样从来自物体r的点行进，并且物体s至少部分地遮拦来自物体!的该点的光路。根据图4a，可以观察到，遮拦另一物体的一点的物体s的光路仍使来自物体r的该点的一些光线无遮挡地通过。图4a的阴影区表示来自物体r的点的光被物体s遮拦的区域。然而，来自物体s的边缘的光与表示r的点的光线混合。这使得物体s看上去模糊了。物体s在焦平面f2处清晰成像，如可以在图4b中观察到的，其中，形成图像Si的光线的光路被遮蔽。还可以观察到，在f2处形成Si的光线遍布f处的图本文档来自技高网...

【技术保护点】
一种处理第一光场图像的方法（80），所述第一光场图像包括由具有已知构造的光场摄像机拍摄的场景的光场数据，其中，所述光场数据包括所拍摄场景的角度信息，所述方法包括以下步骤：根据所述光场数据来呈现（81）第一图像，所述第一图像与所拍摄的场景的物体所对焦在的第一焦平面（f1）相对应，选择（82）所呈现的图像中的所述物体；应用（83）掩模，所述掩模至少覆盖了与所选择的物体的边缘有关的像素；以及从所述光场数据中删除（841）与所应用的掩模相关联的像素，从而得到第一组修改后光场数据。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：马茨·维尔纳松，
申请(专利权)人：索尼爱立信移动通讯有限公司，
类型：
国别省市：