用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品技术

公开了一种用于编码当前焦点堆栈的方法，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。根据本公开，该方法包括：对表示当前焦点堆栈的图像的信息进行编码(31)，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将该图像重构为重构图像；通过从至少重构图像进行预测来编码(32)当前焦点堆栈的至少另一图像。

【技术实现步骤摘要】
【国外来华专利技术】用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品1.
本公开涉及光场成像，并且涉及用于获取和处理光场数据的技术。更确切地说，本公开总体上涉及用于对基于光场的图像进行编码和解码的方法和装置，以及在图像或视频编码/解码(即，图像或视频压缩/解压缩)的领域中找到应用。2.
技术介绍
本部分旨在向读者介绍所属领域的各个方面，这些方面可涉及下面所描述的和/或请求保护的本公开的各个方面。相信这一讨论有助于为读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应该理解的是，这些声明是以这种方式阅读的，而不是作为对现有技术的承认。常规的图像捕捉设备将三维场景渲染到二维传感器上。在操作期间，常规的捕捉设备捕捉表示到达设备内的光电传感器(或光电检测器)的光量的二维(2-D)图像。但是，该2-D图像不包含关于到达光电传感器(可以被称为光场)的光线的方向分布的信息。例如，深度在获取期间中会丢失。因此，常规的捕捉设备不存储大部分关于来自场景的光分布的信息。光场捕捉设备(也被称为也备不存储大部设备为也备不存储大部分捕捉来自该场景的不同视点的光来测量场景的四维(4D)光场。因此，通过测量沿着与光电传感器相交的每个光束传播的光量，这些设备可以捕捉额外的光学信息(关于光线束的方向分布的信息)，以便通过后处理提供新的成像应用。由光场捕捉设备获取/获得的信息被称为光场数据。光场捕捉设备在本文中被定义为能够捕捉光场数据的任何设备。有几种类型的光场捕捉设备，其中：-全光设备，其使用放置在图像传感器和主透镜之间的微透镜阵列，如在文献US2013/0222633中所描述的；-照相机阵列，其中每个照相机图像在它自身的图像传感器上。也可以用计算机生成图像(CGI)从场景的一系列2-D图像(当以不同的观看点捕捉表示同一场景的两个不同图像时所称的视图)模拟光场数据，其中每个2-D图像是通过使用常规的手持照相机从不同视点拍摄的。光场数据处理尤其包括但不限于生成场景的重新聚焦的图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像和/或这些的任何组合。本公开更确切地着重于如由R.Ng等人在斯坦福大学计算机科学技术报告CSTR2005-02,no.11(April2005)的“Lightfieldphotographywithahand-heldplenopticcamera”中公开的图1所示的由全光设备捕捉的基于光场的图像。这种全光设备由主透镜(11)、微透镜阵列(12)和光传感器(13)组成。更确切地说，主透镜将物体聚焦到微透镜阵列上(或附近)。微透镜阵列(12)将会聚光线分离成在其后面的光传感器(13)上的图像。与全光设备相反，照相机阵列设备(例如Pelican照相机)直接传递视图矩阵(即，不需要去模糊)。一般而言，通过使用焦点堆栈处理四维(4D)光场，该焦点堆栈包括每个被聚焦在不同聚焦距离处的图像集合。这种焦点堆栈允许用户通过后处理来改变图像的焦点。光场图像或视频的数据集(无论是通过全光照相机、照相机阵列还是用计算机生成图像(CGI)模拟的)被重新组织以在前透镜的焦平面附近形成光数据体，类似于在其焦平面附近由透镜生成的光场。在图2中示意性地示出了这种焦点堆栈100。通过选择在焦点堆栈100内的图像101、102、103中的一个来模拟用照相机进行的常规聚焦，其对应于垂直于照相机的主光轴z移动焦平面。在这些更丰富的数据源提供的许多新的光场成像功能中，有能力在内容被捕捉后对其进行操作处理；这些操作处理可具有不同的目的，特别是艺术性的、基于任务的和法医的目的。例如，用户可以实时改变焦点、深度和立体基线的领域以及观看者的透视视图。这种媒体交互和体验对于通过使用常规标准图像或视频编解码器对基于光场的图像进行编码/解码而获得的常规成像格式是不可用的。此外，可以通过焦点融合生成AIF(全聚焦)图像：在每个焦点堆栈图像中检测对焦区域，然后将所有这些对焦区域融合以形成AIF图像。用于编码这种基于光场的图像的现有技术方法在于使用标准图像或视频编解码器(比如JPEG、JPEG-2000、MPEG4Part10AVC、HEVC)。然而，这种标准编解码器不能考虑到光场成像(又名全光数据)的特异性(specificities)，该特异性记录了在每个方向上空间中每个点处的光量(“辐射”)。事实上，应用常规的标准图像或视频编解码器(比如JPEG、JPEG-2000、MPEG4Part10AVC、HEVC)可以传送常规的成像格式。具体地，使用传统的帧间编码方案导致全光视图使用(来自视图的同一点的)来自过去的、将来的或时间上相邻的图像的信息而被编码，而不考虑其他视图提供的知识(从视图的其他点取得)。作为替代，使用多视图编码方法(例如MPEGMVC)在于获得从一个视图到另一个视图的预测，但不适合对由4D光场提供的深度进行编码。因此，在用传统的标准图像或视频编解码器编码的4D光场数据的解码之后，全光图像的重构可能不准确。因此从这些数据获得AIF图像是不可能的。因此希望提供一种用于对基于光场的图像进行编码/解码的技术，该技术将避免现有技术的至少一个缺点。3.
技术实现思路
以下呈现本公开的简化概述，以便提供对本公开的某些方面的基本理解。该概述不是本公开的广泛概述。它并不旨在标识本公开的关键或重要元件。以下概述作为以下提供的更详细描述的序言仅以简化的形式呈现本公开的某些方面。本公开通过一种用于编码当前焦点堆栈的方法来解决现有技术的至少一个缺点，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。这种方法包括：-对表示当前焦点堆栈的图像的信息进行编码，所述图像包括最高数量的聚焦像素，以及将所述图像重构为重构图像；-通过从至少重构图像进行预测对当前焦点堆栈的至少另一图像进行编码。在本公开的一个实施例中，当焦点堆栈所包括的多个图像中聚焦像素的数量彼此接近并且超出(或大于)阈值时，可以出于编码的目的使用这些图像中的一个图像，而不是使用具有最高数量的聚焦像素的图像。还应该注意的是，聚焦像素的数量与图像锐度标准有关。事实上，当图像的元素/部分聚焦时，它们看起来很尖锐(即不模糊)。因此，为了确定聚焦像素的数量，本领域技术人员可以使用由J.Kumar等人所著的文章“SharpnessEstimationforDocumentandSceneImages”、或者由K.De和MasilamaniV.所著的文章“AnewNo-ReferenceImagequalityMeasureforBlurredImagesinSpatialDomain”，或者由D.Shaked和I.Tast所著的文章“SharpnessMeasure：TowardsAutomaticImageEnhancement”，或者由P.V.Vu和D.M.Chandler所著的文章“AFastWavelet-BasedAlgorithmforGlobalandLocalImageSharpnessEstimation”中描述的技术中的一种技术。这些技术基于频率内容分析，或是基于其他标准中的边缘宽度。因此，在本公开的一个实施例中，不需要明确确定聚焦像素的数量。事实上，锐度本文档来自技高网...

【技术保护点】
一种用于编码(30)当前焦点堆栈(300)的方法，所述当前焦点堆栈(300)包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中所述方法包括：对表示所述当前焦点堆栈的图像的信息进行编码(31)，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将所述图像重构为重构图像；通过从至少所述重构图像进行预测(320)来编码(32)所述当前焦点堆栈的至少另一图像。

【技术特征摘要】
【国外来华专利技术】2015.09.07 EP 15306363.11.一种用于编码(30)当前焦点堆栈(300)的方法，所述当前焦点堆栈(300)包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中所述方法包括：对表示所述当前焦点堆栈的图像的信息进行编码(31)，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将所述图像重构为重构图像；通过从至少所述重构图像进行预测(320)来编码(32)所述当前焦点堆栈的至少另一图像。2.根据权利要求1所述的用于编码的方法，其中，所述图像锐度标准对应于图像中聚焦像素的数量。3.根据权利要求2所述的用于编码的方法，其中，在所述当前焦点堆栈中的所选择的图像是具有最高数量的聚焦像素的图像。4.根据权利要求3所述的用于编码的方法，其中，在所述当前焦点堆栈中，包括最高数量的聚焦像素的图像是全聚焦图像(3000)。5.根据权利要求1所述的用于编码的方法，其中通过从至少所述重构图像进行预测来编码所述当前焦点堆栈的至少另一图像包括：对于所述另一图像的至少一个像素，对根据至少在所述重构图像中并置的对应像素的值以及根据模糊函数(321)的值进行编码，所述模糊函数依赖于与要编码的所述另一图像相关联的深度位置。6.根据上述权利要求中任一项所述的用于编码的方法，其中所述当前焦点堆栈是以不同观看角度捕捉的焦点堆栈组的一部分，所述焦点堆栈组的所述焦点堆栈根据它们的观看角度的取向顺序而被排序，以及其中所述方法还包括：根据所述当前焦点堆栈的所述取向顺序和观看角度确定(33)堆栈间图像编码顺序，所述观看角度被称为参考观看角度，对根据从所述当前焦点堆栈的重构图像确定的所述堆栈间图像编码顺序处理的所述焦点堆栈组的至少另一焦点堆栈的图像的至少一个像素进行编码(34)，所述至少另一焦点堆栈的所述图像是根据图像锐度标准被选择的图像并且被称为参考图像。7.根据权利要求6所述的用于编码的方法，其中，所述参考图像的所述像素根据以所述观看角度的参考值捕捉的当前焦点堆栈的所述重构图像，以及根据表示当前焦点堆栈的所述参考图像和所述重构图像之间的差异(341)的信息被编码。8.根据权利要求6所述的用于编码的方法，其中，以与所述观看角度的参考值不同的观看角度捕捉的、所述参考图像的每个像素的所述值根据以所述观看角度的参考值捕捉的当前焦点堆栈的所述重构图像，以及根据与所述焦点堆组相关联的场景的分层深度图像(342)被编码。9.根据权利要求6至8中任一项所述的用于编码的方法，其中，所述焦点堆栈组在参考时刻t0被捕捉，并且所述焦点堆栈...

【专利技术属性】
技术研发人员：P圭洛特尔，D索罗，B范达姆，P洛佩兹，G布瓦松，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR