对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法技术

在本公开的一个实施例中，提出了一种用于对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法。该方法的显著之处在于其包括：从来自所述图像视图矩阵的至少两个图像视图的组合中获得至少一个参考图像视图；基于所述至少一个参考图像视图，对不同于所述至少一个参考图像视图的图像视图进行编码。

A method of encoding image view matrix from all-optical camera data

【技术实现步骤摘要】
【国外来华专利技术】对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法
本公开涉及由全光(plenoptic)相机获取的4D原始光场数据的编码和解码。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本专利技术的各个方面有关。相信该讨论有助于向读者提供背景信息，以便更好地理解本专利技术的各个方面。因此，应当理解的是，这些陈述要在这种角度上阅读，而不是作为对现有技术的承认。全光相机除了包括常规相机的特征外，还包括恰好位于传感器前面的微透镜阵列集合，如图1中所示或如文献WO2013/180192和GB2488905中所示。在这种架构中，每个微透镜在传感器上投影微透镜图像。因此，全光相机可以记录微透镜图像的集合(通常被称为4D原始光场数据，或者也被称为全光图像)，可以对该微透镜图像的集合进行处理以便执行例如图像的重聚焦(re-focusing)。应当注意，可以将这种4D原始光场数据转换为其他格式/表示(例如，经由与子孔径图像的集合相对应的格式(其中，一个子孔径图像对应于从一个视点捕获的场景的图像，两个子孔径图像之间的视点略有不同；这些子孔径图像给出关于所成像的场景的视差和深度的信息)，或经由与对极图像的集合相对应的格式(例如，参见S.Wanner等人发表在ISVC2011的会议记录中的题为“利用单透镜聚焦的全光相机生成4D光场的EPI表示(GeneratingEPIRepresentationofa4DLightFieldswithaSingleLensFocusedPlenopticCamera)”的文章))。因此，获得有效的编码技术以用于对作为子孔径图像的集合的数据(也称为子孔径图像矩阵)进行编码是一个繁忙的研究议题，这是由于它可以减少这种经编码数据的存储(或传输)的事实。用于对作为子孔径图像的集合的数据进行编码的一种解决方案包括使用XiaoranJiang等人在题为“利用基于单应性的低秩近似的光场压缩(LightFieldCompressionwithHomography-basedLowRankApproximation”的文章中描述的技术，该文章提出通过使用一个或多个单应性来对齐不同的子孔径图像以获得光场低秩表示，然后使用经典的HEVC编码技术对这种光场低秩表示进行编码。用于对作为子孔径图像的集合的数据进行编码的另一种解决方案包括使用经典的编码技术，诸如在文献US2015/0319456中提到的HEVC(“高效视频编码”)或MV-HEVC(“多视图高效视频编码”)，其中在子孔径图像的集合中选择参考图像。另外，在文献US2015/0319456中，可以根据压缩参数(例如，运动搜索窗口、最大编码单位大小等)和相机参数(焦距、主透镜孔径等)完成对子孔径图像的编码。因此，在某些情况下，通过使用如HEVC编码方案所提出的帧内编码技术，可以独立于其他子孔径图像对每个子孔径图像进行编码。在变型中，在子孔径图像的集合之中选择一个或多个参考图像(例如，参见文献US2015/0319456的[0086]段)，以基于空间预测来执行编码。文献US2016/0241855详细描述了全光图像序列的编码，该全光图像序列可以被视为子孔径图像矩阵的序列。然而，文献US2015/0319456和文献US2016/0241855都没有解决如何必须在子孔径图像的集合之中选择一个或多个参考图像的问题。实际上，仅使用来自多视图编码技术的经典技术。所提出的技术提供了一种在从全光图像中导出的子孔径图像的集合中选择一个或多个参考图像的有效方式，以用于压缩目的。
技术实现思路
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不必包括该特定的特征、结构或特征。而且，这样的短语不一定指相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，无论是否明确描述，都认为结合其他实施例影响这样的特征、结构或特性是在本领域技术人员的知识范围内的。本公开针对一种用于对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法。该方法的显著之处在于它包括：从来自所述图像视图矩阵的至少两个图像视图的组合中获得至少一个参考图像视图；基于所述至少一个参考图像视图，对不同于所述至少一个参考图像视图的图像视图进行编码。应当注意，由于从全光相机获得图像视图矩阵(也称为子孔径图像矩阵)的事实，因此子孔径图像彼此之间具有一些光通量(flux)变化。实际上，子孔径图像之间的这种光通量变化对于视频编码可能是一个问题。光通量变化是由全光相机的设计引起的。实际上，它可能来自全光相机中的微图像的采样和主透镜的渐晕(vignetting)。因此，所提出的技术的目的是当设备对从全光相机获得/导出的图像视图矩阵进行编码时减小光通量变化的影响。在优选实施例中，该方法的显著之处在于，所述组合对应于包括在所述矩阵中的所有图像视图的平均。在优选实施例中，该方法的显著之处在于，所述获得包括通过使用用于组合来自所述矩阵的图像视图的可逆混合矩阵来确定多个参考图像视图，并且其中，所述编码使用所述多个参考图像视图。在优选实施例中，该方法的显著之处在于，所述编码符合HEVC编码技术或H.264编码技术。在优选实施例中，该方法的显著之处在于，它还包括生成包括与所述组合有关的信息数据的元数据。在本公开的另一实施例中，提出了一种用于对从全光相机获取的数据中获得的编码图像视图矩阵进行解码的方法。该方法的显著之处在于它包括：解码所述编码图像视图，传递第一图像视图矩阵；获得作为所述第一图像视图矩阵和元数据的函数的图像视图矩阵，所述元数据包括与所述第一图像视图矩阵中的图像视图的组合有关的信息数据。在优选实施例中，用于解码的方法的显著之处在于，它还包括从存储器单元获得所述元数据。在优选实施例中，用于解码的方法的显著之处在于，所述解码符合HEVC解码技术或H.264解码技术。根据示例性实施方式，该方法的不同步骤通过一个或多个计算机软件程序来实现，该软件程序包括软件指令，该软件指令被设计为根据本公开由继电器模块的数据处理器执行，并且被设计为控制该方法的不同步骤的执行。因此，本公开的一个方面还涉及一种易于由计算机或数据处理器执行的程序，该程序包括命令执行如上所述的方法的步骤的指令。该程序可以使用无论任何编程语言，并且可以以源代码、目标代码或介于源代码和目标代码之间的代码的形式，诸如以部分编译的形式或任何其他期望的形式。本公开还涉及一种数据处理器可读的信息介质，该信息介质包括如上所述的程序的指令。信息介质可以是能够存储程序的任何实体或设备。例如，介质可以包括诸如ROM(其代表“只读存储器”)的存储部件，例如CD-ROM(其代表“压缩盘-只读存储器”)、或微电子电路ROM，再或者是磁记录部件，例如软盘或硬盘驱动器。此外，信息介质可以是可传输载体，诸如可以通过电缆或光缆、通本文档来自技高网...

【技术保护点】
1.一种用于对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法，所述方法的特征在于其包括：/n-从来自所述图像视图矩阵的至少两个图像视图的组合中获得至少一个参考图像视图；/n-用所述至少一个参考图像视图替换所述图像视图矩阵中的所述至少两个图像视图中的一个；/n-基于所述至少一个参考图像视图对图像视图进行编码。/n

【技术特征摘要】
【国外来华专利技术】20170630 EP 17305832.21.一种用于对从全光相机获取的数据中获得的图像视图矩阵进行编码的方法，所述方法的特征在于其包括：
-从来自所述图像视图矩阵的至少两个图像视图的组合中获得至少一个参考图像视图；
-用所述至少一个参考图像视图替换所述图像视图矩阵中的所述至少两个图像视图中的一个；
-基于所述至少一个参考图像视图对图像视图进行编码。


2.根据权利要求1所述的用于编码的方法，其中，所述组合对应于包括在所述矩阵中的所有图像视图的平均。


3.根据权利要求1所述的用于编码的方法，其中，所述获得包括通过使用用于组合来自所述矩阵的图像视图的可逆混合矩阵来确定多个参考图像视图，并且其中，所述编码使用所述多个参考图像视图。


4.根据权利要求1至3中任一项所述的用于编码的方法，其中，所述编码符合HEVC编码技术或H.264编码技术。


5.根据权利要求1至4中任一项所述的用于编码的方法，其中，所述方法还包括生成元数据，所述元数据包括与所述组合有关的信息数据和/或所述至少一个参考图像视图在编码流中的位置。


6.一种用于对从全光相机获取的数据中获得的编码图像视图矩阵进行解码的方法，所述方法的特征在于其包括：
-从元数据信息中解码至少一个参考图像视图；
-从所述至少一个解码的参考图像视图中解码所述编码图像视图，传递第一图像视图矩阵；
-获得作为所述第一图像视图矩阵和元数据的函数的图像视图矩阵，所述元数据包括与所述第一图像视图矩阵中的图像视图的组合有关的信息数据。


7.根据权利要求6所述的用于解码的方法，其中，所述方法还包括从存储器单元获得所述元数据信息和所述元数据。


8.根据权利要求6至7中任一项所述的用于解码的方法，其中，所述解码符合HEVC解码技术或H.264解码技术。


9.一...

【专利技术属性】
技术研发人员：B范达姆，F拉卡普，G博伊森，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US