使用差异预测替换的光场压缩制造技术

显示系统(200)包括用于存储第一光场(212)的第一存储设备(204)和用于存储第二光场(214)的第二存储设备(216)。第一光场包括图像(103、104、105)的二维阵列(102)，每个图像包括图像图块(114、115)的相应二维阵列(112)，以及第二光场包括第一光场的压缩表示。该系统进一步包括至少一个处理器(1002)，其被配置为基于所消除的图像图块与光场的其他图像的相同图块位置中的图像图块之间的所识别的冗余，从包含在第二光场中选择性地消除第一光场的图像的图像图块。

【技术实现步骤摘要】
【国外来华专利技术】使用差异预测替换的光场压缩
技术介绍
虚拟现实(VR)和增强现实(AR)应用通常寻求使用户能够在整个场景(虚拟或现实世界)中移动并且使用户能够从用户的头戴式设备(HMD)或其他VR/AR观看设备的当前姿势查看场景。已经提出光场作为光内容格式以使得能够从许多不同视角渲染场景的影像。然而，适合于真实描绘的光场可能需要许多千兆字节的存储，通常使得它们的传输、存储和处理对于许多现实世界的实施方式是不可行的。对于移动消费者设备而言，由于它们相对有限的存储、传输和处理资源，将光场用于VR和AR应用所需的资源量通常特别成问题。附图说明通过参考附图，可以更好地理解本公开，并且本公开的许多特征和优点对于所属领域的技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项目。图1是根据一些实施例的示例光场结构的图。图2是根据一些实施例的光场使能的显示系统的框图。图3是根据一些实施例的示出使用差异预测替换(DPR)压缩和解压缩过程来处理光场的方法的流程图。图4是根据一些实施例的示出使用DPR压缩过程来压缩光场的方法的流程图。图5是根据至少一些实施例的示出从光场的图像组织二叉树的过程的示例实施方式的图。图6是根据一些实施例的示出用于计算光场的图像的图像图块的差异导数矢量(DDV)的方法的流程图。图7是根据一些实施例的示出针对图6的方法的选择用于运动搜索分析的图像的示例的图。图8是根据一些实施例的示出在压缩期间，用于选择性地消除光场的树区域的图像的图块的方法的流程图。图9是根据一些实施例的示出图8的选择性图块消除方法的示例的图。图10是根据一些实施例的示出图2的显示系统的光场压缩设备的示例实施方式的图。图11是根据一些实施例的示出使用DPR解压缩过程解压缩所压缩的光场的方法的流程图。图12是根据一些实施例的示出使用DPR参考图像的对应图块的DDV来重构光场图像的图像图块的方法的流程图。图13是根据一些实施例的示出图12的图块重构方法的示例的图。图14是根据一些实施例的示出图12的图块重构方法的另一示例的图。图15是根据一些实施例的示出图1的显示系统的光场解压缩/渲染设备的示例实施方式的图。具体实施方式以下描述旨在通过提供涉及光场的压缩和解压缩的多个具体实施例和细节来传达对本公开的透彻理解。然而，应理解，本公开不限于仅作为示例的这些特定实施例和细节，并且本公开的范围相应地仅旨在由所附权利要求书及其等同物限制。还应理解，根据已知的系统和方法，所属领域的普通技术人员将了解，根据具体设计和其它需要，本公开在任何数量的替代实施例中用于其预期目的和益处。图1示出了根据一些实施例的光场的典型双平面表示。光场(也称为流明图或光场)可以概念化为通过限定的空间或环境中的每个点在每个方向上流动的光量，其中，光场中的每条光线的方向由五维全光函数指定并且每条光线的大小由相应的辐射率指定。为计算机图形实现参数化光场的常用方法是经由双平面参数化，其中，光场被表示为st平面(通常被称为“焦平面”)的透视图像的集合，每个图像表示虚拟摄像机从与st平面平行的uv平面(通常被称为“摄像机平面”)上的相应位置的视角。为了说明，图1图示了由图像(例如，图像103、104、105)的二维(2D)阵列102组成的示例光场100，其中，阵列102的每个图像表示从(具有尺寸s和t的)st平面110上的所有点到达(具有尺寸u和v的)uv平面108上的相应点(例如点106)的光线。在这样的实施方式中，阵列102的图像表示场景或环境的离轴或剪切的透视图。因此，2D阵列102可以被表示为图像的阵列，其中，每个图像i具有由坐标(ui,vi)定义的阵列中的位置。此外，每个图像由像素的2D阵列表示，并且如图像105的示例展开视图112所示，图像i的每个像素k具有由坐标(sk,tk)定义的图像中的位置。此外，出于下文描述的DPR压缩和DPR解压缩过程的目的，图像的像素阵列可以被设想为图像图块的阵列，每个图像图块表示相应的像素区域并且具有图块位置(si,ti)。为了参考图像105进行说明，每个图像由例如图块(例如，图块114、115)的4×4阵列组成。因此，如图1的光场100所示，光场可以由场景的图像阵列表示，每个图像表示场景相对于光场的其他图像的透视图的略微平面移位的透视图。通常，光场包含相对大量的这样的图像，并且以相对高的分辨率渲染或捕获这些图像。结果，表示具有合适分辨率和维度的光场的数据结构通常可以达到数十千兆字节或更大的大小。表示光场所需的数据的绝对大小可能妨碍其在许多VR/AR显示系统中的有效使用。图2-14示出了用于渲染由光场表示的场景的特定视图所需的有效压缩光场以及随后对压缩光场的部分进行解压缩以在头戴式显示器(HMD)设备或其他显示设备处显示的技术。在至少一个实施例中，表示光场的图像的二维阵列的图像被组织成二叉树结构。二叉树结构的每个非叶节点处的图像可以用作参考图像，用于在非叶节点后代的一个或多个节点处重构考虑到包含在参考图像中的图像内容，被认为其最初是冗余的，或者以其他方式呈现出与参考图像的低差异的图像的一个或多个图块，从而允许像素数据表示将被丢弃或以其他方式从所得到的光场的压缩版本中消除的一个或多个图块。该分层冗余图像图块替换方法导致由减少的数据量表示的压缩光场，从而使得压缩光场的存储、传输和处理比其未压缩形式更实用。例如，减少的存储、传输和处理要求可以使得这样的光场能够被计算使能的智能电话、平板电脑或其他移动消费者设备利用以渲染由移动消费者设备提供的VR或AR应用的影像。如本文所述，在一些实施例中，针对参考图像(即，位于二叉树结构的非叶子节点处的图像)的一些或所有图块，计算差异导数矢量(DDV)。在st平面中的位置(si,ti)处的图像图块的DDV描述了如何对uv平面中引用该参考图像的每个其他图像(即，位于参考节点的后代节点处的图像)在相同位置(si,ti)处重构图块。在一个实施例中，图像图块的DDV由差异导数ds/du、dt/du、ds/dv、和dt/dv的集合中的一个或多个表示，每个差异导数描述在表示将对后代节点重构的位置(si,ti)处的图块的窗口下如何移位参考图像，并且其中，每个差异导数是参考图像和被考虑消除的候选图像之间的位置关系的函数，如本文中更详细所述。图2示出了利用基于差异预测替换(DPR)的光场压缩和解压缩的示例显示系统200以及图3示出了根据一些实施例的显示系统200的操作的方法300。显示系统200包括光场生成设备202、光场压缩组件206、光场解压缩/渲染组件208和显示设备210。图3的方法300从框302光场生成设备202生成或获得表示场景213的光场212开始。为了说明，光场生成设备202可以包括例如光场相机，该光场相机被配置成经由多个相机装备捕获光场212，相机装备被配置成从uv平面上的不同视角捕获场景213的多个图像，所得到的多个图像以2D图像阵列格式排列，诸如图1的2D图像阵列102所示。替选地，光场生成设备202可以包括图形渲染设备，该图形渲染设备被配置为通过使用各种公知的光场渲染技术的任何一种来渲染光场212的图像阵列的图像来生成场景213的VR或AR实现的光场212。无论是通过图像捕获还是通过图形渲染生本文档来自技高网...

【技术保护点】
1.一种系统(200)，包括：用于存储第一光场(212)的第一存储设备(204)，所述第一光场包括图像(103、104、105)的二维阵列(102)，每个图像包括图像图块(114、115)的对应二维阵列(112)；用于存储第二光场(214)的第二存储设备(216)，所述第二光场包括所述第一光场的压缩表示；以及至少一个第一处理器(1002)，所述至少一个第一处理器(1002)被配置为基于所消除的图像图块和所述光场的其他图像的相同图块位置中的图像图块之间的所识别的冗余，从所述第二光场中的包含物中选择性地消除所述第一光场的图像的图像图块。

【技术特征摘要】
【国外来华专利技术】2016.12.12 US 15/376,0831.一种系统(200)，包括：用于存储第一光场(212)的第一存储设备(204)，所述第一光场包括图像(103、104、105)的二维阵列(102)，每个图像包括图像图块(114、115)的对应二维阵列(112)；用于存储第二光场(214)的第二存储设备(216)，所述第二光场包括所述第一光场的压缩表示；以及至少一个第一处理器(1002)，所述至少一个第一处理器(1002)被配置为基于所消除的图像图块和所述光场的其他图像的相同图块位置中的图像图块之间的所识别的冗余，从所述第二光场中的包含物中选择性地消除所述第一光场的图像的图像图块。2.如权利要求1所述的系统，其中，所述至少一个第一处理器被配置为通过下述操作来选择性地消除图像图块：将所述第一光场的图像的所述二维阵列组织成二叉树结构(514)，其中，所述二叉树结构的每个节点表示图像的所述二维阵列的对应图像；以及对于所述二叉树结构的每个非叶节点：对于所述非叶节点处的所述图像的每个图像图块，响应于候选图像图块和所述非叶节点处的所述图像的所述图像图块之间的差异，从所述第二光场中选择性地消除所述非叶节点的后代节点处的图像中位于相同图块位置的所述候选图像图块。3.如权利要求2所述的系统，其中，所述至少一个第一处理器被配置为通过下述操作来确定所述差异：确定第一率失真，所述第一率失真是用所述非叶节点处的所述图像的所述图像图块替换所述候选图像图块所导致的；确定第二率失真，所述第二率失真是对所述候选图像图块进行编码所导致的；当所述第一率失真不大于所述第二率失真时，将所述候选图像图块包括在所述第二光场中；以及当所述第一率失真大于所述第二率失真时，从所述第二光场中消除所述候选图像图块。4.如权利要求2或3所述的系统，其中，所述至少一个第一处理器进一步被配置为：确定所述非叶节点处的所述图像的所述图像图块的差异导数矢量(1528)，所述差异导数矢量包括一个或多个差异导数，所述一个或多个差异导数指定如何根据所述二维阵列中的所述非叶节点处的所述图像与后代节点处的所述图像之间的位置关系，通过在一个或多个维度中的所述非叶节点处对应移位所述图像来在所述非叶节点的所述后代节点处重构图像的所消除的图像图块；以及将所述图像图块的所述差异导数矢量存储到所述第二光场。5.如权利要求2至4中任一项所述的系统，进一步包括：至少一个第二处理器(1502、1508)，被配置为：识别用于在渲染表示由所述第二光场表示的场景的视图的影像中使用的所述二维阵列的一个或多个图像的一个或多个图像图块的集合；以及响应于确定所述一个或多个图像图块的集合包括从所述第二光场中的第一图像中所消除的第一图像图块，使用所述第二光场中的第二图像并且使用被存储用于所述第二图像的第二图像图块的差异导数矢量来重构所述第一图像图块，所述第二图像位于具有所述第一图像的节点的祖先节点处，所述第二图像图块与所述第一图像图块具有相同图块位置。6.如权利要求5所述的系统，其中，所述至少一个第二处理器被配置为通过下述操作来重构所述第一图像图块：基于所述差异导数矢量，相对于表示所述第一图像图块的图块位置的边界的重构窗口(1302、1402)，来在一个或多个维度中移位部分的所述第二图像，所述部分的所述第二图像包括所述第二图像图块和至少一个其他图像图块；以及将在移位所述部分的所述第二图像之后被包含在所述重构窗口内的像素设置为所述第一图像图块的重构表示(1314、1414)。7.如权利要求5或6所述的系统，其中，所述至少一个第二处理器进一步被配置为使用所述一个或多个图像图块的集合来渲染所述影像。8.如权利要求5至7中任一项所述的系统，进一步包括：用于显示所述影像的至少一个显示面板(1516、1518)。9.如权利要求8所述的系统，进一步包括：包括所述至少一个显示面板的头戴式显示设备(210)。10.如权利要求1至9中任一项所述的系统，其中，所述至少一个第一处理器进一步被配置为使用基于运动搜索的编码过程，来对所述第二光场的剩余图像图块进行编码。11.一种系统(200)，包括：用于存储压缩光场(214)的存储设备(216)，所述压缩光场包括具有图像(103、104、105)的二维阵列(102)的光场(212)的压缩表示，每个图像包括图像图块(114、115)的对应二维阵列(112)，并且其中，所述图像图块的至少子集已从所述压缩光场中消除；以及至少一个处理器(1502、1508)，所述至少一个处理器(1502、1508)耦合到所述存储设备并且被配置为：识别用于在渲染表示由所述压缩光场表示的场景的视图的影像中使用的所述二维阵列的一个或多个图像的一个或多个图像图块的集合；以及响应于确定所述一个或多个图像图块的集合包括从所述压缩光场中的第一图像中所消除的第一图像图块，使用所述压缩光场中的第二图像并且使用第一差异导数矢量(1528)来重构所述第一图像图块，所述第二图像被识别为所述第一图像的参考图像(1300、1400)，所述第一差异导数矢量是从与所述第一图像图块具有相同图块位置的所述第二图像的第二图像图块的所述压缩光场存取的，所述第一差异导数矢量包括一个或多个差异导数，所述一个或多个差异导数指定如何根据所述二维阵列中的第一图像和所述第二图像之间的位置关系，通过在一个多个维度中对应移位所述第二图像来重构所述第一图像图块。12.如权利要求11所述的系统，其中，所述至少一个处理器还被配置为通过以下操作来重构所述第一图像图块：基于所述第一差异导数矢量，相对于表示所述第一图像图块的图块位置的边界的重构窗口(1302、1402)，在一个或多个维度中移位部分的所述第二图像，所述部分的所述第二图像包括所述第二图像图块和所述第二图像的至少一个其他图像图块；以及将在移位所述部分的所述第二图像之后被包含在所述重构窗口内的像素设置为所述第一图像图块的重构表示。13.如权利要求11或12所述的系统，其中，所述至少一个处理器还被配置为：响应于确定已经从所述压缩光场中的所述第二图像中消除所述部分的所述第二图像的所述第二图像图块，使用所述压缩光场中的第三图像并且使用第二差异导数矢量(1528)来重构所述第二图像图块，所述第三图像被识别为所述第二图像的参考图像(1300、1400)，所述第二差异导数矢量是从与所述第二图像图块具有相同图块位置的所述第三图像的参考图像图块的所述压缩光场存取的，所述第二差异导数矢量包括一个或多个差异导数，所述一个或多个差异导数指定如何根据所述二维阵列中的所述第二图像和所述第三图像之间的位置关系，通过在一个或多个维度中对应移位所述第三图像来重构所述第二图像图块。14.如权利要求11至13中任一项所述的系统，其中，所述至少一个处理器进一步被配置为渲染...

【专利技术属性】
技术研发人员：瑞安·奥弗贝克，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US