分层场景分解编解码系统及方法技术方案

提供了应用分层场景分解策略的用于驱动用于多维视频流、交互式游戏和其他光场显示应用的实时光场显示器的CODEC的系统和方法。随着给定层与显示表面之间的距离增加，多维场景数据被分成深度增加的多个数据层。数据层使用全光采样方案进行采样，并使用混合渲染(例如透视和倾斜渲染)进行渲染，以对与每个数据层对应的光场进行编码。由此产生的多维场景数据的压缩(分层)核心表示以可预测的速率产生，通过应用包括边缘自适应插值的视图合成协议，在光场显示器上实时重建和合并，以根据参考元素图像按级(例如列然后行)重建像素阵列。图像按级(例如列然后行)重建像素阵列。图像按级(例如列然后行)重建像素阵列。

【技术实现步骤摘要】
【国外来华专利技术】分层场景分解编解码系统及方法
[0001]优先权要求
[0002]本申请要求于2019年2月22日提交的美国专利申请序号62/809,390的优先权，通过引用将其全部内容并入本文。


[0003]本公开涉及图像(光场)数据编码和解码，包括用于在光场显示器处提供交互式多维内容的数据压缩和解压缩系统和方法。

技术介绍

[0004]自动立体、高角分辨率、宽视场(FOV)、多视图显示器为用户提供改进的视觉体验。能够通过3D图灵测试(由Banks等人描述)的三维显示器将需要光场表示来代替由标准现有显示器投影的二维图像。逼真的光场表示需要大量带宽来传输显示数据，其中至少包含十亿像素的数据。这些带宽需求目前超过了本领域先前已知技术提供的带宽能力；即将推出的消费类视频标准是8K超高清(UHD)，每个显示器仅提供33.1兆像素的数据。
[0005]压缩用于传输的数据是本领域先前已知的。数据可能会被压缩以用于各种类型的传输，例如但不限于：通过互联网或以太网网络远距离传输数据；或传输由图形处理单元(GPU)创建并传输到显示设备的合成多视图。此类数据可用于视频流传输、实时交互式游戏或任何其他光场显示。
[0006]用于压缩光场传输的若干编码器
‑
解码器(CODEC)在本领域中是先前已知的。Olsson等人教导了压缩技术，其中处理整个光场数据集以减少冗余并产生压缩表示。光场的子组件(即元素图像)被视为视频序列，以使用标准视频编码技术利用冗余。Vetro等人教导了压缩标准的多视图专业化，利用光场子组件之间的冗余来实现更好的压缩率，但以更密集的处理为代价。这些技术可能无法达到足够的压缩比，并且当达到良好的压缩比时，编码和解码过程超出了实时速率。这些方法假设整个光场在被编码之前存在于存储盘或存储器中。因此，当从存储介质读取时，需要大量像素的大光场显示器会引入过多的延迟。
[0007]为了克服用于实时传送多维内容的硬件限制，各种方法和系统是已知的，然而，这些方法和系统呈现出它们自己的局限性。
[0008]美国专利第9727970号公开了一种分布式并行(多处理器)计算方法和装置，用于通过将3D图像数据分成数据组，从数据组中计算要显示在全息平面上的不同位置的全息图值并将每个位置的值相加以生成全息显示，来生成全息图。作为专注于生成全息显示的公开内容，所应用的策略涉及在比光场更小的尺度上操纵光，在这种情况下，其特征在于根据颜色对数据进行排序和划分，然后是彩色图像平面，然后进一步将平面图像划分为子图像。
[0009]美国专利公开第20170142427号描述了基于将多个元素图像(hogels)折叠成单个hogel的内容自适应光场压缩。本公开描述了实现有保证的压缩率，然而，图像损失是变化的，并且在如所公开的组合hogels中，不能保证可以利用的冗余。
[0010]美国专利公开第20160360177号描述了利用深度信息进行全视差压缩光场合成的
方法，并涉及视图合成方法的应用，该方法用于从一组元素图像创建光场，这些元素图像形成元素图像总集合的子集。这里描述的视图合成技术没有描述或给出处理在向后扭曲期间引起的重建伪影的方法。
[0011]美国专利公开第20150201176号描述了用于全视差压缩光场3D成像系统的方法，该系统公开了基于被捕获场景中对象的距离对光场中的元素图像进行二次采样。尽管这些方法描述了使用可以提高编码速度的简单条件对光场进行下采样的可能性，但在最坏的情况下，存在不会发生下采样的3D场景，并且编码将转而利用依赖于在编码之前让整个光场存在的变换编码技术。
[0012]仍然需要增加的数据传输能力、改进的数据编码器
‑
解码器(CODEC)、以及实现改进的数据传输和CODEC能力以将多维内容实时传送到光场显示器的方法。

技术实现思路

[0013]本专利技术大体上涉及用于实时驱动光场显示器的3D图像数据编码和解码，其克服了当前硬件限制或可以利用当前硬件限制来实现。
[0014]本公开的目的是提供具有减少的系统传输延迟和高带宽速率的CODEC，以在光场显示器上实时地、以良好的分辨率提供光场的产生，用于应用在视频流和实时互动游戏中。将光场或3D场景数据解构为子集，这些子集可以称为层(对应于分层光场)或数据层，采样并渲染，以压缩数据以进行传输，然后解码以构建和合并与光场显示器中的数据层对应的光场。
[0015]根据一个方面，提供了计算机实现的方法，包括：
[0016]接收包含场景的三维描述的第一数据集；
[0017]将所述第一数据集划分为多个层，每个层表示所述场景的相对于参考位置的不同位置处的不同部分；
[0018]将对应于至少一个所述层的数据划分为多个子部分，其中根据所述场景内表示的对象的至少一部分的几何形状来确定特定子部分的位置；以及
[0019]编码多个层和多个子部分以生成第二数据集。
[0020]根据另一方面，提供了计算机实现的方法，包括：
[0021]接收包括场景的三维描述的第一数据集，第一数据集包括关于场景中表面上的法线方向的信息，
[0022]相对于参考方向表示的法线方向，其中
[0023]至少一些表面具有非朗伯反射特性；
[0024]将第一数据集划分为多个层，每一层代表场景的在相对于参考位置的位置处的部分；以及
[0025]编码多个层以产生第二数据集，其中第二数据集的大小小于第一数据集的大小。
[0026]根据另一方面，提供了光场图像渲染方法，包括以下步骤：
[0027]将场景的三维表面描述划分为多个层，每层具有相关联的光场和采样方案；
[0028]进一步将至少一层划分为多个子部分，每个子部分具有相关联的光场和采样，其中特定子部分的位置根据场景内表示的对象的至少一部分的几何形状来确定；
[0029]根据采样方案并对应于采样光场为每一层和每个子部分渲染第一组像素，包括额
外像素信息；
[0030]使用第一组像素重建每个层和子部分的采样光场；以及
[0031]将重建的光场合并为单个输出光场图像。
[0032]根据另一方面，提供了计算机实现的方法，包括：
[0033]接收包含场景的三维描述的第一数据集；
[0034]将第一数据集划分为多个层，每个层表示场景的在相对于参考位置的位置处的部分；
[0035]对于多个层中的每一层，获得代表场景中对象的相应部分的一个或多个多边形；
[0036]基于一个或多个多边形确定与视图无关的表示；以及
[0037]将与视图无关的表示编码为第二数据集的部分，其中第二数据集的大小小于第一数据集的大小。
[0038]根据另一方面，提供了计算机实现的方法，包括：
[0039]接收包含场景的三维描述的第一数据集；
[0040]将第一数据集划分为多个层，每个层表示场景的在相对于参考位置的位置处的部分；以及
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.计算机实现的方法，包括：接收包含场景的三维描述的第一数据集；将所述第一数据集划分为多个层，每个层表示所述场景的相对于参考位置的不同位置处的不同部分；将对应于至少一个所述层的数据划分为多个子部分，其中根据所述场景内表示的对象的至少一部分的几何形状来确定特定子部分的位置；以及编码多个层和多个子部分以生成第二数据集，其中，所述第二数据集的大小小于所述第一数据集的大小。2.根据权利要求1所述的方法，还包括将所述第二数据集传输到远程设备，以便在与所述远程设备相关联的显示设备处呈现所述场景。3.根据权利要求1或2所述的方法，其中，对层或子部分进行编码包括对所述第一数据集的对应部分执行采样操作。4.根据权利要求3所述的方法，其中，所述采样操作基于与所述第二数据集相关联的目标压缩率。5.根据权利要求1
‑
4中任一项所述的方法，其中，对多个层和多个子部分进行编码包括：使用光线追踪渲染要编码的像素集；从多个元素图像中选择多个元素图像，使得使用选择的多个元素图像渲染该像素集；以及使用采样操作对所述像素集进行采样。6.根据权利要求3所述的方法，其中，所述采样操作包括根据全光采样方案从所述多个元素图像的对应部分中选择多个元素图像。7.根据权利要求3所述的方法，其中，执行所述采样操作包括：确定与所述层或子部分相关的有效空间分辨率；以及根据确定的角分辨率，从所述多个元素图像的对应部分中选择多个元素图像。8.根据权利要求7所述的方法，其中，所述角分辨率被确定为与与所述层或子部分相关联的场景的部分相关联的方向分辨率的函数。9.根据权利要求7所述的方法，其中，所述角分辨率被确定为与显示设备相关联的视场。10.根据权利要求1
‑
9中任一项所述的方法，其中，所述三维描述包括表示多个元素图像的光场数据。11.根据权利要求10所述的方法，其中，所述多个元素图像中的每一个由一个或多个图像采集设备捕获。12.根据权利要求1
‑
11中任一项所述的方法，其中，所述光场数据包括对应于所述元素图像的深度图。13.根据权利要求1
‑
12中任一项所述的方法，其中，所述第一数据集包括关于场景中包括的表面上的法线方向的信息，所述法线方向相对于参考方向来表示。14.根据权利要求13所述的方法，其中，至少一些所述表面的反射特性是非朗伯的。15.根据权利要求1
‑
14中任一项所述的方法，其中，对层或子部分进行编码还包括：
为该层或子部分获得代表所述场景中对象的相应部分的一个或多个多边形；基于所述一个或多个多边形确定与视图无关的表示；以及在所述第二数据集中对与视图无关的表示进行编码。16.根据权利要求1
‑
15中任一项所述的方法，还包括：接收所述第二数据集；解码所述第二数据集的对应于每个所述层和每个所述子部分的部分；将解码部分组合成光场图像的表示；以及在显示设备上呈现所述光场图像。17.根据权利要求16所述的方法，还包括：接收指示用户相对于所述光场图像的位置的用户输入；以及在所述显示设备上呈现之前，根据所述用户输入更新所述光场图像。18.根据权利要求1
‑
17中任一项所述的方法，其中，位置更靠近所述显示表面的层比位置更远离所述显示表面的具有相同宽度的层实现更低的压缩比。19.根据权利要求1
‑
18中任一项所述的方法，其中，所述第二数据集的所述多个层包括光场。20.根据权利要求19所述的方法，其中，合并所述光场以创建最终光场。21.根据权利要求1
‑
20中任一项所述的方法，其中，划分所述层包括限制每层的深度范围。22.根据权利要求1
‑
21中任一项所述的方法，其中，位置更靠近显示表面的层在宽度上比位置更远离显示表面的层更窄。23.根据权利要求1
‑
22中任一项所述的方法，其中，将所述第一数据集划分为多个层在整个所述场景中保持统一的压缩率。24.根据权利要求1
‑
23中任一项所述...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：阿瓦龙全息照相技术股份公司，
类型：发明
国别省市：