用于自适应小透镜光场传输和渲染的系统和方法技术方案

方法的一些实施例可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。方法的一些实施例可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图。插视图。插视图。

【技术实现步骤摘要】
【国外来华专利技术】用于自适应小透镜光场传输和渲染的系统和方法
相关申请的交叉引用
[0001]本申请是在2019年7月23日提交的标题为“SYSTEM AND METHOD FOR ADAPTIVE LENSLET LIGHT FIELD TRANSMISSION AND RENDERING(用于自适应小透镜光场传输和渲染的系统和方法)”的美国临时专利申请序列号62/877,574的非临时申请，并按照35 U.S.C.
§
119(e)要求其权益，该申请通过引用整体结合于此。

技术介绍

[0002]作为3D场景的表示的高保真光场可能包含大量数据。为了支持实时传输和可视化，可以使用有效的数据分发优化方法。为了压缩传统的2D视频，已经开发了各种无损和有损比特率缩减和压缩方法。

技术实现思路

[0003]根据一些实施例的示例方法可以包括：从服务器接收描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；从所述多个子采样小透镜(sub
‑
sampled lenslet)表示中选择一子采样小透镜表示；从所述服务器检索(retr本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从服务器接收描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；从所述多个子采样小透镜表示中选择子采样小透镜表示；从所述服务器检索所述选择的子采样小透镜表示；使用所述清单文件中的所选择的子采样小透镜表示的所述描述，从检索到的所选择的子采样小透镜表示内插视图；以及显示所内插的视图。2.根据权利要求1所述的方法，还包括：确定可用于流式传输所述光场视频内容的估计带宽。3.根据权利要求1
‑
2中任一项所述的方法，其中选择所述子采样小透镜表示基于以下中的至少一个来选择所述子采样小透镜表示：用户的视点、估计带宽或观看客户端的显示能力。4.根据权利要求1
‑
3中任一项所述的方法，还包括预测所述用户的预测视点，其中，所述用户的所述视点是所述用户的所述预测视点。5.根据权利要求1至4中任一项所述的方法，其中选择所述子采样小透镜表示包括：确定所述多个子采样小透镜表示中至少一个子采样小透镜表示的相应最小支持带宽；以及选择所述子采样小透镜表示，所述子采样小透镜表示具有所述多个相应最小支持带宽中小于所述估计带宽的最大最小支持带宽。6.根据权利要求1至5中任一项所述的方法，还包括：确定由所述估计带宽支持的估计最大内容大小，其中选择所述子采样小透镜表示选择所述多个子采样小透镜表示中具有小于所述估计最大内容大小的一个子采样小透镜表示。7.根据权利要求1至6中任一项所述的方法，还包括：跟踪用户的注视方向，其中所述选择所述子采样小透镜表示使用所述用户的所述注视方向。8.根据权利要求1
‑
7中任一项所述的方法，其中选择所述子采样小透镜表示包括：选择具有高于位于所述用户的所述注视方向的注视阈值内的所述光场内容的部分的密度阈值的密度的子采样小透镜表示。9.根据权利要求1至8中任一项所述的方法，还包括：预测用户的视点；以及针对所述预测视点，调整所选择的小透镜表示。10.根据权利要求1至9中任一项所述的方法，还包括：选择光场空间分辨率；将所述光场内容划分成与所述光场空间分辨率相对应的部分；以及为所述光场内容的至少一部分的至少一个子采样小透镜表示的至少一帧，选择小透镜图像，其中选择所述子采样小透镜表示为所述光场内容的至少一部分选择相应的子采样小
透镜表示，以及其中，从所述子采样小透镜表示内插视图使用所述相应的小透镜图像。11.根据权利要求1
‑
10中任一项所述的方法，还包括：调整所述光场空间分辨率以改进所内插的视图的性能度量。12.根据权利要求1
‑
11中任一项所述的方法，其中从检索到的子采样小透镜表示内插视图包括：将检索到的子采样小透镜表示拆包为清单文件中指示的光场视频内容的部分的原始小透镜位置；以及内插从检索到的子采样小透镜表示中省略的小透镜样本。13.根据权利要求1
‑
12中任一项所述的方法，其中从检索到的子采样小透镜表示内插视图生成所述光场视频内容的所述部分的完整光场区域图像。14.根据权利要求1
‑
13中任一项所述的方法，其中选择所述子采样小透镜表示基于以下中的至少一个来选择所述子采样小透镜表示：所选择的子采样小透镜表示的密度，或所选择的子采样小透镜表示的范围。15.一种装置，包括：处理器；以及一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求1至14中任一项所述的方法。16.一种方法，包括：从媒体清单文件中描述的光场内容的部分的多个小透镜表示中选择一小透镜表示；从服务器检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图。17.根据权利要求16所述的方法，还包括：检索描述光场视频内容的部分的多个小透镜表示的媒体清单文件；以及显示所内插的视图。18.根据权利要求16
‑
17中任一项所述的方法，其中从检索到的子采样小透镜表示内插所述视图使用所述清单文件中的所述小透镜表示的所述描述。19.根据权利要求16至18中任一项所述的方法，还包括：确定客户端和服务器之间的估计带宽，其中选择所述小透镜表示使用所述估计带宽。20.根据权利要求16至19中任一项所述的方法，其中所述多个小透镜表示中的至少一个小透镜表示的所述描述包括：关于相...

【专利技术属性】
技术研发人员：塔图，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：