用于光场的多路复用渲染的系统和方法技术方案

根据一些实施例的示例方法可以包括：接收标识多视图视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包括视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样；从所述多个表示中选择一所选择的表示；取回所选择的表示；以及渲染所选择的表示。以及渲染所选择的表示。以及渲染所选择的表示。

【技术实现步骤摘要】
【国外来华专利技术】用于光场的多路复用渲染的系统和方法
相关申请的交叉引用
[0001]本申请是2019年3月26日提交的题为“System and Method for Multiplexed Rendering of Light Fields(用于光场的多路复用的系统和方法)”的美国临时专利申请系列号62/823,714的非临时提交，并且按照35U.S.C.
§
119(e)而要求其权益，该美国临时专利申请通过引用而被整体结合于此。

技术介绍

[0002]正在出现许多能够实现视频内容的可调节视点观看的显示技术。由这种可调节视点显示器使用的光场可以包括大量数据。光场数据的处理可能成为网络的瓶颈。

技术实现思路

[0003]根据一些实施例的示例方法可以包括：接收标识多视图(multi
‑
view)视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包含视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样，从所述多个表示中选择所选择的表示；取回(retrieving)所选择的表本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收标识多视图视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包括视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样；从所述多个表示中选择一所选择的表示；取回所选择的表示；以及渲染所选择的表示。2.根据权利要求1所述的方法，其中所述多个表示中的每一表示具有朝向特定相应方向的相应视图密度。3.根据权利要求2所述的方法，其中，所述媒体清单文件针对所述多个表示中的一个或多个表示，标识所述相应视图密度和所述特定相应方向。4.根据权利要求1所述的方法，其中视图的所述两个或更多个不同子采样至少在朝向特定方向的视图的所述子采样的视图密度方面不同。5.根据权利要求1至4中任一项所述的方法，还包括：跟踪所述用户的所述观看方向，其中选择所选择的表示包括：选择视图的所述两个或更多个子采样中的视图的子采样，所选择的视图的子采样具有朝向所跟踪的所述用户的观看方向的高视图密度。6.根据权利要求1至5中任一项所述的方法，还包括：跟踪所述用户的所述观看方向，其中选择所选择的表示包括：基于所跟踪的所述用户的观看方向，选择所选择的表示。7.根据权利要求1至5中任一项所述的方法，还包括：获取所述用户的所述观看方向，其中选择所选择的表示包括：基于所获得的所述用户的观看方向，选择所选择的表示。8.根据权利要求1
‑
7中任一项所述的方法，其中选择所选择的表示是基于用户的位置的。9.根据权利要求1
‑
8中任一项所述的方法，其中，选择所选择的表示是基于带宽约束的。10.根据权利要求1
‑
9中任一项所述的方法，其中，所述多个表示中的至少一个表示包括针对第一观看方向的比针对第二观看方向的更高密度的的视图。11.根据权利要求1
‑
10中任一项所述的方法，还包括：使用所渲染的表示来生成用于显示的信号。12.根据权利要求1至11中任一项所述的方法，还包括：跟踪用户的头部位置，其中选择所选择的表示是基于所述用户的所述头部位置的。13.根据权利要求1至12中任一项所述的方法，还包括：跟踪用户的注视方向，其中选择所选择的表示是基于所述用户的所述注视方向的。14.根据权利要求13所述的方法，还包括：使用所述用户的所述注视方向来确定所述用户的视点，
其中选择所选择的表示包括：基于所述用户的所述视点，选择所选择的表示。15.根据权利要求13所述的方法，还包括：使用所述用户的所述注视方向来确定所述用户的视点；以及选择所述多视图视频的视图的至少一个子采样，其中选择所述视图的所述至少一个子采样包括：在所述用户的所述视点的阈值视点角度内，选择所述视图的至少一个子采样。16.根据权利要求1至15中任一项所述的方法，还包括：对至少一个视图进行内插，其中选择所选择的表示从所述多个表示和所述至少一个视图中选择所选择的表示。17.根据权利要求16所述的方法，其中所述媒体清单文件包括用于一个或多个视图的优先级数据，以及其中内插所述至少一个视图使用所述优先级数据。18.根据权利要求1
‑
17中任一项所述的方法，其中所述媒体清单文件包括用于一个或多个视图的优先级数据，以及其中选择所选择的表示使用所述优先级数据。19.根据权利要求1至18中任一项所述的方法，还包括：获得与所选择的表示相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将所述组合视图合成结果渲染到显示器。20.根据权利要求19所述的方法，其中所述帧包括对应于所选择的表示的两个或更多视图的帧打包表示。21.根据权利要求19
‑
20中的任一项所述的方法，其中对于所述多个表示中的至少一个表示，所述媒体清单文件包括与所述光场内容的两个或更多个视图相对应的信息。22.根据权利要求19
‑
21中任一项所述的方法，其中选择所选择的表示基于以下标准中的至少一者来选择所述表示：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。23.根据权利要求19
‑
22中任一项所述的方法，其中选择所选择的表示包括：预测用户的视点；以及基于所预测的所述用户的视点，选择所选择的表示。24.根据权利要求1至23中任一项所述的方法，还包括：获得与所选择的表示相关联的光场内容；从所获得的光场内容，生成所述光场内容的所生成的视图；以及将所生成的视图渲染到显示器。25.根据权利要求24所述的方法，其中生成所述光场内容的所述所生成的视图包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多个视图，以生成所述所生成的视图，其中所获得的光场内容包括所述光场内容的所述帧。26.根据权利要求1至25中任一项所述的方法，还包括：
解码光场内容的帧；以及组合所述帧中表示的两个或更多个视图，以生成组合视图合成结果，其中所述多视图视频的所述多个表示包括所述光场内容的视图的多个子采样，以及其中渲染所选择的表示包括：将所述组合视图合成结果渲染到显示器。27.根据权利要求1至26中任一项所述的方法，还包括：从服务器请求所述媒体清单文件；以及请求与所选择的视图子集相关联的光场内容，其中获得与所述所选择的视图子集相关联的所述光场内容包括：执行选自由以下各项组成的群组的过程：从所述服务器取回与所选择的视图子集相关联的所述光场内容，从所述服务器请求与所选择的视图子集相关联的所述光场内容，以及接收与所选择的视图子集相关联的所述光场内容。28.根据权利要求26到27中任一权利要求所述的方法，其中组合所述帧中表示的两个或更多个视图包括：使用视图合成技术。29.根据权利要求26到28中任一权利要求所述的方法，其中选择视图的所述多个子采样中的一者是基于以下标准中的至少一者来选择所述视图子集的：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。30.根据权利要求26
‑
29中任一项所述的方法，其中选择视图的所述多个子采样中的一者包括：预测用户的视点；以及基于所预测的所述用户的视点，选择所述视图子集。31.一种装置，包括：处理器；以及一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求1至30中任一项所述的方法。32.一种方法，包括：接收媒体清单文件，所述媒体清单文件包括用于光场视频内容的视图的多个子采样表示的信息；选择所述多个子采样表示中的子采样表示；获得所选择的子采样表示；使用所述清单文件中的分别对应于所述一个或多个视图的所述信息，对来自所选择的子采样表示的一个或多个子视图进行内插；从所述一个或多个子视图合成一个或多个合成视图；以及显示所述一个或多个合成视图。33.根据权利要求32所述的方法，还包括：估计可用于流式传输所述光场视频内容的带宽，其中选择所述多个子采样表示中的所述子采样表示是基于所估计的带宽的。34.根据权利要求32所述的方法，还包括：跟踪用户的位置，
其中选择所述多个子采样表示中的所述子采样表示是基于所述用户的所述位置的。35.根据权利要求32至34中任一项所述的方法，还包括：从服务器请求所述光场视频内容，其中获得所选择的子采样表示包括：执行选自由以下各项组成的群组的过程：从所述服务器取回所选择的子采样表示...

【专利技术属性】
技术研发人员：塔图，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：