使用具有位置数据的清单来有效递送多相机交互式内容制造技术

公开了涉及对记录的内容进行编码以便分配到其他计算设备的技术。在各种实施方案中，第一计算设备记录该第一计算设备所在的物理环境的内容，该内容能够递送给第二计算设备，该第二计算设备被配置为基于所记录的内容和由一个或多个附加计算设备记录的内容来呈现对应环境。该第一计算设备确定该第一计算设备在该物理环境内的位置并且将该位置编码在能够用于将由该第一计算设备记录的该内容流式传输到该第二计算设备的清单中。所编码的位置能够由该第二计算设备用于确定是否流式传输由该第一计算设备记录的该内容。由该第一计算设备记录的该内容。由该第一计算设备记录的该内容。

【技术实现步骤摘要】
【国外来华专利技术】使用具有位置数据的清单来有效递送多相机交互式内容

技术介绍


[0001]本公开整体涉及计算系统，并且更具体地涉及对记录的内容进行编码以便分配到其他计算设备。
[0002]相关技术描述
[0003]各种流式传输服务已经变得流行，因为它们向用户提供了在各种条件下将内容流式传输到各种设备的机会。为了支持这种能力，已经开发出诸如MPEG
‑
DASH和HLS的各种流式传输协议来考虑这些不同的情况。这些协议通过将内容分解成多个片段并且以质量水平不同的不同格式对这些片段进行编码来工作。当用户想要将内容流式传输到具有小屏幕和不可靠网络连接的移动设备时，该设备可初始下载以具有较低分辨率的格式来编码的视频片段。如果网络连接改善，则移动设备然后可切换到下载以具有较高分辨率和/或较高比特率的另一种格式来编码的视频片段。
附图说明
[0004]图1是例示用于有效地递送多相机交互式内容的系统的一个实施方案的框图。
[0005]图2是例示使用该系统来选择多相机内容以用于递送的呈现设备的一个实施方案的框图。
[0006]图3是例示由系统的相机使用的部件的一个实施方案的框图。
[0007]图4是例示由系统的呈现设备使用的部件的一个实施方案的框图。
[0008]图5A至图5C是例示用于有效地递送多相机交互式内容的方法的实施方案的流程图。
[0009]图6是例示包括在系统的呈现设备、记录设备和/或存储装置中的附加示例性部件的一个实施方案的框图。
[0010]本公开包括对“一个实施方案”或“实施方案”的标引。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
[0011]在本公开内，不同实体(其可被不同地称为“单元”、“电路”、其他部件等)可被描述或声称成“被配置为”执行一个或多个任务或操作。此表达方式—被配置为[执行一个或多个任务]的[实体]—在本文中用于指代结构(即，物理的事物，诸如电子电路)。更具体地，此表达方式用于指示此结构被布置成在操作期间执行一个或多个任务。结构可被说成“被配置为”执行某个任务，即使该结构当前并非正被操作。“被配置为向用户显示三维内容的显示系统”旨在涵盖例如在操作期间执行该功能的液晶显示器(LCD)，即使所考虑的LCD当前未在使用(例如，未连接电源)。因此，被描述或表述成“被配置为”执行某个任务的实体是指用于实施该任务的物理的事物，诸如设备、电路、存储有可执行程序指令的存储器等等。该短语在本文中不被用于指代无形的事物。因此，“被配置为”结构在本文中不被用于指代软
件实体，诸如应用编程接口(API)。
[0012]术语“被配置为”并不旨在意指“可配置为”。例如，未经编程的FPGA不会被认为是“被配置为”执行某个特定功能，虽然其可能“能被配置为”执行该功能并且在编程之后可以“被配置为”执行该功能。
[0013]所附权利要求书中的表述结构“被配置为”执行一个或多个任务明确地旨在对该权利要求要素不援引35U.S.C.
§
112(f)。于是，所提交的本申请中没有任何权利要求旨在要被解释为具有装置
‑
加
‑
功能要素。如果申请人在申请过程中想要援引112(f)部分，则其将使用“用于[执行功能]的装置”结构来表述权利要求的要素。
[0014]如本文所用，术语“第一”、“第二”等充当其之后的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)，除非有明确指出。例如，在具有八个处理核心的处理器中，术语“第一”处理核心和“第二”处理核心可用于指该八个处理核心中的任意两个处理核心。换句话讲，“第一”处理核心和“第二”处理核心不限于例如处理核心0和处理核心1。
[0015]如本文所用，术语“基于”用于描述影响确定的一个或多个因素。该术语不排除可能有附加因素可影响确定。也就是说，确定可仅基于指定的因素或基于所指定的因素及其他未指定的因素。考虑短语“基于B确定A”。此短语指定B是用于确定A的因素或者B影响A的确定。此短语并不排除A的确定也可基于某个其他因素诸如C。该短语还旨在涵盖A仅基于B来确定的实施方案。如本文所用，短语“基于”因此与短语“至少部分地基于”是同义的。
[0016]物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境可对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
[0017]相反，扩展现实(XR)环境(或者计算机生成现实(CGR)环境)是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可检测人的头部移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。又如，XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，XR系统可响应于物理运动的表示(例如，声音命令)来调节XR环境中图形内容的特征。
[0018]人可使用姿态或包括视觉、听觉和触觉的其感觉中的任一者来感测XR对象和/或与XR对象交互。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
[0019]XR的示例包括虚拟现实和混合现实。
[0020]虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感
官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
[0021]混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还结合来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
[0022]在一些MR环境中，计算机生成的感官输入可以对来本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种具有存储于其中的程序指令的非暂态计算机可读介质，所述程序指令能够由第一计算设备执行以使得所述第一计算设备执行包括以下项的操作：记录所述第一计算设备所在的物理环境的内容，其中所述内容能够递送给第二计算设备，所述第二计算设备被配置为基于所记录的内容和由一个或多个附加计算设备记录的内容来呈现对应环境；确定所述第一计算设备在所述物理环境内的位置；以及将所述位置编码在能够用于将由所述第一计算设备记录的所述内容流式传输到所述第二计算设备的清单中，其中所编码的位置能够由所述第二计算设备用于确定是否流式传输由所述第一计算设备记录的所述内容。2.根据权利要求1所述的计算机可读介质，其中以允许所述第二计算设备相对于所述第二计算设备的用户在所述对应环境内观看内容的位置来确定所述第一计算设备记录所述内容的位置的方式来编码所述位置。3.根据权利要求1所述的计算机可读介质，其中所述操作还包括：确定所述第一计算设备在记录所述内容时的位姿；以及将所述位姿编码在所述清单中，其中所编码的位姿能够由所述第二计算设备用于基于所述第二计算设备在呈现所述对应环境时的位姿来确定是否流式传输由所述第一计算设备记录的所述内容。4.根据权利要求1所述的计算机可读介质，其中所述操作还包括：确定所述内容何时被所述第一计算设备记录的参考时间；以及将所述参考时间编码在所述清单中，其中所述参考时间能够由所述第二计算设备连同与由所述一个或多个附加计算设备记录的所述内容相关联的参考时间一起用于将由所述第一计算设备记录的所述内容和由所述一个或多个附加计算设备记录的内容修补在一起以呈现所述对应环境。5.根据权利要求1所述的计算机可读介质，其中所述操作还包括：向所述第二计算设备能够访问以用于流式传输所记录的内容的存储装置提供所记录的内容的片段和所述清单。6.根据权利要求1所述的计算机可读介质，其中所述清单是能够用于经由基于HTTP的活动图像专家组动态自适应流式传输(MPEG
‑
DASH)将所记录的内容流式传输到所述第二计算设备的媒体呈现描述(MPD)。7.根据权利要求1所述的计算机可读介质，其中所述清单是能够用于经由HTTP实况流式传输(HLS)将所记录的内容流式传输到所述第二计算设备的一个或多个.m3u8文件。8.根据权利要求1所述的计算机可读介质，其中所述第一计算设备是头戴式显示器(HMD)，所述HMD被配置为使用所述HMD中所包括的一个或多个前向相机来记录所述内容，并且其中所述对应环境是扩展现实(XR)环境。9.一种具有存储在其中的程序指令的非暂态计算机可读介质，所述程序指令能够由计算设备执行以使所述计算设备执行包括以下项的操作：基于由物理环境内的多个记录设备记录的所述物理环境的内容来呈现对应环境，其中呈现所述对应环境包括：下载标识所述多个记录设备中的第一记录设备在记录所述物理环境的内容时的位置
的清单；以及基于所标识的位置和用户在所述对应环境内观看内容的位置来确定流式传输由所述第一记录设备记录的所述内容。10.根据权利要求9所述的计算机可读介质，其中呈现所述对应环境包括：从所述用户接收更改所述用户在所述对应环境内观看内容的所述位置的输入；响应于所更改的位置：确定中止流式传输由所述第一记录设备记录的所述内容；以及基...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：苹果公司，
类型：发明
国别省市：