用于计算机生成现实的媒体合成器制造技术

一种具体实施使用与计算机生成的现实(CGR)体验相关的多个数据流来形成CGR内容的合成流以有利于记录或流式传输。媒体合成器获取渲染帧的第一数据流和附加数据的第二数据流。渲染帧内容(例如，3D模型)表示在多个时间点处的CGR体验期间呈现的真实内容和虚拟内容。第二数据流的附加数据涉及CGR体验，例如，与音频、音频源、识别CGR体验的检测到的属性的元数据、图像数据、来自涉及CGR体验的其他设备的数据等有关。媒体合成器形成合成流，该合成流使所述渲染帧内容与多个时间点的附加数据对齐，例如，通过形成对应于单个时间点的时间戳n维数据集(例如，图像)。

Media synthesizer for computer generated reality

【技术实现步骤摘要】
用于计算机生成现实的媒体合成器相关申请的交叉引用本申请要求2018年8月6日提交的美国临时申请序列号62/714,869的权益，该申请全文以引用方式并入本文。
本公开整体涉及三维(3D)内容，并且具体地涉及用于记录或流式传输计算机生成现实(CGR)内容的系统、方法和设备。
技术介绍
现有计算系统和应用程序不能充分促进CGR内容的记录或流式化。
技术实现思路
本文所公开的各种具体实施包括将与CGR体验相关联的多个数据流合成以形成合成流以有利于CGR内容的记录或流式传输的设备、系统和方法。合成流可被存储用于稍后回放或实时流式传输以在一个或多个其他设备上进行实时回放。合成流表示CGR内容，其本身可以是真实内容，自身渲染的内容(例如，仅VR内容)，内容的3D表示(例如，未渲染的模型)，或它们的组合。一些具体实施涉及在具有一个或多个处理器和计算机可读存储介质的设备处执行操作。该设备获得包括渲染帧的第一数据流和包括附加数据的一个或多个附加数据流。渲染帧内容(例如，2D图像或3D模型)表示在多个时间点的CGR体验中呈现的真实内容或虚拟内容。一个或多个附加数据流的附加数据与多个时间点处的CGR体验相关。在一个示例中，附加数据是来自作为CGR体验一部分的真实或虚拟音频源的音频。在另一个示例中，附加数据是识别CGR体验的检测到的属性的元数据，诸如实际物理特性(例如，照明，温度等)，涉及CGR体验或在CGR体验中检测到的人等。在另一个示例中，附加数据为来自作为相同共享CGR体验一部分的第二设备的渲染帧内容，这可能来自不同的查看透视图。设备使用数据流(例如，使用来自第一数据流和第二数据流的数据)形成合成流。合成流使渲染帧内容与多个时间点的附加数据对齐。例如，音频片段可与在相同时间点处或周围呈现的对应渲染帧相关联。又如，关于人的身份的元数据与该人在其中出现的渲染帧相关联。在一些具体实施中，合成流具有合成帧，每个合成帧提供对应于单个时间点或时间片段的时间戳n维数据集(例如，图像)。此类n维数据集/图像的尺寸可对应于所述渲染帧以及附加数据(例如，音频，元数据，捕获的图像等)的两个或三个维度。合成流可存储为CGR体验的记录或实时流式传输以允许其他人经由其他设备体验CGR内容。一些具体实施提供了合成流，其包括关于CGR体验的比传统视频记录技术的屏幕和音频捕获信息更丰富的信息。合成流可包括关于CGR体验中的真实对象或虚拟对象的3D几何形状的信息。在合成流中包括真实对象或虚拟对象的3D模型能够增强记录或实时流式传输的观看者的体验，例如允许观看者从不同于创作者的视点的视点体验场景，从而允许观看者移动或旋转对象。又如，在合成流中包括音频源信息同样能够增强体验，例如，允许观看者基于其自身的头部取向，相对于音频源的相对定位等来体验声音。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；这一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且这一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。附图说明因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。图1为根据一些具体实施的示例性操作环境的框图，其中提供CGR环境的设备创建第一时间点的CGR体验的合成体。图2为根据一些具体实施的创建第二时间点的CGR体验的合成体的图1的设备的框图。图3为根据一些具体实施的创建第三时间点的CGR体验的合成体的图1的设备的框图。图4为根据一些具体实施的创建第四时间点的CGR体验的合成体的图1的设备的框图。图5A为根据一些具体实施的基于图1至图4的合成体的合成流以及使用合成流来重放CGR体验的框图。图5B为合成流以及在另一个设备上使用合成流来重放CGR体验的框图。图6为示出了根据一些具体实施的示例性设备的设备部件的框图。图7为示出了根据一些具体实施的示例性媒体合成器的框图。图8为表示用于使用与CGR体验相关联的多个数据流来创建合成流的方法的流程图。根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。具体实施方式描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。参见图1，其示出了一些具体实施的示例性操作环境。通常，操作环境包括呈现CGR内容20的设备10，所述CGR内容描绘基于真实世界场景5的一个或多个图像的CGR环境。CGR环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，所述音频对象创建3D或空间音频环境，所述3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像为虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在具有处理器和计算机可读存储介质的设备处：/n获得包括渲染帧的第一数据流，所述渲染帧包括渲染帧内容，所述渲染帧内容表示在多个时间点处的用户体验期间渲染的真实内容和虚拟内容；/n获得第二数据流，所述第二数据流包括与所述多个时间点处的所述用户体验相关的附加数据；以及/n基于所述第一数据流和所述第二数据流来形成合成流，所述合成流使所述渲染帧内容与所述附加数据对齐，以记录所述多个时间点的内容。/n

【技术特征摘要】
20180806 US 62/714,8691.一种方法，包括：
在具有处理器和计算机可读存储介质的设备处：
获得包括渲染帧的第一数据流，所述渲染帧包括渲染帧内容，所述渲染帧内容表示在多个时间点处的用户体验期间渲染的真实内容和虚拟内容；
获得第二数据流，所述第二数据流包括与所述多个时间点处的所述用户体验相关的附加数据；以及
基于所述第一数据流和所述第二数据流来形成合成流，所述合成流使所述渲染帧内容与所述附加数据对齐，以记录所述多个时间点的内容。


2.根据权利要求1所述的方法，还包括通过在非暂态计算机可读介质上记录所述合成流来记录所述用户体验。


3.根据权利要求1至2中任一项所述的方法，还包括通过根据预先确定的实时流式传输格式对所述合成流进行编码来实时流式传输所述体验。


4.根据权利要求1至3中任一项所述的方法，其中所述合成流包括表示所述虚拟内容或所述真实内容的三维(3D)几何形状的3D模型。


5.根据权利要求1至4中任一项所述的方法，其中所述附加数据包括音频。


6.根据权利要求1至5中任一项所述的方法，还包括识别在所述用户体验期间产生音频的真实或虚拟音频源，其中所述合成流识别所述真实或虚拟音频源。


7.根据权利要求1至6中任一项所述的方法，其中所述附加数据包括与所述多个时间点中的单个时间点相关联的元数据。


8.根据权利要求7所述的方法，其中所述元数据识别所述用户体验的真实物理特性(例如，照明、温度)。


9.根据权利要求7所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的人。


10.根据权利要求7所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的用户的身体部位。


11.根据权利要求1至10中任一项所述的方法，其中所述附加数据包括来自与所述设备分开的第二设备的所述用户体验的第二渲染内容。


12.根据权利要求1至11中任一项所述的方法，其中所述附加数据流包括与所述多个时间点的用户视点相关联的所述用户体验的2D视图的帧流。


13.根据权利要求12所述的方法，其中所述帧流包括裁切的帧，所述裁切的帧各自...

【专利技术属性】
技术研发人员：A·M·莫夫肖维奇，G·S·桑德，P·A·卡罗，R·德赛，V·M·达格涅尼，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US