用于视听内容的可变音频制造技术

本公开涉及用于视听内容的可变音频。本文所公开的各种具体实施包括根据一些具体实施基于上下文修改回放AV内容的音频的设备、系统和方法。在一些具体实施中，获得物理环境的视听内容，并且该视听内容包括视觉内容和音频内容，该音频内容包括与该视觉内容对应的多个音频部分。在一些具体实施中，确定用于呈现该视听内容的上下文，并且基于该上下文确定该多个音频部分中的一个或多个音频部分与该视觉内容之间的时间关系。然后，基于该时间关系呈现合成视听内容。合成视听内容。合成视听内容。

【技术实现步骤摘要】
用于视听内容的可变音频
[0001]相关申请的交叉引用
[0002]本申请要求2020年7月16日提交的美国临时申请序列号63/052,519的权益，该申请全文以引用方式并入本文。


[0003]本公开整体涉及用于捕获视听(AV)内容或所捕获AV内容的回放的系统、方法和设备。

技术介绍

[0004]存在用于捕获AV内容的各种技术。然而，用于回放AV内容的现有技术具有各种缺陷。

技术实现思路

[0005]本文所公开的各种具体实施包括基于上下文在回放期间呈现或修改所捕获的AV内容的音频的设备、系统和方法。在一些具体实施中，基于用户的动作和/或用户的位置来确定该上下文。上下文可包括AV内容是被选择还是未被选择，用户是正看向AV内容还是将视线背离AV内容，或者用户是否在扩展现实(XR)环境中处于该AV内容的规定距离内。
[0006]在一个示例中，AV内容包括照片，并且基于照片未被选择、用户正看向照片之外的某物、用户在XR环境中站在距照片超过阈值距离的位置处或者用户在XR环境中移动远离照片来识别第一上下文。基于检测到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：在具有处理器的电子设备处：获得物理环境的视听内容，其中所述视听内容包括视觉内容和音频内容，所述音频内容包括与所述视觉内容对应的多个音频部分；确定用于呈现所述视听内容的上下文；确定所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的时间关系，所述时间关系基于所述上下文来确定；以及基于所述时间关系呈现合成视听内容。2.根据权利要求1所述的方法，其中所述多个音频部分包括视听AV捕获设备的用户的音频、低频音频、环境音频或多个空间化音频流，其中所述视觉内容至少包括2D图像、3D图像、2D图像序列或3D图像序列、3D照片或包括对应音频的3D视频。3.根据权利要求1所述的方法，所述方法还包括基于与所述物理环境的所述视听内容一起包括的元数据或对应视觉内容的场景分析来对所述多个音频部分的区段进行语义标记。4.根据权利要求3所述的方法，其中所述元数据包括与所述AV捕获设备相关的信息，包括所述AV捕获设备的姿态、移动、传感器和传感器数据；与所述AV捕获设备的用户相关的信息，包括注视、身体移动和操作输入；与所述AV捕获设备在捕获期间的环境相关的信息；或与场景或所述视觉内容相关的信息。5.根据权利要求1所述的方法，所述方法还包括基于对所述音频内容的分析来对所述多个音频部分的至少一个区段进行语义标记，其中对所述多个音频部分的至少一个区段进行语义标记由所述AV捕获设备、处理电子设备或所述电子设备执行。6.根据权利要求1所述的方法，其中所述音频内容与所述视觉内容脱离。7.根据权利要求1所述的方法，其中确定用于呈现所述视听内容的上下文基于用户在包括所述视听内容的表示的扩展现实XR环境中的动作。8.根据权利要求1所述的方法，其中确定用于呈现所述视听内容的所述上下文包括至少确定是否基于用户动作选择所述视听内容，以及确定所述用户与所述视听内容的表示之间的空间距离。9.根据权利要求1所述的方法，其中所述时间关系基于所述多个音频部分的语义来确定。10.根据权利要求1所述的方法，其中所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的所述时间关系包括第一音频循环与所述视觉内容的静态表示之间的关联以及第二音频循环与所述视觉内容的循环表示之间的关联。11.根据权利要求1所述的方法，其中所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的所述时间关系包括点源音频部分与所述视觉内容之间的关联、立体声音频部分与所述视觉内容之间的关联、环境音频部分与所述视觉内容之间的关联，以及空间化音频部分与所述视觉内容之间的关联。12.根据权利要求1所述的方法，其中确定所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的时间关系包括增强或减少针对所述视觉内容的所述音频内容。13.根据权利要求1所述的方法，其中呈现所述合成视听内容将所述视觉内容呈现在虚<...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：苹果公司，
类型：发明
国别省市：