以计算机为中介的现实系统的混阶立体混响(MOA)音频数据技术方案

实例装置包含存储器装置，以及耦合到所述存储器装置的处理器。所述存储器被配置成存储声场的多个表示。所述处理器被配置成跟踪由与所述装置相关联的一或多个角度提供的导引角度，以及基于所述导引角度，从存储到所述存储器装置的所述多个表示中选择所述声场的表示。

Mixed order stereo reverberation (MOA) audio data of real system mediated by computer

【技术实现步骤摘要】
【国外来华专利技术】以计算机为中介的现实系统的混阶立体混响(MOA)音频数据本申请案主张2017年6月30日申请的美国临时申请案第62/527,769号的权益，所述申请案的全部内容在此以引用的方式并入本文中。
本公开涉及例如音频数据等媒体数据的处理。
技术介绍
高阶立体混响(HOA)信号(常常由多个球面谐波系数(SHC)或其它分层元素表示)是声场的三维表示。所述HOA或SHC表示可以与用以播放从SHC信号呈现的多通道音频信号的局部扬声器几何布置无关的方式来表示声场。SHC信号还可有助于向后兼容性，这是因为SHC信号可呈现为众所周知的且被高度采用的多通道格式(例如，5.1音频通道格式或7.1音频通道格式)。因此，SHC表示可实现也适应向后兼容性的对声场的更好表示。
技术实现思路
本公开大体上涉及以计算机为中介的现实系统的用户体验的听觉方面，所述以计算机为中介的现实系统包含虚拟现实(VR)、混合现实(MR)、扩增现实(AR)、计算机视觉和图形系统。在一些特定实例中，本公开的各方面是针对伴随以计算机为中介的现实系统的以计算机为中介的感测输入数据的对应视频内容的音频内容的选择、流式传输和重放。在一个实例中，一种装置包含被配置成存储声场的多个表示的存储器装置。在此实例中，所述装置还包含耦合到所述存储器装置的处理器。所述处理器被配置成跟踪由与所述装置相关联的一或多个角度提供的导引角度，以及基于所述导引角度，从存储到所述存储器装置的所述多个表示中选择所述声场的表示。在另一实例中，一种方法包含通过处理器跟踪由与装置相关联的一或多个角度提供的导引角度。所述方法另外包含通过所述处理器并且基于所述导引角度，从存储到与所述处理器耦合的存储器装置的声场的多个表示中选择声场的表示。在另一实例中，一种设备包含用于存储声场的多个表示的装置；用于跟踪由与所述设备相关联的一或多个角度提供的导引角度的装置；和用于基于所述导引角度，从所述所存储的多个表示中选择所述声场的表示的装置。在另一实例中，使用指令编码非暂时性计算机可读存储媒体，所述指令在被执行时致使装置的处理器跟踪由与所述装置相关联的一或多个角度提供的导引角度；和基于所述导引角度，从存储到所述非暂时性计算机可读存储媒体的声场的多个表示中选择声场的表示。在附图和以下描述中阐明本专利技术的一或多个实例的细节。其它特征、目标和优势将从所述描述和图式以及从权利要求书中显而易见。附图说明图1是说明具有各种阶数和子阶数的球面谐波基底函数的图式。图2是说明可执行本公开中描述的技术的各个方面的系统的图式。图3是说明声场的混阶立体混响表示的不均匀空间分辨率分布的方面的图式。图4A是说明声场的全三阶HOA表示与相同声场的混阶立体混响表示之间的差异的图式，在所述混阶立体混响表示中，水平区与其余的区相比具有较高空间分辨率。图4B是说明可如何根据声场的基于对象的表示在多通道音频数据的前景和背景中呈现各个音频对象的图式。图5是说明相同声场的各个混阶立体混响表示的空间分辨率与对应VR导引角度之间的关系的图式，内容消费者装置14可将每一MOA表示与所述对应VR导引角度相关联。图6A和6B说明本公开的内容消费者装置可基于头戴装置的导引角度选择的相同声场的不同混阶立体混响表示。图7A和7B是说明流式传输服务器或虚拟现实(VR)装置可响应于从流式传输客户端接收的请求而提供声场的特定混阶立体混响表示所依据的本公开的各方面的图式。图8是说明可由图7的音频流选择器执行以便请求基于头戴装置的导引角度的特定声场表示的流式传输的算法的图式。图9A和9B是说明用以展现全景视频数据的显示器的模型表示的图式。图10是说明柱面全景视频数据的实例的图式。图11是说明划分成区的实例画布的图式。图12是说明实例画布与对应立方体图视图之间的对应关系的图式。图13是说明本公开的一或多个以计算机为中介的现实系统可使用的头戴装置的实例的图式。图14是说明可执行本公开中描述的技术的各个方面的系统的另一实例的图式。图15是说明根据本公开的一或多个方面的以计算机为中介的现实装置可执行的实例过程的流程图。具体实施方式一般来说，本公开是针对用于在以计算机为中介的现实系统的用户体验期间选择用于重放的声场表示的技术。以计算机为中介的现实技术包含各种类型的内容产生和内容消费系统，例如虚拟现实(VR)、混合现实(MR)、扩增现实(AR)、计算机视觉和图形系统。虽然为易于论述借助于实例关于虚拟现实系统描述本公开的数个方面，但应了解，本公开的技术还适用于其它类型的以计算机为中介的现实技术，例如混合现实、扩增现实、计算机视觉和图形系统。虚拟现实系统可利用用户的视场(FoV)信息编辑和输出为服务用户的FoV定制的球面视频数据。球面视频数据是指例如针对虚拟现实应用或其中用户可移动其头部以看见当将焦点指向画布的单个点处时无法看见的图像画布的不同部分的其它类似情境，部分或完全环绕观看者的头部的视频数据。具体来说，可当观看者将视觉焦点指向例如部分或完全包围观看者的头部的三维画布的大画布的特定部分时应用这些技术。可使用屏幕的组合(例如，一组环绕用户的屏幕)或经由头戴式光学器件提供包围用户的头部的球面视频数据。可提供头戴式光学器件的硬件的实例包含VR头戴装置、MR头戴装置、AR头戴装置和各种其它装置。可使用感测数据和/或测试数据确定用户的的FoV。作为感测数据的一个实例，与VR头戴装置的定位相关联的一或多个角度形成头戴装置的“导引角度”并且可指示用户的FoV。作为感测数据的另一实例，用户的注视角度(例如经由虹膜检测感测到)可指示用户的FoV。可使用一组特性编码和准备(例如，用于存储和/或发射)球面视频数据和对应音频数据。关于球面视频数据，可使用例如画布的不同区的空间分辨率、3D画布的不同区的位速率(可使用各个量化参数达成)等特性编码和准备所述数据。举例来说，可在3D画布的处于用户的FoV中的一或多个表面处对球面视频数据进行升取样，以增强用户体验的视觉方面。然而，现有VR系统不会为了符合用户的FoV而编码对应声场的不同表示。举例来说，多个“目前最先进的水平”VR系统在整个VR体验中呈现和重放3D声场的全HOA表示。因而，现有VR系统在整个VR体验中提供全定向3D音频。因此，虽然现有VR系统在VR用户体验的整个持续时间内提供高质量定向音频重放，但现有VR系统在VR体验的整个持续时间内可消耗较大计算资源来维持全定向3D音频馈给。此外，现有VR系统不会在任何时间为了符合用户的FoV而定制音频重放。本公开是针对用于基于用户的FoV选择声场表示的技术。本公开的系统可存储或以其它方式存取相同声场的与当前VR体验相关联的多个表示。继而，本公开的系统可检测用户的FoV并且选择特定声场表示，所述特定声场表示提供与处于用户的FoV中的视频对象相关联的音频对象的全定向音频数据，并且提供与在用户的FoV外部的视频对象本文档来自技高网...

【技术保护点】
1.一种装置，其包括：/n存储器装置，其被配置成存储声场的多个表示；和/n处理器，其耦合到所述存储器装置，所述处理器被配置成：/n跟踪由与所述装置相关联的一或多个角度提供的导引角度；和/n基于所述导引角度，从存储到所述存储器装置的所述多个表示中选择所述声场的表示。/n

【技术特征摘要】
【国外来华专利技术】20170630 US 62/527,769;20170808 US 15/672,0581.一种装置，其包括：
存储器装置，其被配置成存储声场的多个表示；和
处理器，其耦合到所述存储器装置，所述处理器被配置成：
跟踪由与所述装置相关联的一或多个角度提供的导引角度；和
基于所述导引角度，从存储到所述存储器装置的所述多个表示中选择所述声场的表示。


2.根据权利要求1所述的装置，其另外包括耦合到所述处理器的一或多个扩音器，所述一或多个扩音器被配置成基于所述声场的所述所选择的表示来再现所述声场。


3.根据权利要求1所述的装置，其另外包括相机，所述相机被配置成捕获包含与佩戴所述装置的用户相关联的注视角度的图像。


4.根据权利要求3所述的装置，其中耦合到所述相机的所述处理器被配置成确定与所述用户相关联的所述注视角度，并且基于所述注视角度跟踪所述导引角度。


5.根据权利要求1所述的装置，其另外包括显示器，所述显示器被配置成表示基于所述导引角度的观看角度处的图像序列。


6.根据权利要求1所述的装置，其另外包括耦合到所述存储器的网络接口，所述网络接口被配置成将交换消息传送到与存储到所述存储器的所述声场的所述多个表示相关联的外部装置。


7.根据权利要求6所述的装置，其另外包括耦合到所述网络接口的天线，所述天线被配置成接收包含与所述声场的所述多个表示相关联的数据包、音频包、视频包或传输协议数据的无线信号。


8.根据权利要求1所述的装置，其另外包括被配置成捕获所述声场的一或多个麦克风阵列。


9.根据权利要求1所述的装置，其中存储到所述存储器装置的所述声场的所述多个表示包括以下多个：所述声场的基于对象的表示、所述声场的高阶立体混响表示、所述声场的混阶立体混响表示、所述声场的基于对象的表示与所述声场的高阶立体混响表示的组合、所述声场的基于对象的表示与所述声场的混阶立体混响表示的组合，或所述声场的混阶表示与所述声场的高阶立体混响表示的组合。


10.根据权利要求1所述的装置，其中在存储到所述存储器装置的所述声场的所述多个所述表示中的所述声场的一或多个表示包含至少一个高分辨率区和至少一个较低分辨率区，且其中基于所述导引角度的所选择的展现提供关于所述至少一个高分辨率区的较大空间精确度和关于所述较低分辨率区的较小空间精确度。


11.根据权利要求1所述的装置，其中所述装置包括虚拟现实头戴装置、混合现实头戴装置或扩增现实头戴装置中的一个。


12.一种方法，其包括：<...

【专利技术属性】
技术研发人员：尼尔斯·京特·彼得斯，迪帕简·森，托马斯·斯托克哈默，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US