声场调整制造技术

一种设备，包括一个或多个处理器，其被配置为从音频源获取声音信息。一个或多个处理器还被配置为基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。一个或多个处理器还被配置为生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。一个或多个处理器还被配置为经由无线传输将音频数据作为流式数据向回放设备发送。式数据向回放设备发送。式数据向回放设备发送。

【技术实现步骤摘要】
【国外来华专利技术】声场调整
[0001]相关申请的交叉引用
[0002]本申请要求所共有的2020年6月29日提交的临时专利申请第63/045,297号；2020年7月17日提交的临时专利申请第63/053,331号；以及2021年6月28日提交的美国非临时专利申请第17/360,895号的优先权权益，其中每个专利申请的内容通过引用全部明确并入本文。


[0003]本公开大体上涉及调整声场。

技术介绍

[0004]技术的进步已经导致了更小和更强大的计算设备。例如，目前存在各种便携式个人计算设备，包括诸如移动和智能电话的无线电话、平板电脑和膝上型计算机，它们小巧、重量轻且易于用户携带。这些设备可以通过无线网络传送语音和数据分组。此外，很多这样的设备合并了附加功能，诸如数码相机、数字摄像机、数字记录器和音频文件播放器。而且，这种设备可以处理可执行指令，包括可用于访问互联网的软件应用程序(诸如网络浏览器应用程序)。因此，这些设备可以包括显著的计算能力。
[0005]这种设备的一个应用包括向用户提供无线沉浸式音频。作为示例，用户佩戴的耳机设备可以从远程服务器接收流式(streaming)音频数据以向用户回放。为了说明，耳机设备检测用户头部的旋转并向远程服务器发送头部跟踪信息。远程服务器基于头部跟踪信息更新音频场景，基于更新后的音频场景生成双耳音频数据，并向耳机设备发送双耳音频数据以向用户回放。
[0006]在远程服务器处执行音频场景更新和双耳音频化使用户能够经由具有相对有限的处理资源的耳机设备来体验沉浸式的音频体验。然而，由于与向远程服务器发送头部跟踪信息、基于头部旋转更新音频数据以及向耳机设备发送更新后的双耳音频数据相关联的时延，这样的系统会导致不自然的高的运动到声音(motion
‑
to
‑
sound)时延。换句话说，用户头部的旋转与在用户耳朵处播放的对应修改后的空间音频之间的时间延迟可能不自然地长，这可能降低用户的体验。

技术实现思路

[0007]根据本文公开的技术的特定实现，一种设备包括被配置为从音频源获取声音信息的一个或多个处理器。一个或多个处理器还被配置为基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。一个或多个处理器还被配置为生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。一个或多个处理器还被配置为经由无线传输将音频数据作为流式数据向回放设备发送。
[0008]根据本文公开的技术的特定实现，一种方法包括：从音频源获取音频信息，以及基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。该方法还包括生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。该方法还包括经由无线传输将音频数据作为流式数据向回放设备发送。
[0009]根据本文公开的技术的特定实现，一种设备包括用于从音频源获取声音信息的部件。该装置还包括用于基于与回放设备相关联的时延标准来选择压缩模式或旁路模式的部件，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。该装置还包括用于生成音频数据的部件，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。该装置还包括用于经由无线传输将音频数据作为流式数据向回放设备发送的部件。
[0010]根据本文公开的技术的特定实现，一种包括指令的非暂时性计算机可读介质，该指令在由一个或多个处理器执行时，使一个或多个处理器从音频源获得声音信息。该指令在被执行时还使一个或多个处理器基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。该指令在被执行时还使一个或多个处理器生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。该指令在被执行时还使一个或多个处理器经由无线传输将音频数据作为流式数据向回放设备发送。
[0011]根据本文公开的技术的另一特定实现，一种设备包括一个或多个处理器，其被配置为经由无线传输从回放设备接收与回放设备的姿态相关联的数据。一个或多个处理器还被配置为基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。一个或多个处理器还被配置为生成对应于声场的所选择的表示的音频数据。一个或多个处理器还被配置为经由无线传输将音频数据作为流式数据向回放设备发送。
[0012]根据本文公开的技术的另一特定实现，一种方法包括在设备处经由无线传输从回放设备接收与回放设备的姿态相关联的数据。该方法还包括基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。该方法还包括在设备处生成对应于声场的所选择的表示的音频数据。该方法还包括经由无线传输将音频数据作为流式数据从设备向回放设备发送。
[0013]根据本文公开的技术的另一特定实现，一种非暂时性计算机可读存储介质存储指令，该指令在由一个或多个处理器执行时，使得一个或多个处理器经由无线传输从回放设备接收与回放设备的姿态相关联的数据。该指令在由一个或多个处理器执行时还使一个或多个处理器基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。该指令在由一个或多个处理器执行时还使一个或多个处理器生成对应于声场的所选择的表示的音频
数据。该指令在由一个或多个处理器执行时还使一个或多个处理器经由无线传输将音频数据作为流式数据向回放设备发送。
[0014]根据本文公开的技术的另一特定实现，一种装置包括用于经由无线传输从回放设备接收与回放设备的姿态相关联的数据的部件。该装置还包括用于基于该数据从声场的多个表示中选择声场的特定表示的部件。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。该装置还包括用于生成对应于声场的所选择的表示的音频数据的部件。该装置还包括用于经由无线传输将音频数据作为流式数据向回放设备发送的部件。
[0015]根据本文公开的技术的另一特定实现，设备包括一个或多个处理器，其被配置为经由无线传输从流式设备接收表示声场的经编码的全景声(ambisonics)音频数据。该一个或多个处理器还被配置为执行对全景声音频数据的解码以生成经解码的全景声音频数据。全景声音频数据的解码包括经编本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：一个或多个处理器，其被配置为：从音频源获取声音信息；基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在所述压缩模式下，所述声音信息的表示在传输到所述回放设备之前被压缩，在所述旁路模式下，所述声音信息的表示在传输到所述回放设备之前不被压缩；生成音频数据，所述音频数据基于所述压缩模式或所述旁路模式中的所选择的一个而包括所述声音信息的压缩表示或者所述声音信息的未压缩表示；以及经由无线传输将所述音频数据作为流式数据向所述回放设备发送。2.根据权利要求1所述的设备，其中，所述声音信息的所述表示包括全景声数据，并且对应于表示二维(2D)声场的2D音频数据或表示三维(3D)声场的3D音频数据中的至少一个。3.根据权利要求1所述的设备，其中，所述时延标准基于与流式数据相关联的回放时延是否超过时延阈值，并且其中，所述一个或多个处理器还被配置为：从所述回放设备接收与所述流式数据相关联的所述回放时延超过所述时延阈值的指示；以及基于接收到所述指示来选择所述旁路模式。4.根据权利要求1所述的设备，其中，所述时延标准基于从所述设备到所述回放设备的无线链路的带宽。5.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：确定到所述回放设备的无线链路对应于较高带宽无线链路还是对应于较低带宽无线链路；以及基于所述无线链路对应于所述较高带宽无线链路来选择所述旁路模式。6.根据权利要求5所述的设备，其中，所述较高带宽无线链路对应于第五代(5G)蜂窝数字网络或WiFi类型网络。7.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：确定到所述回放设备的无线链路对应于较高带宽无线链路还是对应于较低带宽无线链路；以及基于所述无线链路对应于所述较低带宽无线链路来选择所述压缩模式。8.根据权利要求7所述的设备，其中，所述较低带宽无线链路对应于蓝牙网络。9.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：从所述回放设备接收对压缩音频数据或未压缩音频数据的请求；以及基于所述请求来选择所述旁路模式或所述压缩模式。10.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为在所述旁路模式下，基于从所述设备到所述回放设备的无线链路的带宽，丢弃所述未压缩表示的高分辨率部分。11.根据权利要求10所述的设备，其中，所述未压缩表示包括全景声系数，并且其中，所述未压缩表示的所述高分辨率部分对应于所述全景声系数的子集。12.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：从所述回放设备接收对应于与所述回放设备的移动相关联的位置和方位的数据；
基于所接收到的数据更新所述声音信息以改变声场；以及经由无线传输向所述回放设备发送表示所述声场的压缩音频数据，以使所述回放设备能够对表示所述声场的所述压缩音频数据进行解压，基于与所述设备相关联的所述方位来调整所述解压音频数据以改变所述声场，并将经调整的解压音频数据输出到两个或更多个扬声器。13.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：从所述回放设备接收对应于与所述回放设备的移动相关联的位置和方位的数据；基于所接收到的数据更新所述声音信息以改变声场；以及经由无线传输向所述回放设备发送表示所述声场的未压缩音频数据，以使所述回放设备能够基于与所述设备相关联的所述方位来调整所述音频数据以改变所述声场，并将经调整的音频数据输出到两个或更多个扬声器。14.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：从所述回放设备接收平移数据，所述平移数据对应于与所述回放设备相关联的平移；以及基于所述平移将所述声音信息转换为表示声场的音频数据。15.根据权利要求1所述的设备，其中，所述一个或多个处理器集成在便携式电子设备中。16.根据权利要求1所述的设备，其中，所述一个或多个处理器集成在服务器中。17.根据权利要求1所述的设备，还包括被配置为对所述音频数据进行调制以向所述回放设备传输的调制解调器...

【专利技术属性】
技术研发人员：I，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：