对波束成形信号进行分类用于双耳音频回放的系统和方法技术方案

所公开的计算机实现的方法可以包括接收在可佩戴设备上的音频换能器阵列的每个信道的信号。该方法还可以包括针对用于可佩戴设备的波束成形滤波器集合的每个波束方向，计算波束成形信号。另外，该方法可以包括将来自计算出的波束成形信号的第一波束成形信号分类为第一声音类别，并将来自计算出的波束成形信号的第二波束成形信号分类为第二声音类别。该方法还可以包括基于该分类来调整第一波束成形信号相对于第二波束成形信号的增益。此外，该方法可以包括基于用户的位置，将波束成形信号转换为空间化双耳音频。最后，该方法可以包括将空间化双耳音频发送到回放设备。还公开了各种其他方法、系统和计算机可读介质。系统和计算机可读介质。系统和计算机可读介质。

【技术实现步骤摘要】
【国外来华专利技术】对波束成形信号进行分类用于双耳音频回放的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年11月1日提交的第62/929,770号美国临时申请的权益，该美国临时申请的公开内容通过该引用以其整体并入。
[0003]概述
[0004]可佩戴设备(例如虚拟或增强现实系统)使用户能够体验各种虚拟环境，而无需身临其境。例如，用户可以观看在遥远的位置捕获的视频或收听在遥远的位置捕获的音频，以便沉浸在这些位置的环境中。一些设备包括使用户能够更真实地沉浸在虚拟环境中的特征，如360度沉浸式视频和环绕声音频。
[0005]传统上，捕获与用户虚拟地共享的沉浸式体验的设备可能被布置为承载在棍子或移动平台上的球形机构。然而，这些传统设备可能无法从用户的视点准确地捕获真实用户的体验。例如，如果传统设备从升高的视角或鸟瞰视角捕获环境，则虚拟终端用户可能不会感到真实地沉浸在环境中。此外，一些用户可能想要与虚拟终端用户共享他们的物理环境(例如共享音乐会体验)，而传统设备可能很笨重或难以调整以适应用户的移动。这些调整可能特别难以准确地捕获进而用于音频回本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：通过计算设备接收在可佩戴设备上的音频换能器阵列的每个信道的信号；通过所述计算设备，针对用于所述可佩戴设备的波束成形滤波器集合的每个波束方向，计算波束成形信号；通过所述计算设备，将来自所计算出的波束成形信号的第一波束成形信号分类为第一声音类别，并且将来自所计算出的波束成形信号的第二波束成形信号分类为第二声音类别；基于所述分类，调整所述第一波束成形信号相对于所述第二波束成形信号的增益；通过所述计算设备，根据用户的位置来将所计算出和调整后的波束成形信号转换为空间化双耳音频；和将所述空间化双耳音频发送到所述用户的回放设备。2.根据权利要求1所述的方法，其中，所述波束成形滤波器集合包括通过在消声室中测试所述可佩戴设备的所述音频换能器阵列而创建的预处理滤波器，其中，可选地，测试所述可佩戴设备的所述音频换能器阵列包括：使用佩戴在模型头上的所述可佩戴设备的所述音频换能器阵列捕获测试音频；基于所捕获的测试音频来测量所述音频换能器阵列的阵列传递函数(ATF)集合；和使用所述ATF集合计算所述波束成形滤波器集合。3.根据权利要求2所述的方法，其中，测量所述ATF集合还包括测量头部相关传递函数(HRTF)集合。4.根据权利要求1所述的方法，其中：所述第一声音类别包括以下项中的至少一项：由所述用户选择的声音类别；或预定的声音类别；并且所述第二声音类别包括以下项中的至少一项：由所述用户选择的替代声音类别；或预定的替代声音类别。5.根据权利要求1所述的方法，还包括：检测所述用户的新位置；和针对所述用户的所述新位置重新计算所述空间化双耳音频。6.根据权利要求1所述的方法，还包括：基于所述空间化双耳音频的时序来调整对应的视频的时序；和将调整后的视频发送到所述用户的回放设备。7.一种系统，包括：存储在存储器中的接收模块，所述接收模块接收在可佩戴设备上的音频换能器阵列的每个信道的信号；存储在存储器中的计算模块，所述计算模块针对用于所述可佩戴设备的波束成形滤波器集合的每个波束方向，来计算波束成形信号；存储在存储器中的分类模块，所述分类模块将来自所计算出的波束成形信号的第一波束成形信号分类为第一声音类别，并且将来自所计算出的波束成形信号的第二波束成形信
号分类为第二声音类别；存储在存储器中的调整模块，所述调整模块基于所述分类来调整所述第一波束成形信号相对于所述第二波束成形信号的增益；存储在存储器中的转换模块，所述转换模块基于用户的位置来将所计算出和调整后的波束成形信号转换为空间化双耳音频；存储在存储器中的发送模块，所述发送模块将所述空...

【专利技术属性】
技术研发人员：弗拉迪米尔，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：