用于扩展现实共享空间的音频控制制造技术

给出用于音频信号处理的方法、系统、计算机可读介质和装置。一些配置包括确定至少一个麦克风信号中的第一音频活动是语音活动；确定语音活动是否是在设备上活动的应用会话中的参与者的语音活动；至少基于确定语音活动是否是应用会话中的参与者的语音活动的结果，来生成用于消除第一音频活动的抗噪声信号；以及通过扬声器来产生是基于抗噪声信号的声信号。对与共享的虚拟空间有关的应用进行描述。与共享的虚拟空间有关的应用进行描述。与共享的虚拟空间有关的应用进行描述。

【技术实现步骤摘要】
【国外来华专利技术】用于扩展现实共享空间的音频控制


[0001]本公开内容的各方面涉及音频信号处理。

技术介绍

[0002]以计算机为媒介的现实系统正在被开发以允许计算设备根据由用户所体验的来增强或增加、去除或减去、替代或替换或通常修改现有的现实。举几个示例，以计算机为媒介的现实系统可以包括虚拟现实(VR)系统、增强现实(AR)系统和混合现实(MR)系统等。以计算机为媒介的现实系统的感知的成功通常涉及以下这样的系统的能力：在视频和音频两者方面提供现实沉浸式体验，使得视频和音频体验以由用户认为是自然的和期望的方式来对齐。尽管人类的视觉系统比人类的听觉系统更敏感(例如，在场景内的各种物体的感知的定位方面)，确保足够的听觉体验是确保现实沉浸式体验的越来越重要的因素，特别是随着视频体验得到改善以允许使得用户能够更好地识别音频内容的来源的对视频对象的更好的定位。
[0003]在VR技术中，虚拟的信息可以是使用头戴式显示器来呈现给用户的，使得用户可以在其眼前的屏幕上视觉地体验人工的世界。在AR技术中，现实世界是通过可以叠加(例如，覆加)在现实世界中的物理对象上的视觉对象来增强的。增强可以在现实生活的环境中插入新的视觉对象和/或掩饰视觉对象。在MR技术中，在真实的或合成的/虚拟的与由用户视觉地体验的之间的界限正在变得难以辨别。
[0004]用于VR、AR和/或MR的硬件可以包括向用户呈现视觉的场景的一个或多个屏幕和用于提供相应的音频环境的一个或多个发出声音的换能器(例如，扬声器)。这样的硬件还可以包括用于捕获用户的声环境和/或用户的讲话的一个或多个麦克风，和/或可以包括用于确定用户的位置、方位和/或移动的一个或多个传感器。

技术实现思路

[0005]根据通用配置进行音频信号处理的方法包括确定至少一个麦克风信号中的第一音频活动是语音活动；确定语音活动是否是在设备上活动的应用会话中的参与者的语音活动；至少基于确定所述语音活动是否是应用会话中的参与者的语音活动的结果，来生成用于消除第一音频活动的抗噪声信号；以及通过扬声器来产生是基于抗噪声信号的声信号。还公开了包括当由至少一个处理器执行时使得至少一个处理器执行这样的方法的代码的计算机可读存储介质。
[0006]根据通用配置的装置包括被配置为存储至少一个麦克风信号的存储器；以及耦合到该存储器的处理器。该处理器被配置为取回所述至少一个麦克风信号以及执行用于以下操作的计算机可执行指令：确定所述至少一个麦克风信号中的第一音频活动是语音活动；确定该语音活动是否是在设备上活动的应用会话中的参与者的语音活动；至少基于确定语音活动是否是应用会话中的参与者的语音活动的结果，来生成用于消除第一音频活动的抗噪声信号；以及使得扬声器产生是基于抗噪声信号的声信号。
附图说明
[0007]本公开内容的各方面是通过示例来示出的。在附图中，类似的参考数字指示类似的元素。
[0008]图1A示出根据通用配置的用于语音处理的方法M100的流程图。
[0009]图1B示出根据通用配置的用于语音处理的装置A100的方框图。
[0010]图2示出围桌而坐正在玩XR棋盘游戏的多个玩家的示例。
[0011]图3A示出可听戴设备的硬件架构的示例的方框图。
[0012]图3B示出作为可听戴设备的设备D10
‑
1、设备D10
‑
2或设备D10
‑
3的实现方式D12R的图片。
[0013]图4示出作为XR头戴式耳机的设备D10
‑
1、设备D10
‑
2或设备D10
‑
3的实现方式D14的示例。
[0014]图5示出围桌而坐正在玩XR棋盘游戏的四个玩家的示例。
[0015]图6A示出图5中的示例的延伸，在其中两个另外的参与者也从各自的远程位置来参与。
[0016]图6B示出当在共享的物理空间中时参与视频电话应用的三个人的示例。
[0017]图6C示出装置A100的实现方式A200的方框图。
[0018]图7A示出装置A200的实现方式A250的方框图。
[0019]图7B示出方法M100的实现方式M200的流程图。
[0020]图8A示出方法M100的实现方式M300的流程图。
[0021]图8B示出方法M200和M300的实现方式M310的流程图。
[0022]图9A示出方法M100的实现方式M400的流程图。
[0023]图9B示出装置A200的实现方式A300的方框图。
[0024]图10示出在其中四个玩家是围桌而坐正在玩XR棋盘游戏的示例。
[0025]图11示出玩家与非玩家进行谈话的示例。
[0026]图12示出通过6DOF来指示的六度。
[0027]图13示出来自玩家的设备的前置摄像头的视频的示例。
[0028]图14示出来自玩家的设备的前置摄像头的视频的另一示例。
[0029]图15A示出方法M100的实现方式M500的流程图。
[0030]图15B示出方法M100的实现方式M600的流程图。
[0031]图16示出在其中在另一非队友玩家在附近的情况下，玩家正在面对队友玩家和非队友玩家的示例。
[0032]图17示出在其中在共享的虚拟空间中玩家正在面对虚拟地在场的队友玩家的示例。
[0033]图18示出可以是在如本文中描述的设备内实现的系统900的方框图。
具体实施方式
[0034]术语“扩展现实”(或者XR)是包括通过计算机技术和可穿戴设备来生成的真实与虚拟相结合的环境和人机交互，以及包括如增强现实(AR)、混合现实(MR)和虚拟现实(VR)的这样的表现形式的通用术语。
[0035]XR经验可以是通过在参与者的设备(例如，可穿戴设备，比如本文中描述的示例中的一个或多个示例)上执行的应用之中的交互来在多个参与者之中共享的。这样的XR体验可以包括共享空间，在所述共享空间内，参与者可以彼此口头地(以及可能视觉地)进行交流，好像他们在空间上彼此接近，尽管他们在现实世界中可能彼此远离。在每个参与者的设备上，应用的活动会话接收共享空间的音频内容(以及可能是视觉内容)以及根据在共享空间内的参与者的视角(例如，声音的到达的音量和/或方向、视觉元素的位置等)来将其呈现给参与者。可以是以这样的方式来共享的XR体验的示例包括游戏体验和视频电话体验(例如，虚拟的会议室或其它开会空间)。
[0036]XR共享空间中的参与者可能位于物理空间中，该物理空间是与不是XR共享空间中的参与者的人来共享的。XR共享空间(例如，共享的虚拟空间)中的参与者可能期望彼此口头地进行交流，而未被可能在附近的非参与者的语音分散注意力。例如，参与者可能在咖啡店或共享的办公室中；在机场或其它封闭的公共空间中；或者在飞机、公共汽车、火车或其它形式的公共交通工具上)。当出席者参与XR会议开会或玩家参与XR游戏时，在附近的非参与者的语音可能会本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于音频信号处理的装置，所述装置包括：存储器，其被配置为存储至少一个麦克风信号；以及处理器，其耦合到所述存储器，并且被配置为取回所述至少一个麦克风信号以及执行用于进行以下操作的计算机可执行指令：确定在所述至少一个麦克风信号中的第一音频活动是语音活动；确定所述语音活动是否是在设备上活动的应用会话中的参与者的语音活动；至少基于所述确定所述语音活动是否是应用会话中的参与者的语音活动的结果，来生成用于消除所述第一音频活动的抗噪声信号；以及使得扬声器产生是基于所述抗噪声信号的声信号。2.根据权利要求1所述的装置，其中，所述处理器还被配置为执行用于进行以下操作的计算机可执行指令：确定所述至少一个麦克风信号中的第二音频活动是所述应用会话中的参与者的语音活动；以及响应于至少所述关于所述第二音频活动是所述应用会话中的参与者的语音活动的确定，来决定不消除所述第二音频活动。3.根据权利要求1所述的装置，其中，所述处理器还被配置为执行用于进行以下操作的计算机可执行指令：确定所述至少一个麦克风信号中的第二音频活动是所述应用会话中的参与者的语音活动；以及响应于至少所述关于所述第二音频活动是所述应用会话中的参与者的语音活动的确定，来引起对关于所述应用会话中的参与者正在说话的指示的无线传输。4.根据权利要求3所述的装置，其中，所述处理器还被配置为执行用于响应于至少所述关于所述第二音频活动是所述应用会话中的参与者的语音活动的确定，来决定不消除所述第二音频活动的计算机可执行指令。5.根据权利要求1所述的装置，其中，所述处理器还被配置为执行用于进行以下操作的计算机可执行指令：确定所述至少一个麦克风信号中的所述第二音频活动是语音活动；接收关于所述应用会话中的参与者正在说话的无线指示；以及响应于所述指示来决定不消除所述第二音频活动。6.根据权利要求1所述的装置，其中，所述处理器还被配置为执行用于进行以下操作的计算机可执行指令：确定所述至少一个麦克风信号中的第三音频活动是语音活动；检测模式改变条件；响应于所检测到的模式改变条件，来引起对模式改变的指示的无线传输；以及响应于所检测到的模式改变条件，来决定不消除所述第三音频活动。7.根据权利要求6所述的装置，其中，所述检测模式改变条件是基于脸部识别操作或目光检测操作中的至少一者的结果。8.根据权利要求6所述的装置，其中，所述检测模式改变条件是基于关键字检测或对位置或方位中的至少一者的改变的检测中的至少一者的结果。
9.根据权利要求1所述的装置，其中，所述处理器还被配置为执行用于进行以下操作的计算机可执行指令：接收对模式改变的无线指示；确定所述至少一个麦克风信号中的第三音频活动是所述应用会话中的参与者的语音活动；响应于对模式改变的所述无线指示来生成用于消除所述第三音频活动的第三抗噪声信号；以及使得所述扬声器产生是基于所述第三抗噪声信号的声信号。10.根据权利要求1所述的装置，其中，所述活动的应用会话是游戏应用的会话。11.根据权利要求1所述的装置，其中，所述确定所述语音活动是否是参与者的语音活动的所述结果是关于所述语音活动是参与者的语音活动的确定，并且其中，用于生成所述抗噪声信号的所述计算机可执行指令包括用于还基于所述应用会话的上下文来生成所述抗噪声信号的计算机可执行指令。12.根据权利要求11所述的装置，其中，所述上下文指示所述参与者是对手。13.根据权利要求11所述的装置，其中，所述上下文指示所述参与者的语音当前是禁用的。14.根据权利要求11所述的装置，其中，所述上下文指示所述参与者处于与另一参与者的隐私模式。15.根据权利要求11...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：