用于在通信会话期间使用空间化音频的系统、方法和图形用户界面技术方案

一种电子设备与显示器、输入设备和可穿戴音频输出设备通信。该设备显示具有通信会话中的参与者的动态视觉表示的用户界面。经由该可穿戴音频输出设备输出来自该通信会话中的该多个参与者的音频。该音频被调整以独立于该可穿戴音频输出设备相对于该通信会话的参照系的位置而维持参与者相对于该参照系的模拟空间位置。这些模拟空间位置对应于这些动态视觉表示的这些位置。接收选择这些动态视觉表示中的一个动态视觉表示的输入。作为响应，在与这些动态视觉表示的初始位置不同的位置处显示这些动态视觉表示，并且输出来自这些参与者的音频，以将这些参与者的音频定位在相对于该参照系的不同模拟空间位置处。照系的不同模拟空间位置处。照系的不同模拟空间位置处。

【技术实现步骤摘要】
【国外来华专利技术】用于在通信会话期间使用空间化音频的系统、方法和图形用户界面
[0001]相关专利申请
[0002]本专利申请是于2021年9月23日提交的美国专利申请第17/483,741号的继续申请，本专利申请要求于2020年9月25日提交的美国临时专利申请第63/083,807号、于2021年2月23日提交的美国临时专利申请第63/152,796号、于2021年6月6日提交的美国临时专利申请第63/197,483号的优先权，上述各专利申请的全部内容据此全文以引用方式并入本文。


[0003]本专利技术整体涉及音频输出系统，包括但不限于用于对由音频输出设备输出的、在通信会话期间与参与者相关联的音频进行空间化，任选地，用于在一个或多个显示设备上显示视频会议用户界面，且具有一个或多个输入设备的系统。

技术介绍

[0004]音频输出设备(包括可穿戴音频输出设备，诸如头戴式耳机、耳塞和耳机)被广泛用于在通信会话期间向用户提供音频输出。
[0005]但是用于在通信会话(例如，多参与者视频会议通话)期间在可穿戴音频输出设备上播放音频的常规方法在可穿戴音频输出设备可输出音频的音频输出模式的类型方面受到限制。例如，常规使用的音频输出模式(诸如，立体声和单声道音频输出模式)相对于与音频输出设备相关的参照系提供音频，这可导致收听体验在沉浸感和真实感方面不如当使用空间音频输出模式输出音频时所提供的收听体验(例如，多个参与者语音全部被感知为来自空间中的一个重叠点)，这种空间音频输出模式模拟更真实的收听体验，其中音频好像来自单独的参照系(诸如，用户周围的物理环境)中的声源。此外，支持空间音频输出的可穿戴音频输出设备(其中模拟声源的定位与音频输出设备的移动无关)使得公共收听体验的真实感和沉浸感方面能够得以提升，同时还提供了非侵扰性的私人收听体验。将空间音频输出模式进一步应用于通信会话允许用户以更真实的方式进行通信，因为每个参与者将听起来如同处于单独位置处。此外，用于包括视觉组成部分(例如，视频通话)的通信会话的常规方法可能使参与者被置于整个用户界面中，但使他们相应的语音来自空间中的单个感知位置，这可使用户混淆。此外，常规方法花费更长的时间并且需要超出必要范围的用户交互(例如，由于参与者说话时总是打断彼此造成的持续暂停)，这导致用户错误增加，更一般地，导致浪费能量。这些后面的考虑在电池驱动的设备中是特别重要的。

技术实现思路

[0006]因此，需要具有用于在通信会话和包括视觉组成部分的通信会话(例如，视频通话)期间对音频进行空间化的改进的方法和界面的音频输出设备和在一些实施方案中相关联的电子设备。此类方法和界面任选地补充或替换用于通信会话中的立体声和单声道音频
输出模式的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质，并且产生更有效的人机界面。对于电池驱动的系统和设备，此类方法和界面节省了功率，并且增加了电池两次充电之间的间隔。
[0007]所公开的设备减少或消除了与用于与一组一个或多个可穿戴音频输出设备通信的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，电子设备是台式计算机。在一些实施方案中，电子设备是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，电子设备是个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，电子设备具有触控板。在一些实施方案中，电子设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，电子设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在所述存储器中以用于执行多个功能的程序或指令集。在一些实施方案中，用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐/音频播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
[0008]根据一些实施方案，在与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信的电子设备处执行一种方法。该方法包括：经由该一个或多个显示设备显示包括通信会话中的多个参与者的相应动态视觉表示的用户界面，包括在用户界面中的第一位置处显示第一参与者的第一动态视觉表示，以及在用户界面中的第二位置处显示与第一参与者不同的第二参与者的第二动态视觉表示。该方法包括经由该组一个或多个可穿戴音频输出设备输出来自通信会话中的该多个参与者的音频。该方法包括输出来自第一参与者的第一音频。第一音频被调整以便独立于该组一个或多个可穿戴音频输出设备相对于通信会话的参照系的位置而将第一音频维持在相对于该参照系的第一模拟空间位置处。第一模拟空间位置对应于第一动态视觉表示在用户界面中的第一位置。该方法包括输出来自第二参与者的第二音频。第二音频被调整以便独立于该组一个或多个可穿戴音频输出设备相对于通信会话的参照系的位置而将第二音频维持在相对于该参照系的第二模拟空间位置处，其中第二模拟空间位置对应于第二动态视觉表示在用户界面中的第二位置。该方法包括经由该一个或多个输入设备接收选择第一参与者的第一动态视觉表示的输入。该方法包括：响应于接收到选择第一参与者的第一动态视觉表示的输入，在用户界面中与第一位置不同的第三位置处显示第一参与者的第一动态视觉表示，并且输出来自第一参与者的第一音频，以便将第一音频定位在相对于参照系的第三模拟空间位置处，该第三模拟空间位置对应于第一动态视觉表示在用户界面中的第三位置。第三模拟空间位置不同于第一模拟空间位置。该方法包括：响应于接收到选择第一参与者的第一动态视觉表示的输入，在用户界面中的第四位置处显示第二参与者的第二动态视觉表示，并且输出来自第二参与者的第二音频，以便将第二音频定位在相对于参照系的第四模拟空间位置处，该第四模拟空间位置对应于第二动态视觉表示在用户界面中的第四位置。
[0009]根据一些实施方案，在与和第二用户相关联的第二组一个或多个可穿戴音频输出设备通信的与第一用户相关联的第一组一个或多个可穿戴音频输出设备处执行一种方法。
该方法包括：当第一组一个或多个可穿戴音频输出设备和第二组一个或多个可穿戴音频输出设备参与音频通信会话时，经由第一组一个或多个可穿戴音频输出设备输出来自第二组一个或多个可穿戴音频输出设备的相应音频，包括：当第一组一个或多个可穿戴音频输出设备相对于第二组一个或多个可穿戴音频输出设备移动时。该方法包括调整相应音频以便将相应音频定位在相对于第一组一个或多个可穿戴音频输出设备的模拟空间位置处，该模拟空间位置是基于第二组一个或多个可穿戴音频输出设备相对于第一组一个或多个可穿戴音频输出设备的相应位置来确定的。该方法包括基于第二组一个或多个可穿戴音频输出设备距第一组一个或多个可穿戴音频输出设备的距离来调整相应音频的除了模拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信的电子设备处：经由所述一个或多个显示设备显示包括通信会话中的多个参与者的相应动态视觉表示的用户界面，包括在所述用户界面中的第一位置处显示第一参与者的第一动态视觉表示，以及在所述用户界面中的第二位置处显示与所述第一参与者不同的第二参与者的第二动态视觉表示；经由所述一组一个或多个可穿戴音频输出设备输出来自所述通信会话中的所述多个参与者的音频，包括：输出来自所述第一参与者的第一音频，其中所述第一音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述通信会话的参照系的位置而将所述第一音频维持在相对于所述参照系的第一模拟空间位置处，其中所述第一模拟空间位置与所述第一动态视觉表示在所述用户界面中的所述第一位置相对应；以及输出来自所述第二参与者的第二音频，其中所述第二音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述参照系的位置而将所述第二音频维持在相对于所述参照系的第二模拟空间位置处，其中所述第二模拟空间位置与所述第二动态视觉表示在所述用户界面中的所述第二位置相对应；经由所述一个或多个输入设备接收选择所述第一参与者的所述第一动态视觉表示的输入；响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入：在所述用户界面中与所述第一位置不同的第三位置处显示所述第一参与者的所述第一动态视觉表示，并且输出来自所述第一参与者的所述第一音频，以便将所述第一音频定位在相对于所述参照系的第三模拟空间位置处，所述第三模拟空间位置与所述第一动态视觉表示在所述用户界面中的所述第三位置相对应，其中所述第三模拟空间位置不同于所述第一模拟空间位置；以及在所述用户界面中的第四位置处显示所述第二参与者的所述第二动态视觉表示，并且输出来自所述第二参与者的所述第二音频，以便将所述第二音频定位在相对于所述参照系的第四模拟空间位置处，所述第四模拟空间位置与所述第二动态视觉表示在所述用户界面中的所述第四位置相对应。2.根据权利要求1所述的方法，其中所述第四位置不同于所述用户界面中的所述第二位置，并且所述第四模拟空间位置不同于所述第二模拟空间位置。3.根据权利要求2所述的方法，其中：所述用户界面中的所述第三位置在相对于所述用户界面中的所述第一位置的相应方向上，并且所述用户界面中的所述第四位置在相对于所述用户界面中的所述第二位置的所述相应方向上；并且所述第三模拟空间位置基本上在相对于所述第一模拟空间位置的所述相应方向上，并且所述第四模拟空间位置基本上在相对于所述第二模拟空间位置的所述相应方向上。4.根据权利要求1至3中任一项所述的方法，其中：所述用户界面中的所述第一位置在所述用户界面的相应区域之外；
所述用户界面中的所述第二位置在所述相应区域内；所述用户界面中的所述第三位置在所述相应区域内；并且所述用户界面中的所述第四位置在所述相应区域之外。5.根据权利要求1所述的方法，其中所述第三模拟空间位置比所述第一模拟空间位置和所述第二模拟空间位置更靠近所述一组一个或多个可穿戴音频输出设备的空间位置，并且所述方法包括：响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入，相对于来自所述第二参与者的所述第二音频强调来自所述第一参与者的所述第一音频。6.根据权利要求5所述的方法，其中响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入，输出所述第一音频以便将所述第一音频定位在所述第三模拟空间位置处达第一预定义时间量，并且所述方法包括：在输出所述第一音频以便将所述第一音频定位在所述第三模拟空间位置处达所述第一预定义时间量之后，在比所述第三模拟空间位置更远离所述一组一个或多个可穿戴音频输出设备的所述空间位置的模拟空间位置处输出所述第一音频。7.根据权利要求5至6中任一项所述的方法，其中选择所述第一参与者的所述第一动态视觉表示的所述输入包括对显示在所述用户界面中的所述电子设备的用户的表示的选择和将所述用户界面中的所述用户的所述表示移动到所述第一参与者的所述第一动态视觉表示的预定义距离内的拖动手势，并且所述方法包括：响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入，显示所述第一参与者的所述第一动态视觉表示与所述用户的所述表示相关联的指示。8.根据权利要求5至6中任一项所述的方法，包括：响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入，向所述第一参与者传输在所述用户与所述第一参与者之间建立部分通信会话的请求；以及响应于接收到所述第一参与者接受建立所述部分通信会话的所述请求的指示，显示所述第一参与者的所述第一动态视觉表示与所述用户的所述表示相关联的指示。9.根据权利要求1至6中任一项所述的方法，其中接收选择所述第一参与者的所述第一动态视觉表示的所述输入包括经由所述一个或多个输入设备检测在与所述第一动态视觉表示相对应的初始位置处的所述输入以及继续检测在所述初始位置处达至少第二预定义时间量的所述输入。10.根据权利要求1至6中任一项所述的方法，其中接收选择所述第一参与者的所述第一动态视觉表示的所述输入包括经由所述一个或多个输入设备同时检测与第二输入点同时存在的第一输入点和所述第一输入点朝向或远离所述第二输入点的移动。11.根据权利要求1至6中任一项所述的方法，其中选择所述第一参与者的所述第一动态视觉表示的所述输入包括当所述第一动态视觉表示显示在所述用户界面中的所述第一位置处时对所述第一动态视觉表示的选择和将所述第一动态视觉表示移动到所述用户界面中的所述第三位置的拖动手势。12.根据权利要求1至6中任一项所述的方法，包括响应于检测到所述电子设备相对于所述电子设备所位于的物理环境的移动而滚动所述用户界面，其中当所述第一动态视觉表示显示在所述用户界面中的所述第一位置处时，所述第一参与者的所述第一动态视觉表示
在所述用户界面的焦点区域之外，并且接收选择所述第一参与者的所述第一动态视觉表示的所述输入包括检测所述电子设备滚动所述用户界面、使得所述第一动态视觉表示在所述用户界面的所述焦点区域内而进行的移动。13.根据权利要求1至12中任一项所述的方法，其中在相对于所述参照系的多个模拟空间位置处输出来自所述通信会话中的所述多个参与者的所述音频，并且所述方法包括：接收在所述通信会话中输出来自所述电子设备的相应音频的请求；以及响应于接收到输出所述相应音频的所述请求，经由所述一组一个或多个可穿戴音频输出设备输出所述相应音频，包括调整所述相应音频以便将所述相应音频维持在相对于所述参照系的第一相应模拟空间位置处，所述第一相应模拟空间位置不同于所述多个模拟空间位置。14.根据权利要求13所述的方法，其中经由所述通信会话向所述多个参与者输出所述相应音频。15.根据权利要求13至14中任一项所述的方法，包括：接收重新定位所述相应音频的请求；以及响应于接收到重新定位所述相应音频的所述请求，输出所述相应音频，包括调整所述相应音频以便将所述相应音频维持在相对于所述参照系的第二相应模拟空间位置处，所述第二相应模拟空间位置不同于所述多个模拟空间位置并且不同于所述第一相应模拟空间位置。16.根据权利要求13至15中任一项所述的方法，其中所述通信会话中的所述多个参与者中的任何两个参与者的相应模拟空间位置之间的距离小于所述相应音频的模拟空间位置与所述多个参与者中的任何相应参与者的模拟空间位置之间的距离。17.根据权利要求1至16中任一项所述的方法，包括：检测所述一组一个或多个可穿戴音频输出设备相对于所述参照系的移动，而不检测所述电子设备的移动并且不检测指向所述用户界面的输入；以及响应于检测到所述一组一个或多个可穿戴音频输出设备相对于所述参照系的所述移动，在相应模拟空间位置处输出来自所述通信会话中的所述多个参与者的相应音频，包括当所述一组一个或多个可穿戴音频输出设备相对于所述参照系移动时，调整来自所述多个参与者的所述相应音频，以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述参照系的位置而将所述相应音频维持在相对于所述参照系的所述相应模拟空间位置处。18.根据权利要求1至17中任一项所述的方法，其中所述电子设备与物理环境中的一个或多个相机通信，并且所述方法包括经由所述一个或多个显示设备在所述用户界面中显示所述物理环境在所述一个或多个相机的视场中的一部分的表示，其中在与所述物理环境中的相应物理位置相对应的所述一个或多个相机的所述视场的所述表示中的相应位置处显示所述通信会话中的所述多个参与者的所述相应动态视觉表示。19.根据权利要求1至18中任一项所述的方法，包括：以第一尺寸显示所述第一参与者的所述第一动态视觉表示，其中所述第一尺寸根据来自所述第一参与者的所述第一音频的当前模拟空间位置与所述一组一个或多个可穿戴音频输出设备的空间位置之间的距离来确定；以及以第二尺寸显示所述第二参与者的所述第二动态视觉表示，其中所述第二尺寸根据来
自所述第二参与者的所述第二音频的当前模拟空间位置与所述一组一个或多个可穿戴音频输出设备的所述空间位置之间的距离来确定。20.根据权利要求1所述的方法，包括在所述用户界面中在与显示所述第一参与者的所述第一动态视觉表示和所述第二参与者的所述第二动态视觉表示的位置分开的所述用户界面的名单区域中显示所述通信会话中的第三参与者和第四参与者的动态视觉表示，以及经由所述一组一个或多个音频输出设备输出来自所述第三参与者和所述第四参与者的音频，其中相对于来自所述第一参与者和所述第二参与者的音频输出弱化来自所述第三参与者和所述第四参与者的所述音频。21.根据权利要求20所述的方法，其中通过以与所述第一参与者和所述第二参与者的直达声与混响声的比率不同的直达声与混响声的比率输出来自所述第三参与者和所述第四参与者的所述音频，相对于来自所述第一参与者和所述第二参与者的音频输出弱化来自所述第三参与者和所述第四参与者的所述音频。22.根据权利要求20所述的方法，其中通过在比输出来自所述第一参与者和所述第二参与者的音频的模拟空间位置更远离所述电子设备的第一空间位置的一个或多个模拟空间位置处输出来自所述第三参与者和所述第四参与者的所述音频，相对于来自所述第一参与者和所述第二参与者的音频输出弱化来自所述第三参与者和所述第四参与者的所述音频。23.根据权利要求20所述的方法，其中通过相对于来自所述第一参与者和所述第二参与者的音频输出的音量改变来自所述第三参与者和所述第四参与者的所述音频输出的音量，相对于来自所述第一参与者和所述第二参与者的所述音频输出弱化来自所述第三参与者和所述第四参与者的所述音频。24.根据权利要求20所述的方法，还包括：将所述第三参与者和所述第四参与者识别为名单参与者，根据来自所述第三参与者和所述第四参与者的所述音频的预定义特性满足预定义名单标准以及根据将所述第三参与者和所述第四参与者识别为名单参与者，在所述用户界面的所述名单区域中显示所述第三参与者和所述第四参与者的所述动态视觉表示，以及相对于来自所述第一参与者和所述第二参与者的音频输出经由所述一组一个或多个音频输出设备弱化来自所述第三参与者和所述第四参与者的所述音频输出。25.根据权利要求1至20中任一项所述的方法，还包括：确定来自所述通信会话中的两个或更多个参与者的重叠音频的一个或多个度量，以及根据确定所述重叠音频的一个或多个度量满足预定义重叠标准，以比根据确定所述重叠音频的一个或多个度量不满足所述预定义重叠标准而定位来自所述多个参与者的音频的模拟空间位置的默认角度更宽的角度将来自所述多个参与者的音频的所述模拟空间位置相对于彼此定位。26.根据权利要求1至20中任一项所述的方法，其中当所述电子设备的所述一个或多个显示设备相对于所述电子设备所位于的物理环境具有第一取向时，在所述第一模拟空间位置处输出来自所述第一参与者的所述第一音频，并且在所述第二模拟空间位置处输出来自所述第二参与者的所述第二音频；并且所述方法还包括：检测所述电子设备的所述取向相对于所述电子设备所位于的所述物理环境从所述第一取向到第二取向的变化，以及
响应于检测到所述电子设备的所述取向相对于所述电子设备所位于的所述物理环境从所述第一取向到所述第二取向的所述变化，改变输出来自所述第一参与者的所述第一音频的模拟空间位置和输出来自所述第二参与者的所述第二音频的模拟空间位置中的至少一者，以便改变输出来自所述第一参与者的所述第一音频的所述模拟空间位置与输出来自所述第二参与者的所述第二音频的所述模拟空间位置之间的距离。27.根据权利要求26所述的方法，还包括：响应于检测到所述电子设备的所述取向相对于所述电子设备所位于的所述物理环境从所述第一取向到所述第二取向的所述变化，改变所述第一参与者的所述第一动态视觉表示在所述用户界面中的位置和所述第二参与者的所述第二动态视觉表示在所述用户界面中的位置中的至少一者，以便改变所述第一参与者的所述第一动态视觉表示和所述第二参与者的所述第二动态视觉表示在所述用户界面中的所述位置之间的距离。28.一种电子设备，所述电子设备与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信，所述电子设备包括：一个或多个处理器；和存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：经由所述一个或多个显示设备显示包括通信会话中的多个参与者的相应动态视觉表示的用户界面，包括在所述用户界面中的第一位置处显示第一参与者的第一动态视觉表示，以及在所述用户界面中的第二位置处显示与所述第一参与者不同的第二参与者的第二动态视觉表示；经由所述一组一个或多个可穿戴音频输出设备输出来自所述通信会话中的所述多个参与者的音频，包括：输出来自所述第一参与者的第一音频，其中所述第一音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述通信会话的参照系的位置而将所述第一音频维持在相对于所述参照系的第一模拟空间位置处，其中所述第一模拟空间位置与所述第一动态视觉表示在所述用户界面中的所述第一位置相对应；以及输出来自所述第二参与者的第二音频，其中所述第二音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述参照系的位置而将所述第二音频维持在相对于所述参照系的第二模拟空间位置处，其中所述第二模拟空间位置与所述第二动态视觉表示在所述用户界面中的所述第二位置相对应；经由所述一个或多个输入设备接收选择所述第一参与者的所述第一动态视觉表示的输入；响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入：在所述用户界面中与所述第一位置不同的第三位置处显示所述第一参与者的所述第一动态视觉表示，并且输出来自所述第一参与者的所述第一音频，以便将所述第一音频定位在相对于所述参照系的第三模拟空间位置处，所述第三模拟空间位置与所述第一动态视觉表示在所述用户界面中的所述第三位置相对应，其中所述第三模拟空间位置不同于所述第一模拟空间位置；以及在所述用户界面中的第四位置处显示所述第二参与者的所述第二动态视觉表示，并且
输出来自所述第二参与者的所述第二音频，以便将所述第二音频定位在相对于所述参照系的第四模拟空间位置处，所述第四模拟空间位置与所述第二动态视觉表示在所述用户界面中的所述第四位置相对应。29.根据权利要求28所述的电子设备，还包括用于执行根据权利要求2至27中任一项所述的方法的装置。30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信的电子设备执行时，使得所述电子设备：经由所述一个或多个显示设备显示包括通信会话中的多个参与者的相应动态视觉表示的用户界面，包括在所述用户界面中的第一位置处显示第一参与者的第一动态视觉表示，以及在所述用户界面中的第二位置处显示与所述第一参与者不同的第二参与者的第二动态视觉表示；经由所述一组一个或多个可穿戴音频输出设备输出来自所述通信会话中的所述多个参与者的音频，其中输出来自所述音频通信会话中的所述多个参与者的音频包括：输出来自所述第一参与者的第一音频，其中所述第一音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述通信会话的参照系的位置而将所述第一音频维持在相对于所述参照系的第一模拟空间位置处，其中所述第一模拟空间位置与所述第一动态视觉表示在所述用户界面中的所述第一位置相对应；以及输出来自所述第二参与者的第二音频，其中所述第二音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述参照系的位置而将所述第二音频维持在相对于所述参照系的第二模拟空间位置处，其中所述第二模拟空间位置与所述第二动态视觉表示在所述用户界面中的所述第二位置相对应；经由所述一个或多个输入设备接收选择所述第一参与者的所述第一动态视觉表示的输入；以及响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入：在所述用户界面中与所述第一位置不同的第三位置处显示所述第一参与者的所述第一动态视觉表示，并且输出来自所述第一参与者的所述第一音频，以便将所述第一音频定位在相对于所述参照系的第三模拟空间位置处，所述第三模拟空间位置与所述第一动态视觉表示在所述用户界面中的所述第三位置相对应，其中所述第三模拟空间位置不同于所述第一模拟空间位置；以及在所述用户界面中的第四位置处显示所述第二参与者的所述第二动态视觉表示，并且输出来自所述第二参与者的所述第二音频，以便将所述第二音频定位在相对于所述参照系的第四模拟空间位置处，所述第四模拟空间位置与所述第二动态视觉表示在所述用户界面中的所述第四位置相对应。31.根据权利要求30所述的计算机可读存储介质，其中所述一个或多个程序包括指令，所述指令当由所述电子设备执行时，使得所述电子设备执行根据权利要求2至27中任一项所述的方法。32.一种电子设备，所述电子设备与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信，所述电子设备包括：
用于执行以下操作的装置：经由所述一个或多个显示设备显示包括通信会话中的多个参与者的相应动态视觉表示的用户界面，包括在所述用户界面中的第一位置处显示第一参与者的第一动态视觉表示，以及在所述用户界面中的第二位置处显示与所述第一参与者不同的第二参与者的第二动态视觉表示；用于执行以下操作的装置：经由所述一组一个或多个可穿戴音频输出设备输出来自所述通信会话中的所述多个参与者的音频，包括：用于执行以下操作的装置：输出来自所述第一参与者的第一音频，其中所述第一音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述通信会话的参照系的位置而将所述第一音频维持在相对于所述参照系的第一模拟空间位置处，其中所述第一模拟空间位置对应于所述第一动态视觉表示在所述用户界面中的所述第一位置；和用于执行以下操作的装置：输出来自所述第二参与者的第二音频，其中所述第二音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述参照系的位置而将所述第二音频维持在相对于所述参照系的第二模拟空间位置处，其中所述第二模拟空间位置对应于所述第二动态视觉表示在所述用户界面中的所述第二位置；用于执行以下操作的装置：经由所述一个或多个输入设备接收选择所述第一参与者的所述第一动态视觉表示的输入；响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入而启用的用于执行以下操作的装置：在所述用户界面中与所述第一位置不同的第三位置处显示所述第一参与者的所述第一动态视觉表示，并且输出来自所述第一参与者的所述第一音频，以便将所述第一音频定位在相对于所述参照系的第三模拟空间位置处，所述第三模拟空间位置对应于所述第一动态视觉表示在所述用户界面中的所述第三位置，其中所述第三模拟空间位置不同于所述第一模拟空间位置；以及在所述用户界面中的第四位置处显示所述第二参与者的所述第二动态视觉表示，并且输出来自所述第二参与者的所述第二音频，以便将所述第二音频定位在相对于所述参照系的第四模拟空间位置处，所述第四模拟空间位置对应于所述第二动态视觉表示在所述用户界面中的所述第四位置。33.根据权利要求32所述的电子设备，还包括用于执行根据权利要求2至27中任一项所述的方法的装置。34.一种用于在电子设备中使用的信息处理装置，所述电子设备与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信，所述信息处理装置包括：用于执行以下操作的装置：经由所述一个或多个显示设备显示包括通信会话中的多个参与者的相应动态视觉表示的用户界面，包括在所述用户界面中的第一位置处显示第一参与者的第一动态视觉表示，以及在所述用户界面中的第二位置处显示与所述第一参与者不同的第二参与者的第二动态视觉表示；用于执行以下操作的装置：经由所述一组一个或多个可穿戴音频输出设备输出来自所述通信会话中的所述多个参与者的音频，包括：用于执行以下操作的装置：输出来自所述第一参与者的第一音频，其中所述第一音频
被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述通信会话的参照系的位置而将所述第一音频维持在相对于所述参照系的第一模拟空间位置处，其中所述第一模拟空间位置对应于所述第一动态视觉表示在所述用户界面中的所述第一位置；和用于执行以下操作的装置：输出来自所述第二参与者的第二音频，其中所述第二音频被调整以便独立于所述一组一个或多个可穿戴音频输出设备相对于所述参照系的位置而将所述第二音频维持在相对于所述参照系的第二模拟空间位置处，其中所述第二模拟空间位置对应于所述第二动态视觉表示在所述用户界面中的所述第二位置；用于执行以下操作的装置：经由所述一个或多个输入设备接收选择所述第一参与者的所述第一动态视觉表示的输入；响应于接收到选择所述第一参与者的所述第一动态视觉表示的所述输入而启用的用于执行以下操作的装置：在所述用户界面中与所述第一位置不同的第三位置处显示所述第一参与者的所述第一动态视觉表示，并且输出来自所述第一参与者的所述第一音频，以便将所述第一音频定位在相对于所述参照系的第三模拟空间位置处，所述第三模拟空间位置对应于所述第一动态视觉表示在所述用户界面中的所述第三位置，其中所述第三模拟空间位置不同于所述第一模拟空间位置；以及在所述用户界面中的第四位置处显示所述第二参与者的所述第二动态视觉表示，并且输出来自所述第二参与者的所述第二音频，以便将所述第二音频定位在相对于所述参照系的第四模拟空间位置处，所述第四模拟空间位置对应于所述第二动态视觉表示在所述用户界面中的所述第四位置。35.一种电子设备，所述电子设备与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信，所述电子设备包括：一个或多个处理器；和存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至27中任一项所述的方法的指令。36.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信的电子设备执行时，使得所述电子设备执行根据权利要求1至27中任一项所述的方法。37.一种电子设备上的图形用户界面，所述电子设备与一个或多个显示设备、一个或多个输入设备、一组一个或多个可穿戴音频输出设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器通信，所述图形用户界面包括根据权利要求1至27中任一项所述的方法显示的用户界面。38.一种电子设备，所述电子设备与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信，所述电子设备包括：用于执行根据权利要求1至27中任一项所述的方法的装置。39.一种用于在电子设备中使用的信息处理装置，所述电子设备与一个或多个显示设备、一个或多个输入设备和一组一个或多个可穿戴音频输出设备通信，所述信息处理装置
包括：用于执行根据权利要求1至27中任一项所述的方法的装置。40.一种方法，包括：在与和第二用户相关联的第二组一个或多个可穿戴音频输出设备通信的与第一用户相关联的第一组一个或多个可穿戴音频输出设备处：当所述第一组一个或多个可穿戴音频输出设备和所述第二组一个或多个可穿戴音频输出设备参与音频通信会话时，经由所述第一组一个或多个可穿戴音频输出设备输出来自所述第二组一个或多个可穿戴音频输出设备的相应音频，包括：当所述第一组一个或多个可穿戴音频输出设备相对于所述第二组一个或多个可穿戴音频输出设备移动时：调整所述相应音频以便将所述相应音频定位在相对于所述第一组一个或多个可穿戴音频输出设备的模拟空间位置处，所述模拟空间位置基于所述第二组一个或多个可穿戴音频输出设备相对于所述第一组一个或多个可穿戴音频输出设备的相应位置来确定；以及基于所述第二组一个或多个可穿戴音频输出设备距所述第一组一个或多个可穿戴音频输出设备的距离来调整所述相应音频的除了模拟空间位置之外的输出属性。41.根据权利要求40所述的方法，其中基于所述距离来调整所述相应音频的所述输出属性包括调整所述相应音频的音量。42.根据权利要求41所述的方法，包括：当所述第一组一个或多个可穿戴音频输出设备相对于所述第二组一个或多个可穿戴音频输出设备移动时，检测所述第一组一个或多个可穿戴音频输出设备与所述第二组一个或多个可穿戴音频输出设备之间的距离变化；其中：所述距离变化与在所述第一组一个或多个可穿戴音频输出设备的位置处可听到的来自所述第二组一个或多个可穿戴音频输出设备的位置的无辅助语音音频的第一音量变化量相关联，并且基于所述距离来调整所述相应音频的所述输出属性包括：响应于检测到所述距离变化，将所述相应音频的所述音量改变与所述第一量不同的第二量。43.根据权利要求41至42中任一项所述的方法，包括调整所述相应音频的所述音量而不将所述相应音频的所述音量降低到低于相应音量阈值。44.根据权利要求40至43中任一项所述的方法，其中基于所述距离来调整所述相应音频的所述输出属性包括改变所述相应音频的混响量。45.根据权利要求40至44中任一项所述的方法，包括：根据确定所述第二组一个或多个可穿戴音频输出设备距所述第一组一个或多个可穿戴音频输出设备的阈值距离内，输出被选择一个或多个直通音频分量以便增加来自所述第一组一个或多个可穿戴音频输出设备周围的物理环境的环境声音的音频直通。46.根据权利要求40至45中任一项所述的方法，包括：在所述第一组一个或多个可穿戴音频输出设备和所述第二组一个或多个可穿戴音频输出设备参与所述音频通信会话之前：接收在所述第一组一个或多个可穿戴音频输出设备与所述第二组一个或多个可穿戴
音频输出设备之间建立通信的请求；以及当所述第一组一个或多个可穿戴音频输出设备与所述第二组一个或多个可穿戴音频输出设备通信时，发起所述音频通信会话。47.根据权利要求40至46中任一项所述的方法，包括确定所述第二组一个或多个可穿戴音频输出设备在相对于所述第一组一个或多个可穿戴音频输出设备的相应方向上，其中所述相应音频所定位的所述模拟空间位置在相对于所述第一组一个或多个可穿戴音频输出设备的所述相应方向上。48.根据权利要求40至47中任一项所述的方法，其中输出所述相应音频在不考虑所述第一组一个或多个可穿戴音频输出设备与所述第二组一个或多个可穿戴音频输出设备之间的直接路径是否被遮挡的情况下来执行，输出所述相应音频包括调整所述相应音频以便将所述相应音频定位在所述模拟空间位置处以及调整所述相应音频的除了所述模拟空间位置之外的所述输出属性。49.一种与和第二用户相关联的第二组一个或多个可穿戴音频输出设备通信的与第一用户相关联的第一组一个或多个可穿戴音频输出设备，所述第一组一个或多个可穿戴音频输出设备包括：一个或多个处理器；和存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：当所述第一组一个或多个可穿戴音频输出设备和所述第二组一个或多个可穿戴音频输出设备参与音频通信会话时，经由所述第一组一个或多个可穿戴音频输出设备输出来自所述第二组一个或多个可穿戴音频输出设备的相应音频，包括：当所述第一组一个或多个可穿戴音频输出设备相对于所述第二组一个或多个可穿戴音频输出设备移动时：调整所述相应音频以便将所述相应音频定位在相对于所述第一组一个或多个可穿戴音频输出设备的模拟空间位置处，所述模拟空间位置基于所述第二组一个或多个可穿戴音频输出设备相对于所述第一组一个或多个可穿戴音频输出设备的相应位置来确定；以及基于所述第二组一个或多个可穿戴音频输出设备距所述第一组一个或多个可穿戴音频输出设备的距离来调整所述相应音频的除了模拟空间位置之外的输出属性。50.根据权利要求49所述的第一组一个或多个可穿戴音频输出设备，其中所述一个或多个程序还包括用于执行根据权利要求41至48中任一项所述的方法的指令。51.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由与和第二用户相关联的第二组一个或多个可穿戴音频输出设备通信的与第一用户相关联的第一组一个或多个可穿戴音频输出设备执行时，使得所述第一组一个或多个可穿戴音频输出设备：当所述第一组一个或多个可穿戴音频输出设备和所述第二组一个或多个可穿戴音频输出设备参与音频通信会话时，经由所述第一组一个或多个可穿戴音频输出设备输出来自所述第二组一个或多个可穿戴音频输出设备的相应音频，包括：当所述第一组一个或多个可穿戴音频输出设备相对于所述第二组一个或多个可穿戴音频输出设备移动时：调整所述相应音频以便将所述相应音频定位在相对于所述第一组一个或多个可穿戴音频输出设备的模拟空间位置处，所述模拟空间位置基于所述第二组一个或多个可穿戴音
频输出设备相对于所述第一组一个或多个可穿戴音频输出设备的相应位置来确定；以及基于所述第二组一个或多个可穿戴音频输出设备距所述第一组一个或多个可穿戴音频输出设备的距离来调整所述相应音频的除了模拟空间位置之外的输出属性。52.根据权利要求51所述的计算机可读存储介质，其中所述一个或多个程序还包括用于执行根据权利要求41至48中任一项所述的方法的指令。53.一种与和第二用户相关联的第二组一个或多个可穿戴音频输出设备通信的与第一用户相关联的第一组一个或多个可穿戴音频输出设备，所述第一组一个或多个可穿戴音频输出设备包括：当所述第一组一个或多个可穿戴音频输出设备和所述第二组一个或多个可穿戴音频输出设备参与音频通信会话时启用的用于执行以下操作的装置：经由所述第一组一个或多个可穿戴音频输出设备输出来自所述第二组一个或多个可穿戴音频输出设备的相应音频，包括：当所述第一组一个或多个可穿戴音频输出设备相对于所述第二组一个...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：苹果公司，
类型：发明
国别省市：