用于控制针对扩展现实体验的音频渲染的用户接口制造技术

设备可以被配置为播放多个音频流中的一个或多个。设备可以包括被配置为存储多个音频流的存储器，音频流中的每一个表示声场。设备还可以包括一个或多个处理器，该一个或多个处理器耦合到存储器，并且被配置为向用户呈现用户接口，经由用户接口从用户获得表示期望收听定位的指示；以及基于该指示来选择多个音频流中的至少一个音频流。中的至少一个音频流。中的至少一个音频流。

【技术实现步骤摘要】
【国外来华专利技术】用于控制针对扩展现实体验的音频渲染的用户接口
[0001]相关申请的交叉引用
[0002]本申请要求2020年7月1日提交的美国专利申请16/918,492和2019年7月3日提交的美国临时专利申请62/870,577和2020年3月20日提交的美国临时专利申请62/992,624的优先权，其中每一项的全部内容以引用方式并入。


[0003]本公开涉及媒体数据(诸如音频数据)的处理。

技术介绍

[0004]计算机介导的(computer
‑
mediated)现实系统正在被开发，以允许计算设备对用户体验的现有现实进行增强或添加、删除或减去，或者一般修改。计算机介导的现实系统(也可以被称为“扩展现实系统”或“XR系统”)可以包括例如虚拟现实(VR)系统、增强现实(AR)系统和混合现实(MR)系统。计算机介导的现实系统的感知成功通常与这样的计算机介导的现实系统在视频和音频体验两方面提供逼真的沉浸式体验(其中视频和音频体验以用户期望的方式对准)的能力有关。尽管人类视觉系统比人类听觉系统更为敏感(例如，在对场景内各种对象的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种被配置为播放多个音频流中的一个或多个的设备，所述设备包括：存储器，被配置为存储所述多个音频流，所述音频流中的每一个表示声场；以及一个或多个处理器，耦合到所述存储器，并且被配置为：向用户呈现用户接口；经由所述用户接口从所述用户获得表示期望收听定位的指示；以及基于所述指示来选择所述多个音频流中的至少一个音频流。2.如权利要求1所述的设备，其中所述存储器还被配置为存储与其中所述多个音频流中的对应音频流被捕获或合成的声学空间的坐标相关联的位置信息。3.如权利要求2所述的设备，其中所述用户接口包括以下中的一个或多个：图形用户接口、基于手势的用户接口、基于话音命令的用户接口、基于触摸的用户接口。4.如权利要求3所述的设备，其中所述用户接口被配置为以单点触摸、多点触摸、手势、话音命令或敲击中的至少一个获得用户输入。5.如权利要求3所述的设备，其中所述用户接口包括所述图形用户接口，并且所述图形用户接口包括与其中所述多个音频流被捕获或合成的声学空间的坐标相关联的表示。6.如权利要求5所述的设备，其中所述表示以表示其中所述多个音频流被捕获或合成的声学空间的坐标的相对定位的空间关系而被布置于所述图形用户接口中。7.如权利要求6所述的设备，其中所述一个或多个处理器还被配置为响应于获得表示所述期望收听定位的指示，输出建议替代收听定位的图形用户接口元素以用于显示。8.如权利要求1所述的设备，其中所述一个或多个处理器还被配置为基于所述指示通过以下中的至少一个来组合至少两个音频流：混合所述至少两个音频流，或者基于所述至少两个音频流内插第三音频流。9.如权利要求1所述的设备，其中所述一个或多个处理器还被配置为经由所述用户接口获得表示被指派给音频流的重要性的重要性指示，并且其中所述重要性指示要应用于所述音频流的相对增益。10.如权利要求1所述的设备，其中所述一个或多个处理器还被配置为基于所述指示来设置音频源距离阈值。11.如权利要求1所述的设备，其中所述一个或多个处理器还被配置为经由所述用户接口从所述用户获得所述用户期望激活贴合模式的指示。12.如权利要求11所述的设备，其中所述贴合模式是硬贴合模式或软贴合模式。13.如权利要求12所述的设备，其中所述一个或多个处理器还被配置为：确定第一音频源距离阈值，以及其中所述一个或多个处理器被配置为还基于所述第一音频源距离阈值来选择所述多个音频流中的至少一个音频流。14.如权利要求13所述的设备，其中所述一个或多个处理器还被配置为：确定第二音频源距离阈值，以及其中所述一个或多个处理器被配置为还基于所述第二音频源距离阈值来选择所述多个音频流中的至少一个音频流。15.如权利要求14所述的设备，其中所述一个或多个处理器被配置为通过将函数F(x)应用于所述两个音频流来组合所述两个音频流。
16.如权利要求1所述的设备，其中所述一个或多个处理器还被配置为：确定用户正在从一个位置移动到另一位置；以及基于对所述用户正在从一个位置移动到另一位置的确定，选择所述多个音频流中的至少一个不同的音频流。17.如权利要求1所述的设备，其中所述设备包括扩展现实头戴装置，以及其中显示世界包括由相机捕获的视频数据所表示的视觉场景。18.如权利要求1所述的设备，其中所述设备包括扩展现实头戴装置，以及其中显示世界包括虚拟世界。19.如权利要求1所述的设备，其中所述设备包括移动手持装置。20.如权利要求1所述的设备，其中所述设备还包括无线收发器，所述无线收发器耦合到所述一个或多个处理器并且被配置为接收无线信号，其中所述无线信号包括蓝牙或Wi
‑
Fi中的至少一个，或者符合第五代5G蜂窝协议。21.一种方法，包括：由存储器存储多个音频流，所述音频流中的每一个表示声场，所述存储器通信地耦合到一个或多个处理器；由所述一个或多个处理器呈现用户接口；由所述一个或多个处理器经由所述用户接口获得表示期望收听定位的指示；由所述一个...

【专利技术属性】
技术研发人员：IG穆诺兹，SG斯瓦米纳坦，NG彼得斯，SMA萨利辛，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：