一种音频装置和方法采用第一渲染器电路，其中，所述第一渲染器电路被布置为通过生成针对一组扬声器的第一组音频信号来渲染音频元素；以及第二渲染器电路，其中，所述第二渲染器电路被布置为通过生成针对耳机的第二组音频信号来渲染音频元素，并且在所述第一渲染器电路和所述第二渲染器电路之间进行选择，使得第一音频元素的至少第一部分的渲染响应于在音频信号中接收的第一音频渲染性质指示符。所述第一音频渲染性质指示符指示所述第一音频元素的所述第一部分是应当经由所述扬声器渲染还是经由所述耳机渲染。还是经由所述耳机渲染。还是经由所述耳机渲染。
【技术实现步骤摘要】
音频装置和音频处理的方法
[0001]本申请是申请日为2019年8月20日、专利技术名称为“音频装置和音频处理的方法”的专利申请201980055860.6的分案申请。
[0002]本专利技术涉及音频装置和音频处理的方法，并且具体涉及但非排他地涉及使用这些来支持增强/虚拟现实应用。
技术介绍
[0003]近年来，随着利用和消费视听内容的新的服务和方式的不断开发和推出，基于视听内容的体验的种类和范围已经大幅增加。具体地，许多空间和交互服务、应用和体验正被开发以给予用户更投入且沉浸的体验。
[0004]此类应用的范例是迅速成为主流的虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用，其中，许多技术方案瞄准消费者市场。许多标准也正在由许多标准化主体开发中。此类标准化活动正在主动开发用于VR/AR/MR系统的各种方面(包括例如流送、传播、渲染等)的标准。
[0005]VR应用趋向于提供对应于用户在不同世界/环境/场景的用户体验，而AR(包括混合现实MR)应用趋向于提供对应于用户在当前环境中但是具有额外信息或被添加的虚拟对象或信息的用户体验。因此，VR应用趋向于提供完全沉浸的合成生成的世界/场景，而AR应用趋向于提供被叠加在用户物理地存在于的真实场景上的部分合成的世界/场景。然而，术语经常被可互换地使用，并且具有高度的交叠。在下文中，术语虚拟现实/VR将会用来表示虚拟现实和增强现实两者。
[0006]作为范例，日益流行的服务是以用户能够与系统主动且动态地交互以改变渲染的参数使得这适合于用户的位置和取向的移动和改变的方式提供图像和音频。在许多应用中极具吸引力的特征是改变观看者的有效观看位置和观看方向的能力，例如，允许观看者在正被呈现的场景中移动和“环视”。
[0007]这种特征能够特别允许给用户提供虚拟现实体验。这可以允许用户在虚拟环境中(相对)自由地四处移动且动态地改变其位置和其正在观看的地方。通常，这种虚拟现实应用基于场景的三维模型，其中，该模型被动态地评价以提供特定请求的视图。对于计算机和控制台而言，该方法在例如游戏应用中(例如在第一人称射击者类别中)是熟知的。
[0008]特别是对于虚拟现实应用而言，也期望所呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选使用户体验的呈现场景为三维场景。实际上，虚拟现实体验应当优选允许用户选择他/她自身的位置、摄像机视点和相对于虚拟世界的时刻。
[0009]通常，虚拟现实应用被固有地限制于基于预定的场景模型并且通常基于人造的虚拟世界模型。在一些应用中，虚拟现实体验可以基于真实世界捕获来提供。在许多情况下，这种方法趋向于基于根据真实世界捕获而构建的真实世界的虚拟模型。然后通过评价该模型来生成虚拟现实体验。
[0010]许多当前方法趋向于是次优的，并且通常趋向于具有高计算要求或高通信资源要求和/或提供具有例如降低质量或有限自由度的次优的用户体验。
[0011]作为应用的范例，允许观看者体验所捕获的360
°
(全景)或180
°
视频的虚拟现实眼镜已经正在进入市场。这些360
°
视频通常是使用摄像机装备预先捕获的，其中，个体图像被拼接在一起而成为单个球形映射。180
°
或360
°
视频的常见立体格式是上/下和左/右。类似于非全景立体视频，左眼图片和右眼图片例如被压缩为单个H.264视频流的部分。
[0012]除了虚拟渲染之外，大多数VR/AR应用还提供对应的音频体验。在许多应用中，音频优选地提供空间音频体验，其中，音频源被感知为从与虚拟场景中的对应对象的位置相对应的位置到达。因此，音频和视频场景优选地被感知为是一致的，并且其中，两者提供完全空间体验。
[0013]对于音频，直到现在主要集中于使用双耳音频渲染技术的耳机再现。在许多情况下，耳机再现为用户实现了高度沉浸的个性化体验。使用头部跟踪，渲染能够对用户的头部运动做出响应，这高度增加了沉浸感。
[0014]最近，在市场上和在标准讨论中，都开始提出涉及VR(和AR)的“社交”或“共享”方面的使用实例，即与其他人一起分享体验的可能性。这些能够是不同位置处的人，而且也可以是同一位置中的人(或两者的组合)。例如，同一房间中的若干人可以利用存在于VR内容/场景中的每个参与者的投影(音频和视频)共享相同的VR体验。例如，在多个人参与的游戏中，每个游戏者在游戏场景中可能具有不同的位置并且因此音频和视频场景的不同投影。
[0015]作为特定范例，MPEG试图针对具有六个自由度的逼真的沉浸式AR/VR体验标准化比特流和解码器。社交VR是重要的特征，并且允许用户在共享环境(游戏、电话会议、在线购物等)中进行交互。对于物理上处于相同位置但是在例如头戴式显示器或其他VR头盔提供与物理环境的感知隔离的情况下的用户，社交VR的概念也有助于使VR体验更像社交活动。
[0016]耳机再现在这种“社交”或“共享”AR(或VR)使用实例中的缺点是，在每个用户佩戴个体耳机的情况下，处于相同位置(例如：房间)的用户与彼此至少部分地声学上隔离，这减少了体验的“社交”部分(例如，对于站在彼此附近的人来说具有自然交谈变得困难或不便)。
[0017]这可以通过使用扬声器而非耳机用于音频再现来解决。然而，这具有音频再现不能根据个体用户被自由调整和定制的缺点。例如，难以使音频再现动态地适应于头部运动，并且特别地适应于每个个体用户头部取向的改变。这种效果对于沉浸式体验是非常重要的，并且因此扬声器趋向于对于生成优化的用户体验来说是次优的。
[0018]因此，用于音频处理、具体地用于虚拟/增强/混合现实体验/应用、应用的改进的方法将会是有利的。具体地，允许改进的操作、增加的灵活性、降低的复杂性、方便的实施、改进的音频体验、音频视觉场景的更一致的感知、改进的定制、改进的个性化；改进的虚拟现实体验和/或改进的性能和/或操作的方法将会是有利的。
技术实现思路
[0019]因此，本专利技术试图优选地单独地或以任何组合减轻、缓解或者消除上文所提到的缺点中的一个或多个。
[0020]根据本专利技术的一方面，提供了一种音频装置，包括：接收器，其用于接收描述音频
场景的数据，所述数据包括针对与所述场景中的音频源相对应的一组音频元素的音频数据和至少包含针对所述一组音频元素的第一音频元素的第一音频渲染性质指示符的元数据；第一渲染器，其用于通过生成针对一组扬声器的第一组音频信号来渲染音频元素；第二渲染器，其用于通过生成针对耳机的第二组音频信号来渲染音频元素；以及选择器，其被布置为响应于所述第一音频渲染性质指示符而在所述第一渲染器与所述第二渲染器之间进行选择以用于渲染所述第一音频元素的至少第一部分；其中，所述音频渲染性质指示符指示所述第一音频元素的所述第一部分是与听者姿态相关位置相关联还是与听者姿态无关位置相关联。
[0021]在许多实施例中，该方法可以提供改进的用户体验，并且可以具体地为许多虚拟现本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种音频装置，包括：接收器电路，其中，所述接收器电路被布置为接收数据，其中，所述数据描述音频场景，其中，所述数据包括音频数据和元数据，其中，所述音频数据是针对与所述场景中的音频源相对应的一组音频元素，其中，所述一组音频元素包括第一音频元素其中，所述元数据至少包括第一音频渲染性质指示符，其中，所述第一音频渲染性质指示符是针对所述第一音频元素的；第一渲染器电路，其中，所述第一渲染器电路被布置为通过生成针对一组扬声器的第一组音频信号来渲染音频元素；第二渲染器电路，其中，所述第二渲染器电路被布置为通过生成针对耳机的第二组音频信号来渲染音频元素；以及选择器电路，其中，所述选择器电路被布置为在所述第一渲染器电路和所述第二渲染器电路之间进行选择，使得所述第一音频元素的至少第一部分的渲染响应于所述第一音频渲染性质指示符；其中，所述第一音频渲染性质指示符指示所述第一音频元素的所述第一部分是应当经由所述扬声器渲染还是经由所述耳机渲染。2.根据权利要求1所述的装置，其中，所述装置被布置为生成针对多个听者的音频信号，其中，所述第一渲染器电路被布置为生成所述第一组音频信号作为针对所述多个听者的共同的一组音频信号，其中，所述第二渲染器电路被布置为生成针对所述多个听者中的第一听者的耳机的所述第二组音频信号，其中，所述第二渲染器电路被布置为生成针对所述多个听者中的第二听者的耳机的第三组音频信号。3.根据权利要求1所述的装置，其中，所述第一部分是所述第一音频元素的频率子范围。4.根据权利要求1所述的装置，其中，所述选择器电路被布置为针对所述第一音频元素的所述第一部分在所述第一渲染器电路与所述第二渲染器电路之间进行选择，其中，所述选择器电路被布置为针对所述第一音频元素的第二部分在所述第一渲染器电路与所述第二渲染器电路之间进行选择。5.根据权利要求1所述的装置，其中，所述第一音频渲染性质指示符指示所述第一音频元素的音频格式。6.根据权利要求1所述的装置，其中，所述第一音频渲染性质指示符指示用于渲染所述第一音频元素的指导渲染性质。7.根据权利要求6所述的装置，其中，所述第一音频渲染性质指示符明确地指示所述第一音频项的所述第一部分旨在经由所述扬声器渲染，或明确地指示所述第一音频项的所述
第一部分旨在经由所述耳机渲染。8.根据权利要求1所述的装置，其中，所述电路被布置为接收视觉数据，其中，所述视觉数据指示与所述音频场景相对应的虚拟场景，其中，所述第一音频渲染性质指示符指示所述第一音频元素是否表示与视觉场景对象相对应的音频源。9.根据权利要求1所述的装置，还包括用户输入电路，其中，所述用户输入电路被布置为接收用户输入，其中，所述选择器电路被布置为响应于所述用户输入在所述第一渲染器电路与所述第二渲染器电路之间进行选择，以渲染所述第一音频元素的至少所述第一部分。10.根据权利要求1所述的装置，其中，所述第一音频渲染性质指示符指示所述第一音频元素的所述第一部分的音频源类型，其中，所述选择器电路被布置为基于所述第一音频元素的所述第一部分的所述音频源类型在所述第一渲染器电路和所述第二渲染器电路之间进行选择，以渲染所述第一音频元素的所述第一部...
【专利技术属性】
技术研发人员：W，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。