头戴式装置上的音频系统向用户呈现模拟目标人工现实环境的音频内容。该系统从环境接收音频内容，并分析该音频内容以确定与该环境相关联的一组声学特性。音频内容可以是用户生成的声音或环境声音。在接收到目标环境的一组目标声学特性之后，系统通过比较该一组声学特性和目标环境的声学特性来确定传递函数。系统基于传递函数调整音频内容，并将调整后的音频内容呈现给用户。所呈现的调整后的音频内容包括目标环境的目标声学特性中的一个或更多个。括目标环境的目标声学特性中的一个或更多个。括目标环境的目标声学特性中的一个或更多个。
【技术实现步骤摘要】
【国外来华专利技术】用于人工现实环境的音频系统
[0001]相关申请的交叉引用
[0002]本申请要求2019年6月24日提交的美国申请第16/450,678号的优先权，该申请的内容为了所有目的通过引用以其整体并入本文。
[0003]背景
[0004]本公开总体上涉及音频系统，并且具体涉及渲染(render)目标人工现实环境的声音的音频系统。
[0005]头戴式显示器(HMD)可用于向用户呈现虚拟的和/或增强的信息。例如，增强现实(AR)头戴式装置或虚拟现实(VR)头戴式装置可用于模拟增强/虚拟现实。传统上，AR/VR头戴式装置的用户佩戴头戴式耳机来接收或以其它方式体验计算机生成的声音。其中用户佩戴AR/VR头戴式装置的环境通常与AR/VR头戴式装置模拟的虚拟空间不匹配，从而为用户呈现听觉冲突。例如，音乐家和演员通常需要在表演空间完成排练，因为他们的演奏风格和在观众区接收的声音取决于大厅的声学效果。此外，在涉及用户生成的声音(例如语音(speech)、鼓掌等等)的游戏或应用中，玩家所在的真实空间的声学特性与虚拟空间的声学特性不匹配。
[0006]概述
[0007]公开了一种用于渲染目标人工现实环境中的声音的方法。该方法通过控制器分析与环境相关联的一组声学特性。环境可以是用户所在的房间。一个或更多个传感器从环境中接收音频内容(包括用户生成的声音和环境声音)。例如，用户可以在环境中说话、演奏乐器或唱歌，而环境声音可以包括风扇运转和狗吠声等。响应于接收到对诸如体育场、音乐大厅或场地的目标人工现实环境的选择，控制器将用户当前所在房间的声学特性与和目标环境相关联的一组目标声学特性进行比较。控制器随后确定传递函数，控制器使用该传递函数来调整接收的音频内容。因此，一个或更多个扬声器向用户呈现调整后的音频内容，使得调整后的音频内容包括目标环境的目标声学特性中的一个或更多个。用户感知调整后的音频内容就好像他们在目标环境中一样。
[0008]在一些实施例中，该方法由作为头戴式装置(例如，近眼显示器(NED)、头戴式显示器(HMD))的一部分的音频系统来执行。音频系统包括用于检测音频内容的一个或更多个传感器、用于呈现调整后的音频内容的一个或更多个扬声器、以及用于分析环境的声学特性与目标环境的声学特性以及确定表征两组声学特性的比较的传递函数的控制器。
[0009]附图简述
[0010]图1是根据一个或更多个实施例的头戴式装置的图。
[0011]图2A示出了根据一个或更多个实施例的声场。
[0012]图2B示出了根据一个或更多个实施例的在渲染目标环境的音频内容之后的声场。
[0013]图3是根据一个或更多个实施例的示例音频系统的框图。
[0014]图4是根据一个或更多个实施例的用于渲染目标环境的音频内容的过程。
[0015]图5是根据一个或更多个实施例的示例人工现实系统的框图。
[0016]附图仅出于说明的目的描绘了各种实施例。本领域技术人员从下面的讨论中将容
易认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。
[0017]详细描述
[0018]一种音频系统渲染目标人工现实环境的音频内容。当佩戴诸如头戴式装置等人工现实(AR)或虚拟现实(VR)设备时，用户可以生成音频内容(例如，语音、来自乐器的音乐、掌声或其他噪声)。用户当前环境(诸如房间)的声学特性可能与AR/VR头戴式装置模拟的虚拟空间(即目标人工现实环境)的声学特性不匹配。音频系统渲染用户生成的音频内容，就像它是在目标环境中生成的一样，同时也考虑用户当前环境中的环境声音。例如，用户可以使用头戴式装置来模拟音乐大厅(即目标环境)中的声乐表演。当用户唱歌时，音频系统调整音频内容(即用户唱歌的声音)，使得其听起来像用户在音乐大厅唱歌。用户周围环境中的环境噪声(例如滴水、人们说话或风扇运转)可能被减弱，因为目标环境不太可能以这些声音为特征。音频系统考虑环境声音和用户生成的不具有目标环境特征的声音，并渲染音频内容，使得其听起来像是在目标人工现实环境中产生的。
[0019]音频系统包括用于接收音频内容(包括用户生成的声音以及用户周围的环境声音)的一个或更多个传感器。在一些实施例中，音频内容可以由环境中的一个以上的用户生成。音频系统分析用户当前环境的一组声学特性。音频系统接收用户对目标环境的选择。在比较与当前环境的声学特性相关联的原始响应和与目标环境的声学特性相关联的目标响应之后，音频系统确定传递函数。音频系统根据确定的传递函数调整检测到的音频内容，并通过一个或更多个扬声器向用户呈现调整后的音频内容。
[0020]本专利技术的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
[0021]系统概况
[0022]图1是根据一个或更多个实施例的头戴式装置100的图。头戴式装置100向用户呈现媒体。头戴式装置100包括音频系统、显示器105和框架110。通常，头戴式装置可以佩戴在用户的脸上，使得使用头戴式装置来呈现内容。内容可以包括分别通过音频系统和显示器105呈现的音频和视觉媒体内容。在一些实施例中，头戴式装置可以仅通过头戴式装置向用户呈现音频内容。框架110使得头戴式装置100能够佩戴在用户的脸上，并且容纳音频系统的部件。在一个实施例中，头戴式装置100可以是头戴式显示器(HMD)。在另一个实施例中，头戴式装置100可以是近眼显示器(NED)。
[0023]显示器105向头戴式装置100的用户呈现视觉内容。视觉内容可以是虚拟现实环境的一部分。在一些实施例中，显示器105可以是电子显示元件，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、量子有机发光二极管(QOLED)显示器、透明有机发光二极管(TOLED)显示器、某种其他显示器或它们的某种组合。显示器105可以是背光的。在一些实施例中，显示器105可以包括一个或更多个透镜(lenses)，这些透镜增强了用户在佩戴头戴式装置100时看到的内容。本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：分析环境中的声音以识别与所述环境相关联的一组声学特性；接收在所述环境中生成的音频内容；基于所述一组声学特性与目标环境的一组目标声学特性的比较来确定传递函数；使用所述传递函数来调整所述音频内容，其中，所述传递函数基于所述目标环境的所述一组目标声学特性来调整所述音频内容的所述一组声学特性；和向用户呈现所调整的音频内容，其中，所调整的音频内容被用户感知为是在所述目标环境中生成的。2.根据权利要求1所述的方法，其中，使用所述传递函数调整所述音频内容还包括：识别所述环境中的环境声音；和为用户从所调整的音频内容中过滤掉所述环境声音。3.根据权利要求1所述的方法，还包括：向用户提供多个目标环境选项，所述多个目标环境选项中的每一个对应于不同的目标环境；和从用户接收从所述多个目标环境选项中对所述目标环境的选择。4.根据权利要求3所述的方法，其中，所述多个目标环境选项中的每一个与所述目标环境的不同的一组声学特性相关联。5.根据权利要求1所述的方法，还包括：确定表征与所述环境相关联的所述一组声学特性的原始响应；和确定表征所述目标环境的所述一组目标声学特性的目标响应。6.根据权利要求5所述的方法，其中，确定所述传递函数还包括：比较所述原始响应和所述目标响应；和基于该比较，确定与所述环境相关联的所述一组声学参数和与所述目标环境相关联的所述一组声学参数之间的差异。7.根据权利要求1所述的方法，还包括：使用所述传递函数生成声音滤波器，其中，所调整的音频内容部分基于所述声音滤波器。8.根据权利要求1所述的方法，其中，确定所述传递函数是基于至少一个先前测量的房间脉冲或算法混响来确定的。9.根据权利要求1所述的方法，其中，调整所述音频内容还包括：将所述传递函数与所接收的音频内容进行卷积。10.根据权利要求1所述的方法，其中，所接收的音频内容是由多个用户中的至少一个用户生成的。11.一种音频系统，包括：一个或更多个传感器，其被配置为接收环境中的音频内容；一个或...
【专利技术属性】
技术研发人员：塞瓦斯蒂亚，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。