具有基于观看者位置的音频的视觉内容呈现制造技术

本文所公开的各种具体实施包括显示视觉内容作为3D环境的一部分并且添加对应于该视觉内容的音频的设备、系统和方法。该音频可被空间化以来自该3D环境内的一个或多个音频源位置。例如，视频可呈现在扩展现实(XR)环境内的虚拟表面上，同时与该视频相关联的音频被空间化以听起来如同它是从对应于该虚拟表面的音频源位置产生的。如何提供该音频可基于该观看者(例如，该用户或他/她的设备)相对于所呈现的视觉内容的该位置来确定。现的视觉内容的该位置来确定。现的视觉内容的该位置来确定。

【技术实现步骤摘要】
【国外来华专利技术】具有基于观看者位置的音频的视觉内容呈现


[0001]本公开整体涉及用于提供视觉和音频内容的技术。

技术介绍

[0002]电子设备以不同方式呈现诸如图像和视频的视觉内容以及相关联音频。例如，可在设备的显示屏上显示视频内容，同时从设备上的一个或多个扬声器播放相关联音频。可改善提供视觉和音频内容的用户体验。

技术实现思路

[0003]期望实现改善的用户内容体验。本文所公开的各种具体实施包括显示视觉内容作为3D环境的一部分并且添加对应于该视觉内容的音频的设备、系统和方法。该音频可被空间化以来自该3D环境内的一个或多个音频源位置。例如，视频可呈现在扩展现实(XR)环境内的虚拟表面上，同时与该视频相关联的音频被空间化以听起来如同它是从对应于该虚拟表面的音频源位置产生的。如何提供该音频可基于该观看者(例如，该用户或他/她的设备)相对于所呈现的视觉内容的该位置来确定。例如，视频可被呈现在作为球体的一部分的表面上，并且当从球体的外部观看时，声音可如同从球体的外表面上的点源提供。然而，当观看者在球体内移动他或她的头部时，观看者可沉浸在音频中，该音频可能在围绕用户的球体上被空间化。
[0004]在一些具体实施中，一种方法由执行指令的处理器执行。该方法可涉及确定三维(3D)环境中的用于显示视觉内容的位置。位置可在虚拟形状的内表面或外表面上，诸如在虚拟球体的一部分上。视觉内容可以是视频或扭曲视频，诸如可从鱼眼相机获得或基于透镜特性获得。可在非线性形状上呈现视觉内容，从而在没有扭曲的情况下显示该内容。该方法可涉及确定观看者(用户的头部或设备)相对于3D环境中的视觉内容的位置关系(例如，距离、取向等)。位置关系可在与视觉内容相距的阈值距离之内或之外、在其上显示视觉内容的球体或其他形状之内等。该方法还可涉及基于位置关系来确定音频模式。作为示例，音频模式可为点源音频模式、立体声音频模式、多声道音频模式或空间化声音等。音频模式可限定如何呈现来自不同3D位置的音频内容。在一个示例中，当观看者与视觉内容相距的距离大于阈值距离时，使用点源音频模式。在此示例中，当观看者在与视觉内容相距的阈值距离内但在其上呈现视觉内容的球体或其他虚拟形状外时，使用多声道音频模式。在该示例中，当观看者在球体或在其上呈现视觉内容的其他虚拟形状内时，使用空间化音频模式。在一些具体实施中，视觉内容显示模式和音频模式两者都取决于观看者与视觉内容(例如，在其上显示视觉内容的虚拟对象)之间的位置关系并且因此可基于该位置关系而变化。
附图说明
[0005]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0006]图1示出了根据一些具体实施的在物理环境中操作的示例性电子设备。
[0007]图2示出了基于图1的物理环境来生成的示例性三维环境。
[0008]图3是根据一些具体实施的示例性设备的框图。
[0009]图4是示出根据一些具体实施的用于进行具有基于观看者位置的音频的视觉内容呈现的方法的流程图。
[0010]图5A至图5B示出了根据一些具体实施的根据基于观看者位置选择的音频模式提供音频。
[0011]图6A至图6B示出了根据一些具体实施的根据基于观看者位置选择的另一个音频模式提供音频。
[0012]图7示出了根据一些具体实施的根据基于观看者位置选择的另一个音频模式提供音频。
[0013]图8示出了根据一些具体实施的根据基于观看者位置选择的另一个音频模式提供音频。
[0014]图9示出了根据一些具体实施的基于观看者位置提供视频和音频。
[0015]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0016]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0017]图1示出了根据一些具体实施的在物理环境100中操作的示例性电子设备120。物理环境100包括门150、窗160和壁挂170。电子设备120包括可用于捕获或生成门150、窗160、壁挂170和物理环境100的其他对象的表示的一个或多个相机或其他传感器。
[0018]图2示出了基于图1的物理环境100来生成的示例性三维3D环境200。3D环境200包括物理环境100的门150、窗160和壁挂170的相应的表示250、260、270。3D环境200还包括显示在虚拟形状280(例如，3D虚拟形状)的表面上的视觉内容285。电子设备120提供3D环境200的视图，其包括来自观看者位置220的3D环境的描绘，该观看者位置在本示例中是基于电子设备120在物理环境100中的位置来确定的。因此，当用户相对于物理环境100移动电子设备120时，对应于电子设备120位置的观看者位置220相对于3D环境200移动。由电子设备提供的3D环境的视图基于观看者位置220相对于3D环境200的改变而改变。在一些具体实施中，3D环境200不包括物理环境100的表示，例如仅包括对应于虚拟现实环境的虚拟内容。
[0019]在图1和图2的示例中，电子设备120被示出为单个手持式设备。电子设备120可以是移动电话、平板电脑、膝上型计算机等等。在一些具体实施中，电子设备120由用户穿戴。例如，电子设备120可以是手表、头盔式设备(HMD)、头戴式设备(眼镜)、耳机、耳挂式设备等。在一些具体实施中，设备120的功能通过两个或更多个设备来实现，例如移动设备和基
站或头戴式显示器和耳挂式设备。各种功能可以分布在多个设备中，包括但不限于功率功能、CPU功能、GPU功能、存储功能、存储器功能、视觉内容显示功能、音频内容生产功能等。可以用于实现电子设备120的功能的多个设备可以通过有线或无线通信彼此通信。
[0020]根据一些具体实施，电子设备120生成扩展现实(XR)环境并向一个或多个用户呈现该XR环境。扩展现实(XR)环境是指某人可使用电子设备与其交互和/或对其进行感测的完全或部分模拟的环境。例如，XR环境可包括虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容等。使用XR系统，可跟踪人的身体运动的一部分或其表示。作为响应，可调整在XR环境中模拟的虚拟对象的一个或多个特征，使得其依附于一个或多个物理定律。例如，XR系统可检测用户的头部运动，并且作为响应，以与视图和声音将在物理环境中变化的方式类似的方式调整呈现给用户的图形和听觉内容。在另一示例中，XR系统可检测呈现XR环境的电子设备(例如膝上型电脑、移本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在具有处理器的设备处：确定三维(3D)环境中的用于显示视觉内容的位置；确定观看者相对于所述3D环境中的所述视觉内容的位置关系；基于所述位置关系来确定音频模式；以及根据所述音频模式呈现音频内容与所述视觉内容。2.根据权利要求1所述的方法，其中确定所述位置关系包括确定所述观看者在所述视觉内容的预定距离内。3.根据权利要求1所述的方法，其中确定所述位置关系包括确定所述观看者在与所述视觉内容相关联的区域内。4.根据权利要求3所述的方法，其中在虚拟形状的一部分上显示视觉内容并且基于所述形状来限定所述区域。5.根据权利要求1至4中任一项所述的方法，其中所述音频模式是单点源音频模式。6.根据权利要求5所述的方法，其中基于所述视觉内容的所述位置来确定所述点源的位置。7.根据权利要求5所述的方法，其中所述位置关系包括所述观看者与所述视觉内容相距的距离，其中基于所述距离超过阈值来选择所述单点源音频模式。8.根据权利要求5所述的方法，其中所述位置关系包括所述观看者位于与所述视觉内容相关联的形状之外，其中基于所述观看者位于所述形状之外来选择所述单点源音频模式。9.根据权利要求1至4中任一项所述的方法，其中所述音频模式是多声道音频模式。10.根据权利要求9所述的方法，其中所述位置关系包括所述观看者与所述视觉内容相距的距离，其中基于所述距离小于阈值来选择所述多声道音频模式。11.根据权利要求9所述的方法，其中所述位置关系包括所述观看者位于与所述视觉内容相关联的形状之外，其中基于所述观看者位于所述形状之外来选择所述多声道音频模式。12.根据权利要求1至4中任一项所述的方法，其中所述音频模式是空间化音频模式。13.根据权利要求12所述的方法，其中所述位置关系包括所述观看者位于与所述视觉内容相关联的形状内，其中基于观看者位于所述形状内来选择所述空间化音频模式。14.根据权利要求1至4中任一项所述的方法，其中所述音频模式包括从在其上显示所述视觉内容的形状上的多个位置呈现音频。15.根据权利要求14所述的方法，还包括：确定所述音频内容的第一音频内容项与所述视觉内容的第一视觉内容项相关联；以及基于所述第一视觉内容项的位置来选择所述第一音频内容项的位置。16.根据权利要求1至15中任一项所述的方法，还包括基于检测到所述观看者接近所述视觉内容来增加音频空间化。17.一种系统，包括：非暂态计算机可读存储介质；以及一个或多个...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：苹果公司，
类型：发明
国别省市：