可穿戴装置的空间音频制造方法及图纸

在连接至可穿戴装置的伴随装置或服务器处渲染空间音频，其中基于所述可穿戴装置的在所述伴随装置或服务器处估计的第一姿势估计来渲染所述空间音频。然后将所渲染的空间音频传输至所述可穿戴装置。基于所述可穿戴装置的在所述可穿戴装置处估计的第二姿势估计来在所述可穿戴装置处细化所渲染的空间音频。然后经由所述可穿戴装置的扬声器提供细化空间音频以供回放。频以供回放。频以供回放。

【技术实现步骤摘要】
【国外来华专利技术】可穿戴装置的空间音频

技术介绍

[0001]为了提供更准确的、沉浸式的或令人愉快的用户体验，一些头戴式显示装置包括空间音频特征，这些空间音频特征利用为用户生成声音的扬声器。空间音频是指由装置再现的声音，使得收听者将声音感知为来自特定或接近方向。空间音频渲染技术诸如在虚拟现实(VR)或增强现实(AR)系统、导航系统或其它旅行辅助工具以及实时航空系统中具有各种应用。
[0002]在不具有任何缓解的情况下，包括运动传感器和扬声器的支持无线音频的眼镜或其它头戴式附件装置在利用远程装置时可以具有运动检测与空间音频回放之间的在400毫秒(ms)的范围内的延时，以进行与渲染空间音频相关联的运算操作。这可以对用户体验产生负面影响，特别是对于使用声音来引导用户或对用户移动做出响应的实现方式。

技术实现思路

[0003]根据一个方面，一种方法，该方法包括：
[0004]利用可穿戴装置接收与可穿戴装置对应的空间音频数据和第一姿势估计；
[0005]利用可穿戴装置生成与可穿戴装置对应的第二姿势估计；
[0006]利用可穿戴装置基于第二姿势估计来细化空间音频数据；以及
[0007]利用可穿戴装置基于细化空间音频数据来产生声音。
[0008]根据一些方面，该方法可以包括以下特征中的一者或多者(例如全部)(或其任何组合)。
[0009]该方法可以包括：利用可穿戴装置的运动传感器在第一时间段期间生成第一姿势元数据，其中基于第一姿势元数据来生成第一姿势估计。该方法可以进一步包括：利用运动传感器在第二时间段期间生成第二姿势元数据，其中可穿戴装置基于第二姿势元数据来生成第二姿势估计。该方法可以进一步包括：利用可穿戴装置的运动传感器在第一时间段期间生成第一姿势元数据；以及利用移动装置的相机在第一时间段期间生成第二姿势元数据，其中移动装置基于第一姿势元数据和第二姿势元数据来生成第一姿势估计。该方法可以进一步包括：利用运动传感器在第二时间段期间生成第三姿势元数据，其中可穿戴装置基于第三姿势元数据来生成第二姿势估计。另外，细化空间音频数据可以包括：基于具有全局坐标参考框架的全局空间音频变换和第二姿势估计来计算具有局部坐标参考框架的局部空间音频变换，其中全局空间音频变换可以指示在世界空间中再现空间音频数据时将要模拟音频源的位置和定向。
[0010]根据一个方面，一种系统，该系统包括：
[0011]可穿戴装置，该可穿戴装置包括：
[0012]处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：
[0013]接收与可穿戴装置的第一姿势估计对应的空间音频数据；
[0014]通过基于可穿戴装置的第二姿势估计来修改空间音频数据而生成细化空间音频
数据；以及
[0015]基于细化空间音频数据来产生声音。
[0016]根据另一方面，一种系统，该系统包括：
[0017]可穿戴装置，该可穿戴装置包括：
[0018]处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：
[0019]接收与可穿戴装置对应的空间音频数据和第一姿势估计；
[0020]生成与可穿戴装置对应的第二姿势估计；
[0021]基于第二姿势估计来细化空间音频数据；以及
[0022]基于细化空间音频数据来产生声音。
[0023]根据一些方面，两个前述系统中的一者或两者可以包括以下特征中的一者或多者(例如全部)(或其任何组合)。可穿戴装置可以包括运动传感器，该运动传感器被配置为在第一时间段期间生成第一姿势元数据，其中基于第一姿势元数据来生成第一姿势估计。运动传感器可以进一步被配置为在第二时间段期间生成第二姿势元数据，其中处理器基于第二姿势元数据来生成第二姿势估计。该系统可以进一步包括：伴随装置，该伴随装置包括相机，其中伴随装置被配置为：在第一时间段期间生成第二姿势元数据，该第二姿势元数据包括由相机在第一时间段期间捕获的图像数据；以及基于第一姿势元数据和第二姿势元数据来生成第一姿势估计。运动传感器可以进一步被配置为在第二时间段期间生成第三姿势元数据，其中处理器基于第三姿势元数据来生成第二姿势估计。此外，第二时间段可以紧接在第一时间段之后开始。
[0024]根据一个方面，一种系统，该系统包括：
[0025]第一装置，该第一装置包括：
[0026]第一处理器，该第一处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使第一处理器进行以下操作：
[0027]生成第一姿势估计；以及
[0028]基于第一姿势估计来渲染空间音频数据；
[0029]第二装置，该第二装置包括：
[0030]第二处理器，该第二处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使第二处理器进行以下操作：
[0031]基于第二姿势估计来生成第一细化空间音频数据，其中第一姿势估计和第二姿势估计分别与第二装置的至少一个姿势对应；以及
[0032]基于第一细化空间音频数据来产生声音。
[0033]根据一些方面，该系统可以包括以下特征中的一者或多者(例如全部)(或其任何组合)。该系统可以进一步包括：运动传感器，该运动传感器被配置为在第一时间段期间生成第一姿势元数据，其中第一处理器被配置为基于第一姿势元数据来生成第一姿势估计。运动传感器可以进一步被配置为在第二时间段期间生成第二姿势元数据，其中第二处理器被配置为基于第二姿势元数据来生成第二姿势估计。该系统可以进一步包括：第三装置，该第三装置包括：第三处理器，该第三处理器被配置为生成计算机可读指令，该计算机可读指令在被执行时使第三处理器进行以下操作：通过基于与第二装置对应的第三姿势估计来细
化由第一处理器生成的空间音频数据而生成第二细化空间音频数据，其中由第二处理器通过细化第二细化空间音频数据来生成第一细化空间音频数据。运动传感器可以进一步被配置为在第三时间段期间生成第三姿势元数据，其中第三处理器被配置为基于第三姿势元数据来生成第三姿势估计。第三时间段可以发生在第一时间段与第二时间段之间。另外，第一装置可以是可穿戴装置，第二装置可以是服务器，第三装置可以是移动装置，并且可穿戴装置可以通信地耦合至服务器和移动装置。
[0034]根据一个方面，一种可穿戴装置，该可穿戴装置包括：
[0035]扬声器；以及
[0036]处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：
[0037]接收与可穿戴装置对应的声音标识符、空间位置以及第一姿势估计；
[0038]更新第一姿势估计以生成第二姿势估计；
[0039]基于声音标识符、空间位置以及第二姿势估计来渲染空间音频数据；以及
[0040]使扬声器产生与空间音频数据对应的声音。
[0041]根据另一方面，一种可穿戴装置，该可穿戴装置包括：
[0042]扬声器；以及<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：利用可穿戴装置接收与所述可穿戴装置对应的空间音频数据和第一姿势估计；利用所述可穿戴装置生成与所述可穿戴装置对应的第二姿势估计；利用所述可穿戴装置基于所述第二姿势估计来细化所述空间音频数据；以及利用所述可穿戴装置基于细化的空间音频数据来产生声音。2.根据权利要求1所述的方法，进一步包括：利用所述可穿戴装置的运动传感器在第一时间段期间生成第一姿势元数据，其中基于所述第一姿势元数据来生成所述第一姿势估计。3.根据权利要求2所述的方法，进一步包括：利用所述运动传感器在第二时间段期间生成第二姿势元数据，其中所述可穿戴装置基于所述第二姿势元数据来生成所述第二姿势估计。4.根据权利要求1所述的方法，进一步包括：利用所述可穿戴装置的运动传感器在第一时间段期间生成第一姿势元数据；以及利用移动装置的相机在所述第一时间段期间生成第二姿势元数据，其中所述移动装置基于所述第一姿势元数据和所述第二姿势元数据来生成所述第一姿势估计。5.根据权利要求4所述的方法，进一步包括：利用所述运动传感器在第二时间段期间生成第三姿势元数据，其中所述可穿戴装置基于所述第三姿势元数据来生成所述第二姿势估计。6.根据权利要求1至5中的任一项所述的方法，其中，细化所述空间音频数据包括：基于具有全局坐标参考框架的全局空间音频变换和所述第二姿势估计来计算具有局部坐标参考框架的局部空间音频变换，其中所述全局空间音频变换指示在世界空间中再现所述空间音频数据时将要模拟音频源的位置和定向。7.一种系统，包括：可穿戴装置，所述可穿戴装置包括：处理器，所述处理器被配置为执行计算机可读指令，所述计算机可读指令在被执行时使所述处理器：接收与所述可穿戴装置的第一姿势估计对应的空间音频数据；通过基于所述可穿戴装置的第二姿势估计来修改所述空间音频数据而生成细化的空间音频数据；以及基于所述细化的空间音频数据来产生声音。8.根据权利要求7所述的系统，其中，所述可穿戴装置进一步包括：运动传感器，所述运动传感器被配置为在第一时间段期间生成第一姿势元数据，其中基于所述第一姿势元数据来生成所述第一姿势估计。9.根据权利要求8所述的系统，其中，所述运动传感器进一步被配置为在第二时间段期间生成第二姿势元数据，其中所述处理器基于所述第二姿势元数据来生成所述第二姿势估计。10.根据权利要求8所述的系统，进一步包括：伴随装置，所述伴随装置包括相机，其中伴随装置被配置为：在所述第一时间段期间生成第二姿势元数据，所述第二姿势元数据包括由所述相机在
所述第一时间段期间捕获的图像数据；以及基于所述第一姿势元数据和所述第二姿势元数据来生成所述第一姿势估计。11.根据权利要求10所述的系统，其中，所述运动传感器进一步被配置为在第二时间段期间生成第三姿势元数据，其中所述处理器基于所述第三姿势元数据来生成所述第二姿势估计。12.根据权利要求9和11中的任一项所述的系统，其中，所述第二时间段紧接在所述第一时间段之后开始。13.一种系统，包括：第一装置，所述第一装置包括：第一处理器，所述第一处理器被配置为执行计算机可读指令，所述计算机可读指令在被执行时使所述第一处理器：生成第一姿势估计；以及基于所述第一姿势估计来渲染空间音频数据；第二装置，所述第...

【专利技术属性】
技术研发人员：穆格尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：