动态增强真实世界声音到虚拟现实混音制造技术

一种由用户佩戴的可穿戴模拟系统输出使所述用户感知模拟的光学和声学信号。所述模拟可以是沉浸式虚拟世界，或者是对真实世界的增强。所述可穿戴模拟系统还捕获来自所述用户周围环境的声学和光学信号，然后将这些信号选择性地合并到所述模拟。因此，所述用户可以在有限的程度上感知环境，同时仍然保持参与所述模拟。所公开的技术的至少一个优点是可穿戴模拟系统不会完全干扰用户对环境的感知，从而降低了用户错过重要的真实世界事件或者不知道这种真实世界事件的风险。

Dynamic Augmentation of Real World Sound to Virtual Reality Mixing

A wearable analog system worn by a user outputs optical and acoustic signals that enable the user to perceive the analog. The simulation can be an immersive virtual world or an enhancement of the real world. The wearable analog system also captures acoustic and optical signals from the user's surrounding environment, and then selectively incorporates these signals into the simulation. Therefore, the user can perceive the environment to a limited extent while still participating in the simulation. At least one advantage of the disclosed technology is that wearable analog systems do not completely interfere with users'perception of the environment, thereby reducing the risk that users will miss important real-world events or do not know about such real-world events.

【技术实现步骤摘要】
【国外来华专利技术】动态增强真实世界声音到虚拟现实混音相关申请的交叉引用本申请要求2016年9月1日提交的且序列号为62/382,455的标题为“动态增强真实世界声音到虚拟现实混音(DynamicAugmentationofReal-WorldSoundsintoaVirtualRealitySoundMix)”的美国临时专利申请的权益。本相关申请的主题据此以引用的方式并入本文中。
所公开的实施方案大体涉及音频设备，并且更具体地，涉及动态增强真实世界声音到虚拟现实混音。
技术介绍
传统的虚拟现实(VR)系统通常包括将用户沉浸在模拟中的可穿戴计算平台。例如但不限于，传统VR系统通常包括分别生成用于表示模拟的3D图形数据和声音数据的光学和声学输出设备。在使用传统VR系统时，用户可以通过在真实世界环境中移动来与模拟交互。VR系统跟踪用户的真实世界移动，然后将这些移动转换为模拟。因此，VR系统向用户提供他或她在模拟内四处走动并与之交互的效果。传统的增强现实(AR)系统是另一种可穿戴计算平台，其增强了用户使用模拟元素定位的真实世界环境，而没有将用户完全地沉浸到模拟中。与传统的VR系统一样，传统的AR系统包括用于生成3D图形和声音数据的光学和声学输出设备。然而，传统的AR系统还允许来自真实世界环境的光学和声学数据通过AR系统传递给用户。具体地，来自真实世界环境的光学和声学数据通过AR系统生成的3D图形和声音数据来增强，从而使用户感知所述环境的增强版本。与传统的VR系统一样，传统的AR系统将用户的真实世界移动转换为环境的增强版本。因此，AR系统可以向用户提供他或她在环境的增强版本内四处走动并与之交互的效果。一般而言，VR系统和AR系统都属于下文称为“可穿戴模拟系统”的广泛类别的设备。可穿戴模拟系统通过将用户完全地沉浸到模拟中(如由VR系统实现)或将用户部分地沉浸到环境的增强版本中(如由AR系统实现)来生成并输出模拟。在任何一种情况下，可穿戴模拟系统生成的模拟都会干扰用户对真实世界的感知。这种对真实世界感知的干扰可能给用户带来各种问题。特别地，用户可能想要在与可穿戴模拟系统交互时感知特定的真实世界事件。然而，在用户参与可穿戴模拟系统生成的模拟时，这类事件通常会被用户忽视。例如但不限于，用户可能想要接听呼入的电话呼叫，但是在使用可穿戴模拟系统时，用户将无法听到这些电话呼叫。此外，用户可能想要避免某些真实世界的情况，但是在使用可穿戴模拟系统时，用户将无法察觉到这类情况。例如但不限于，用户可能希望在使用可穿戴模拟系统时避免撞到宠物，但是模拟可能使宠物的存在被忽视。如前所述，用于与可穿戴模拟系统交互的改进技术将是有用的。
技术实现思路
所阐述的一个或多个实施方案包括用于修改由可穿戴模拟系统生成的模拟的计算机实现的方法，包括从可穿戴模拟系统所在的环境获取传感器数据，确定传感器数据满足第一标准，识别对应于第一标准的第一协议，基于第一协议将第一部分数据合并到模拟，其中第一部分数据包括传感器数据的一部分的表示和源自环境的信号中的至少一者。所公开的实施方案的至少一个优点是可穿戴模拟系统不会完全干扰用户对环境的感知，从而降低用户错过重要的真实世界事件或者不知道真实世界事件的风险。附图说明为了可以详细地理解上文阐述的一个或多个实施方案的详述特征所用方式，可参考某些特定实施方案来获得以上简要概述的一个或多个实施方案的更具体的描述，这些特定实施方案中的一些在附图中示出。然而，应注意，附图仅示出典型实施方案，且因此不应被视为以任何方式限制其范围，因为所公开实施方案的范围也包括其它实施方案。图1A-1B图示被配置为实现各种实施方案的一个或多个方面的系统；图2是根据各种实施方案的对图1A的计算设备的更详细图解；图3是示出根据各种实施方案的图2的模拟应用如何生成模拟的概念图；图4示出了根据各种实施方案的用于将环境音频与模拟音频混合的边界；图5A-5H示出了根据各种实施方案的图2的模拟应用如何将环境音频与模拟音频混合的各种曲线图；图6示出了根据各种实施方案的图2的模拟应用如何将环境音频与模拟音频双向混合；图7示出了根据各种实施方案的图2的模拟应用如何修改模拟音景以合并音频源；图8示出了根据各种实施方案的图2的模拟应用如何根据音频源特性将音频源选择性地合并到模拟音景中；图9示出了根据各种实施方案的图2的模拟应用如何基于识别过程将音频源选择性地合并到模拟音景中；图10示出了根据各种实施方案的图2的模拟应用如何将广告选择性地合并到模拟音景中；图11是根据各种实施方案的用于利用环境音频来增强模拟音景的方法步骤的流程图；并且图12是根据各种实施方案的用于利用选择的音频源来增强模拟音景的方法步骤的流程图。具体实施方式在以下描述中，阐述众多具体细节以提供对某些具体实施方案的更透彻理解。然而，本领域的技术人员将明白，其它实施方案可在没有这些具体细节中的一个或多个的情况下或在具有额外具体细节的情况下加以实践。如上所述，可穿戴模拟系统可能会干扰用户感知用户所在的真实世界环境的能力。这种干扰会给用户带来各种问题。为了解决这些问题，各种实施方案包括将从环境导出的音频与模拟所相关联的音频混合的可穿戴模拟系统。通过以这种方式将环境音频和模拟音频混合在一起，可穿戴模拟系统可以减小模拟干扰用户对环境的感知的程度。下面结合图1A-12更详细地描述用于将环境音频和模拟音频选择性地混合在一起的各种技术。系统概述图1A-1B示出了被配置来实现各种实施方案的一个或多个方面的可穿戴模拟系统100。可穿戴模拟系统100可以是VR系统，其被配置为生成并输出用以表示模拟的视听数据。可穿戴模拟系统100还可以是AR系统，其被配置为利用与模拟相关联的视听数据来增强从环境导出的视听数据。另外，可穿戴模拟系统100可具有与AR系统和VR系统相关联的特征。如图1A所示，可穿戴模拟系统100包括光学传感器阵列110、光学输出设备120、声学传感器阵列130(0)和130(1)、声学输出设备140(0)和140(1)，以及计算设备150。光学传感器阵列110接收光学信号112。光学输出设备120耦合到光学传感器阵列110并配置成生成光学信号122。声学传感器阵列130接收声学信号132。声学输出设备140耦合到声学传感器阵列130并配置成生成声学信号142。光学传感器阵列110可包括用于检测和/或测量电磁波，尤其是可见光的任何技术上可行的装置。光学传感器阵列110可包括一个或多个摄像机、立体成像设备、红外传感器、LIDAR传感器、RADAR传感器、飞行时间传感器(声学和其它)及其任何组合。光学输出设备120耦合到光学传感器阵列110，并且可以包括用于输出光学数据的任何技术上可行的设备，包括立体视频屏幕、基于激光的可视化系统、平视显示器及其任何组合。声学传感器阵列130可以是用于检测和/或测量声波，尤其是在人类听觉的正常范围内的声音的任何技术上可行的装置。声学传感器阵列130可包括一个或多个麦克风、声学换能器、波束形成设备、超声波检测器及其任何组合。声学输出设备140耦合到声学传感器阵列130，并且可包括用于输出声学数据的任何技术上可行的设备，包括一个或多个扬声器、超声设备、声学换能器、骨传导换能器、触觉换能器及其任何组合。本本文档来自技高网...

【技术保护点】
1.一种用于修改由可穿戴模拟系统生成的模拟的计算机实现的方法，所述方法包括：从所述可穿戴模拟系统所在的环境中获取传感器数据；确定所述传感器数据满足第一标准；识别对应于所述第一标准的第一协议；以及基于所述第一协议将第一部分数据合并到所述模拟，其中所述第一部分数据包括所述传感器数据的一部分的表示和源自所述环境的信号中的至少一者。

【技术特征摘要】
【国外来华专利技术】2016.09.01 US 62/382,4551.一种用于修改由可穿戴模拟系统生成的模拟的计算机实现的方法，所述方法包括：从所述可穿戴模拟系统所在的环境中获取传感器数据；确定所述传感器数据满足第一标准；识别对应于所述第一标准的第一协议；以及基于所述第一协议将第一部分数据合并到所述模拟，其中所述第一部分数据包括所述传感器数据的一部分的表示和源自所述环境的信号中的至少一者。2.如权利要求1所述的计算机实现的方法，其中确定所述传感器数据满足所述第一标准包括确定所述可穿戴模拟系统正在接近边界，其中所述边界定义指定的模拟区域。3.如权利要求2所述的计算机实现的方法，其中使用与所述可穿戴模拟系统和所述边界之间的距离成比例的有源声学透明度将所述第一部分数据合并到所述模拟，并且还包括使用与所述可穿戴模拟系统和所述边界之间的所述距离成比例的主动噪声控制，抑制源自所述环境的第二部分数据。4.如权利要求2所述的计算机实现的方法，其中所述第一部分数据被合并到所述模拟的第一部分中，而不将所述第一部分数据合并到所述模拟的第二部分中。5.如权利要求4所述的计算机实现的方法，其中所述模拟的所述第一部分包括第一音频通道，并且所述模拟的所述第二部分包括第二音频通道。6.如权利要求1所述的计算机实现的方法，其中确定所述传感器数据满足所述第一标准包括确定所述第一部分数据是由第一实体生成的。7.如权利要求6所述的计算机实现方法，所述方法还包括：识别生成与所述环境数据相关联的第二部分数据的第二实体；确定基于第二标准所述第二部分数据不应合并到所述模拟；以及基于所述第二部分数据而抑制所述模拟的一部分。8.如权利要求6所述的计算机实现的方法，其中确定所述第一部分数据是由第一实体生成包括确定所述第一部分数据对应于与所述第一实体相关联的第一模式。9.如权利要求8所述的计算机实现的方法，其中所述第一数据部分包括音频信号，并且所述第一模式包括音频指纹。10.如权利要求8所述的计算机实现的方法，其中所述第一数据部分包括光学信号，并且其中所述第一模式包括在所述第一实体的图像中。11.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质在由处理器执行时使所述处理器通过执行以下步骤来修改由可穿戴模拟系统生成的模拟：从所述可穿戴模拟系统...

【专利技术属性】
技术研发人员：J弗比克，A布朗热，D迪森索，S马蒂，
申请(专利权)人：哈曼国际工业有限公司，
类型：发明
国别省市：美国,US