音频导航辅助制造技术

揭示了有关用于通过音频输出提供导航辅助的头戴式计算设备的各实施例。例如，在一个所揭示的实施例中，深度图像数据和可见图像数据被用于生成环境的至少一个部分的三维网格。使用该网格，环境中的至少一个特征被检测。当操作在熟悉导航模式时并基于检测到特征，第一音频导航提示被输出给用户。当操作在不熟悉导航模式时并基于检测到特征，第二音频导航提示被输出给用户，其中第二音频导航提示不同于第一音频导航提示。

【技术实现步骤摘要】
【国外来华专利技术】背景具有生理视觉缺陷的人可利用一个或多个移动性帮助来导航他们周围。此类移动性帮助可包括，例如，拐杖、辅助动物、视觉增强设备等。类似地，遇到诸如黑暗或充满烟的房间的视觉缺陷的情况的看得见的人也可得益于对他们的当前环境提供导航辅助的移动性帮助。某些移动性帮助提供指示用户周围的各方面的触觉反馈，诸如接触街道上路缘的拐杖。然而，使用这样的帮助可能占用用户的大量注意力和用户的手。此外，此类帮助一般提供用户近周围的相同量和类型的反馈，而不考虑那些周围的上下文。因此，这些帮助一般不能基于用户当前环境的上下文来修改或增强它们的反馈的用处。概述在此公开了涉及在环境中通过音频输出提供导航辅助的各个实施例。例如，一个所揭示的实施例在头戴式计算设备中提供一种包括从环境中接收深度图像数据和可见图像数据的方法。使用该深度图像数据和可见图像数据，环境的至少一个部分的三维网格被生成。使用该三维网格，环境中的至少一个特征被检测到。当头戴式计算设备在熟悉导航模式中操作时并基于检测到特征，环境的第一音频导航提示通过一个或多个换能器被输出给用户。当头戴式计算设备在不熟悉导航模式中操作时并基于检测到特征，环境的第二音频导航提示通过一个或多个换能器被输出给用户，其中第二音频导航提示不同于第一音频导航提示。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本
技术实现思路
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。附图简述图1是根据本公开的一实施例的用于提供导航辅助的头戴式计算设备的示意图。图2示出根据本公开的一实施例的示例头戴式计算设备。图3是家中佩戴图2的头戴式计算设备的用户的示意图。图4是宾馆中佩戴头戴式计算设备的图3的用户的示意图。图5是接近包括楼梯的斜坡的佩戴图2的头戴式计算设备的用户的示意图。图6是接近持续下坡的图6的用户的示意图。图7是根据本公开的一实施例的通过头戴式计算设备观看的室外环境的示意图。图8A和8B是根据本公开的一实施例的用于在环境中通过音频输出向用户提供导航辅助的方法的流程图。图9是计算设备的一实施例的简化示意解说。详细描述图1示出了用于向用户14提供导航辅助的头戴式计算设备10的一个实施例示意图。头戴式计算设备10包括可被存储在头戴式计算设备10的大容量存储18中的导航模块16。导航模块16可被加载到存储器20中并由头戴式计算设备10的处理器22执行以执行以下更为详细地描述的方法和过程中的一个或多个。导航模块16包括包含熟悉导航模式26和不熟悉导航模式28的多个导航模式24。有利地并且如以下更详细地描述的，导航模式24的一个或多个可被选择性地使用来以上下文合适的方式提供针对用户特定需求定制的导航辅助。例如，当用户14导航该用户熟悉的环境时，熟悉导航模式26可以程序性的或通过用户输入30来被使用。在熟悉导航模式26中，导航辅助可被定制以说明用户与她周围的熟悉度。以类似方式，当用户14导航该用户不熟悉的环境时，不熟悉导航模式28
可以程序性的或通过用户输入30来被使用。在不熟悉导航模式28中，导航辅助可被定制以说明用户与她周围的不熟悉度。将理解，导航模块16也可包括与具有特定特性或方面的环境或周围相关的一个或多个附加导航模式24诸如，例如，室内导航模式、室外导航模式、城市导航模式、乡村导航模式等。在某些示例中，两个或更多个导航模式可被同时使用，诸如例如，熟悉导航模式和室内导航模式。头戴式计算设备10可包括从物理环境32接收物理环境数据的各种传感器和相关的系统。现在还参考图2，提供了一副可戴的眼镜形式的头戴式计算设备200的一个示例。在某些示例中，头戴式计算设备200可以包括被支撑在查看者的一只或两只眼睛前方的透明、半透明或不透明显示器204。在其它示例中，头戴式计算设备200可以采取可包括或可不包括被支撑在用户的一只或两只眼睛前方的显示器的其它形式。例如，在一些实施例中，头戴式计算系统10可以包括不包含显示器的一副眼镜框架。因此，具有各种形状因子的许多其它类型和配置的头戴式计算设备100也可被使用并且在本公开的范围内。还将理解，图1中所示的头戴式计算设备10可以采取图2中所示的头戴式计算设备200(如以下更详细地描述的)或任何其他合适的头戴式计算设备的形式。参考图1和图2，在此示例中，头戴式计算设备10包括深度传感器系统34，该深度传感器系统包括生成深度图像数据38的一个或多个深度相机208。深度传感器系统34还可以检测其视野内的运动，如用户视野内的用户14或人或物理对象所执行的基于姿势的输入或其他运动。在一个示例中，每一深度相机208可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本专利技术的范围内可使用
任意其他合适的深度相机。该头戴式计算设备10还可包括利用至少一个面向外的传感器212(如RGB相机或光学传感器)的可见光传感器系统42。该可见光传感器系统42可生成被提供给导航模块16的可见图像数据46。面向外的传感器212还可从物理环境32和该环境内的特征50捕捉二维图像信息。如以下更详细描述的，特征50可包括环境32中的物理对象52和危险54。在一些示例中，物理对象52还可包括危险54。面向外的传感器212可以捕捉用户14位于其中的物理环境32的图像。头戴式计算设备10还可包括使用深度图像数据38和可见图像数据46来生成三维网络58的3D建模程序56，该建模程序对围绕用户14的物理环境的至少一部分建模。在某些示例中，3D建模程序56可利用多边形建模技术，其中3D空间的顶点由线段连接以生成纹理化的3D多边形网格。还应当理解，用于3D建模的其它技术可被利用，包括，但不限于，曲线建模和数字雕刻技术。头戴式计算设备10还可包括换能器系统60，换能器系统包括将来自导航模块16的电信号转换成另一形式能量的一个或多个致动器。如以下更详细描述的，导航模块16可利用该换能器系统60来向用户14输出环境32的导航提示62。再次参考图2，并且在某些示例中，换能器系统60可包括用于生成音频导航提示64的一个或多个扬声器216。在其它示例中，一个或多个扬声器216可采取用户14佩戴的头戴式耳机或耳内耳塞的形式。在某些示例中，导航模块16和/或换能器系统60可处理音频导航提示64以使得用户14能够察觉发生在物理环境32的3D空间中特定位置的提示。例如，一个或多个串音抵消机制可被利用并被配置成使得第一音频信号(例如，左通道)被递送至第一耳朵(例如，左耳)而第二音频信号(例如，右通道)被递送至第二耳朵(例如，右耳)，同时显著衰减第一音频信本文档来自技高网...

【技术保护点】
一种用于通过音频输出在环境中提供导航辅助的头戴式计算设备，所述头戴式计算设备包括：用于从所述环境中生成深度图像数据的一个或多个深度传感器；用于从所述环境中生成可见图像数据的一个或多个可见光传感器；一个或多个换能器；以及由所述头戴式计算设备的处理器执行的导航模块，所述导航模块包括熟悉导航模式和不熟悉导航模式，所述导航模块被配置以：使用所述深度图像数据和可见图像数据来生成所述环境的至少一个部分的三维网格；使用所述三维网格来检测所述环境中的至少一个特征；当操作在所述熟悉导航模式时并基于检测到所述特征，通过所述一个或多个换能器将所述环境的第一音频导航提示输出给所述用户；以及当操作在不熟悉导航模式时并基于检测到所述特征，通过所述一个或多个换能器将所述环境的第二音频导航提示输出给所述用户，其中所述第二音频导航提示不同于所述第一音频导航提示。

【技术特征摘要】
【国外来华专利技术】2014.01.24 US 14/163,9431.一种用于通过音频输出在环境中提供导航辅助的头戴式计算设备，所述头戴式计算设备包括：用于从所述环境中生成深度图像数据的一个或多个深度传感器；用于从所述环境中生成可见图像数据的一个或多个可见光传感器；一个或多个换能器；以及由所述头戴式计算设备的处理器执行的导航模块，所述导航模块包括熟悉导航模式和不熟悉导航模式，所述导航模块被配置以：使用所述深度图像数据和可见图像数据来生成所述环境的至少一个部分的三维网格；使用所述三维网格来检测所述环境中的至少一个特征；当操作在所述熟悉导航模式时并基于检测到所述特征，通过所述一个或多个换能器将所述环境的第一音频导航提示输出给所述用户；以及当操作在不熟悉导航模式时并基于检测到所述特征，通过所述一个或多个换能器将所述环境的第二音频导航提示输出给所述用户，其中所述第二音频导航提示不同于所述第一音频导航提示。2.如权利要求1所述的头戴式计算设备，其特征在于，所述导航模块被进一步配置来以致使所述用户察觉所述提示好像源自所述特征的三维位置处的方式来向所述用户输出所述第一音频导航提示和所述第二音频导航提示的一个或多个。3.如权利要求1所述的头戴式计算设备，其特征在于，所述特征包括斜坡，并且所述第一音频导航提示和所述第二音频导航提示包括指示上坡的多个升序定调的声音或指示下坡的多个降序定调的声音。4.如权利要求3所述的头戴式计算设备，其特征在于，所述第一音频导航提示和所述第二音频导航提示进一步包括指示连续斜坡的多个持续定调的声音或指示多个台阶的多个离散定调的声音。...

【专利技术属性】
技术研发人员：R·杰拉尔德，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US