使用增强现实的空间定位制造技术

本发明专利技术涉及使用增强现实的空间定位。用于使用增强现实内容、以网格拓扑配置的超声设备阵列以及深度学习来定位关于飞机的事件的方法和系统。

【技术实现步骤摘要】
使用增强现实的空间定位相关申请的交叉引用无关于联邦政府赞助的研究或开发的声明无
本文的非限制性技术涉及使用超声传感器网络(本文中称为“超声”)以自动地检测在具有包括移动设备的增强现实(本文称为“AR”)的室内环境中的用户位置坐标，使得用户能够实时地接收位置信息；以及以改善飞机维护过程为目的，使用深度学习(本文称为“DL”)方法，指导技术人员快速地定位在维护期间需要访问的元件，具有准确性和精度。在一些其他方面中，本文的技术涉及使用超声来定位和导航环境的方法和系统，在一些实施例中，结合深度学习/人工智能图像模式识别，以帮助用户使用显示设备上的增强现实内容。
技术介绍
当前，航空维护业务在获得维护技术人员执行其所需任务方面面临困难。在许多情况下，技术人员对需要维护的飞机知识不足，这导致维护任务的成本更高，因为可能花费更长的时间或需要一名以上的机械师来执行该任务。为了执行维护任务，机械师通常必须首先检查是否有关于需要一些维护动作的飞机的任何可用信息。如果没有关于需要维护的飞机的高级信息，那么机械师应当检查飞机的飞行日志，以查看是否有待执行的任何未决维护。对于飞机有问题的情况，第一种方法是尝试纠正问题。在问题不简单的情况下，可以通过使用最小设备清单(MEL)来验证活动的派发，该清单用于确定飞机的持续适航性。如果有故障的设备未出现在MEL中，则有必要执行故障排除，即，通过系统地搜索组件问题的根本原因或其替换来尝试解决问题。通常必须执行该故障排除过程，直到该问题被解决并且飞机可以再次可操作为止。如果飞机出现问题，其中，机械师必须执行维护过程，除了获得执行该活动所需的零件、设备和材料外，还有必要知道飞机上可能发生故障或需要注意的特定组件的位置。必要的维护信息可以在飞机维护手册中找到(维护手册可以包含例如拆卸/安装过程、故障排除、激活/停用等)，并且可以经由打印文档和/或数字文件由机械师访问。机械师通常必须遵循飞机维护手册中概述的所有维护步骤，以确保设备的正确维护。根据以上所述，需要关于飞机的先验知识变得显而易见，以便快速地定位和维护将需要维护的组件。在许多情况下，不容易找到需要定位的组件，因为它们可能被隐藏在飞机的其他组件(诸如面板罩)内、旁边或后面。越快找到维护位置，就能越快启动维护活动。可以通过在设备和机械师之间耦合地理定位系统来降低定位组件的难度。地理定位被用于许多不同目的，例如：用于未知环境中的导航、定位对象和标识地点等。然而，没有同时适合于在室内和室外环境中，呈现高定位精度的飞机维护的技术。即，没有用于这种目的的可靠、有效和高效的解决方案。当前，有许多允许定位的技术。在大多数情况下，所使用的解决方案都是基于GPS系统，该系统提供高精度的绝对位置地理坐标。但是，GPS在室内或障碍物下方(诸如飞机货舱或飞机机身下)使用时有局限性。为了使GPS正常工作，接收器需要位于GPS卫星的视线范围内。因此，为了克服GPS系统的缺陷，在最近的几十年中，出现了几种方法，这些方法提出了适用于封闭环境中的位置的硬件和软件的解决方案。同时，高的位置准确性有助于正确地找到正搜索的物品，并且不会将维护用户引导到错误的位置，从而不会延迟维护任务的执行。附图说明将结合附图，阅读示例性非限制性示例性实施例的下述详细描述，其中：图1示出了现有技术的基于AR的系统中的示例性非限制性组件(硬件、软件、服务器)。图2示出了示例非限制性基本AR处理流程的非限制性实施例。图3A、3B和3C示出了如何捕获事件以及以后如何在非限制性技术中使用事件的非限制性示例。图4示出了图3A、3B和3C中使用的方法的示例非限制性流程图。图5A和5B是非限制性示例，其中应用了非限制性技术。图6示出了传感器阵列的非限制性实施例。具体实施方式示例非限制性实施例应用于改进飞机的维护过程，并且快速地指导技术人员准确和精确地定位维护期间需要访问的元件。所提出的技术适合于为各种环境和交通工具提供维护，不限于：室内环境、复杂结构、飞机、汽车和船只。更具体地说，该技术在一个潜在应用中的优选实施例被合并到飞机的维护系统中。在其他应用中，可以使用超声技术来以高精度定位环境中的用户。众所周知，工作原理是基于收发器设备发出的超高频声波传播的响应时间。传感器测量发出的超声脉冲的飞行时间或到达时间(绝对或微分)。可以基于声速，对(一个或多个)发射器和(一个或多个)传感器之间的每个路径计算距离。可以通过来自安装在该环境中的收发器设备以及关于用户或关于用户携带的设备的信号的三边测量来获得用户的位置。尽管过去已经使用了这种超声技术来确定用户的身体部位(例如手)相对于传感器和/或发射器阵列的姿态(例如，参见由Mattel制造的NintendoPowerGlove作为一个示例)，但是本非限制性技术扩展了这样的方法，以使其用在飞机维护环境中。增强现实(“AR”)是在公共用户界面内结合了现实世界、物理世界和虚拟世界的实时表示。通常，使用可以构成诸如手持显示器、护目镜或眼镜的显示设备的增强现实设备，根据现实物理世界渲染虚拟信息。一种AR方法采用透明镜片，以允许用户通过许可查看现实世界，同时在现实世界场景内显示虚拟对象。另一种AR方法使用相机捕获现实世界场景，并且将捕获的相机视频流与对用户来说似乎是现实世界场景的一部分的(一个或多个)虚拟人工显示对象结合。另一种AR方法使用3D图形技术模拟现实世界，并且显示由世界的模型以及不是世界的一部分的(一个或多个)其他虚拟对象定义的场景(这种方法有时被称为“混合现实”)。在大多数基于AR的系统中有两个相互关联的元素。第一元素包括用于实现基于AR的系统的硬件和软件组件。第二元素包括在现实环境中实现AR的方式。许多基于AR的系统中使用的三个组件包括：硬件(100)、软件(200)和服务器(300)。图1说明了这三个组件之间的关系以及它们如何使基于AR的系统工作。AR设备中的硬件(100)通常使用诸如显示设备(102)(例如，头戴式显示器(HMD)、智能电话屏幕、眼镜等)、输入设备(104)(例如，传感器，诸如相机、红外传感器、深度传感器、GPS，陀螺仪、加速度计等)和处理器(106)的模块。传感器(105)检测显示设备(102)在环境中或相对于环境的位置和定向。AR设备的软件(110)方面被用在渲染虚拟图像并且将虚拟图像注入到现实世界中。软件(110)(例如StudioMax、Cinema4D、AutoCAD3D等)的任务通常是生成用于叠加在实时图像上或与实时图像组合的虚拟图像。当AR设备请求某些虚拟图像时，服务器(120)(例如，网络、云等)检索虚拟图像并将其发送到AR设备，并且通常还能够存储虚拟图像以供以后使用。一些AR系统不使用服务器(120)，而是本地地或利用对等或其他计算机或网络架构来生成虚拟图像。AR设备与现实世界交互的方式通常取决于环境的可用性。基于标记和基于位置的AR界面是将现实世界本文档来自技高网...

【技术保护点】
1.一种使用增强现实来定位事件的方法，包括：/na.向包括飞机的环境中发射信号；/nb.检测所发射的信号；/nc.处理所检测到的所发射的信号以确定所述环境中的显示设备的空间位置；/nd.使用深度学习来检测所述环境中的物理参考点；以及/ne.响应于所确定的显示设备位置和所检测到的物理参考点，在所述显示设备上显示增强现实内容，以将所述显示设备引导到所述飞机上或所述飞机中的事件。/n

【技术特征摘要】
20191029 US 16/667,3971.一种使用增强现实来定位事件的方法，包括：
a.向包括飞机的环境中发射信号；
b.检测所发射的信号；
c.处理所检测到的所发射的信号以确定所述环境中的显示设备的空间位置；
d.使用深度学习来检测所述环境中的物理参考点；以及
e.响应于所确定的显示设备位置和所检测到的物理参考点，在所述显示设备上显示增强现实内容，以将所述显示设备引导到所述飞机上或所述飞机中的事件。


2.根据权利要求1所述的方法，进一步包括使用所检测到的物理参考点来与所述环境的坐标系进行校准。


3.根据权利要求1所述的方法，进一步包括记录所述事件的空间坐标，并且基于所述空间坐标，将所述显示设备引导至所记录的事件。


4.根据权利要求1所述的方法，进一步包括通过确定至少一个超声发射器与至少一个超声传感器之间的飞行时间来跟踪所述显示设备。


5.根据权利要求4所述的方法，其中，所述至少一个超声发射器或所述至少一个超声传感器被设置在所述显示设备上。


6.根据权利要求4所述的方法，进一步包括确定所述显示设备的姿态。


7.根据权利要求4所述的方法，其中，所述至少一个发射器或所述至少一个传感器包括网格拓扑。


8.根据权利要求1所述的方法，其中，由所述显示设备显示的所生成的增强现实内容包括箭头、文本框、虚拟热像图以及用于指向所述事件的其他图形。


9.根据权利要求7所述的增强现实内容，其中，在所述显示设备上显示的所生成的增强现实内容提供指令或其他维护信息。


10.一种飞机系统，所述飞机系统被配置为使用混合现实内容来定位事件，所述系统包括：
a.超声设备阵列，其中，至少一些超声设备被嵌入在飞机中，所述超声设备阵列被配置为当显示设备相对于包含飞机的环境移动时，确定所述显示设备的动态位置；
b.图像传感器，所述图像传感器被配置为捕获所述环境的图像；以及
c.与所述图像传感器耦合的处理器，所...

【专利技术属性】
技术研发人员：保罗·安谢塔·达席尔瓦，加布里埃尔·德·奥利维拉·克鲁兹·多普拉多，法比奥·密特苏黑科·斯莫木拉，安德里·科吉·富基莫特·塔姆巴，格劳库·温贝托·戈梅斯，凯尔森·路易斯·德·奥利维拉·佩雷拉，弗拉维奥·索勒斯·里贝罗朱尼尔，法比奥·布里托·德·卡瓦略·阿尔梅迪亚，英格丽德·温克勒，瓦莱里娅·洛雷罗·达席尔瓦，
申请(专利权)人：埃姆普里萨有限公司，巴西国家工业培训服务中心巴伊亚地区部，
类型：发明
国别省市：巴西;BR