无人载具视线的增强制造技术

本发明专利技术题为“无人载具视线的增强”。本发明专利技术涉及一种增强现实头戴式显示器，该增强现实头戴式显示器被配置为显示无人飞行载具相对于头戴式显示器的视场的位置的指示，以便协助UAV操作员保持与UAV的视线。

【技术实现步骤摘要】
无人载具视线的增强
本公开涉及无人飞行载具(UAV)。
技术介绍
大型工业公司，尤其是在公用设施、石油和天然气领域，可拥有数百英里的资产(例如，电力线、管线)基础设施，需要定期检查这些基础设施以确保高生产率。由于无人飞行载具(UAV)能够快速收集高质量数据，最近一些实体已经开始利用小型UAV来执行这些周期性检查。联邦航空管理局(FAA)法规要求UAV操作员或飞行员始终保持与UAV的视线(LOS)。
技术实现思路
一般来讲，本公开涉及用于确定和指示至少一个无人飞行载具(UAV)相对于UAV的飞行员的位置以便协助飞行员保持与UAV的视线(LOS)的系统和技术。如本文所述，由UAV飞行员佩戴的增强现实(AR)头戴式显示器(HMD)被配置为显示UAV相对于HMD的视场(FOV)的位置的指示。在一个示例中，本公开描述了一种设备，该设备包括ARHMD和处理电路，该处理电路被配置为：确定UAV的位置；确定ARHMD的取向；以及基于ARHMD的取向在ARHMD上呈现UAV的位置的指示。在另一示例中，本公开描述了一种方法，该方法包括：确定UAV的位置；确定ARHMD的取向；以及基于ARHMD的取向在ARHMD上呈现UAV的位置的指示。本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。附图说明图1是描绘了可根据本公开的一种或多种技术进行的利用无人飞行载具(UAV)检查公用设施资产的概念图。图2是示出了用于确定UAV相对于头戴式显示器(HMD)的视场(FOV)的位置的示例性系统的框图。图3A是示出了根据本公开的一种或多种技术的HMD确定UAV相对于HMD的FOV的水平位置的概念图。图3B是图3A的示意图的俯视图。图3C是示出了根据本公开的一种或多种技术的HMD确定UAV相对于HMD的FOV的竖直位置的概念图。图3D是图3C的示意图的侧视图。图4是根据本公开的一种或多种技术的可在HMD上生成和显示的示例性图形用户界面(GUI)。图5是根据本公开的一种或多种技术的可在HMD上生成和显示的另一示例性GUI。图6是根据本公开的一种或多种技术的可在HMD上生成和显示的另一示例性GUI。图7是示出了根据本公开的技术的用于确定和显示UAV相对于HMD的FOV的位置的示例性操作的流程图。图8是示出了根据本公开的技术的用于确定和显示UAV相对于HMD的FOV的位置的示例性操作的流程图。图9是示出了根据本公开的技术的用于确定和显示UAV相对于HMD的FOV的位置的示例性操作的流程图。具体实施方式在非军事行动中，无人飞行载具(UAV)的使用变得越来越普遍，包括但不限于监视、搜索与营救、装运与交付以及检查。例如，图1是描绘了利用无人飞行器系统(UAS)10(包括UAV14)检查公用设施资产的概念图。无人飞行器系统10包括UAV操作员或飞行员12、UAV14、增强现实(AR)头戴式设备(HMD)16、地面站20和UAV控制器30。UAV飞行员12使用UAV控制器30来控制UAV14的飞行路径114，例如以便进行结构22A至22E(统称为“结构22”)的检查。在图1所描绘的示例中，结构22被描绘为输电塔，但结构22可包括任何结构，包括管线、火把烟囱、太阳能电池板、桥等。例如，飞行员12可从发射位置18发射UAV14并且围绕结构22引导UAV14，使得安装在UAV14上的相机或其他传感器可捕获数据。例如，UAV14可通过使用一个或多个基于相机的传感器来捕获照相或视频数据，并且可除此之外或另选地使用安装在UAV14上的其他类型的传感器来捕获其他类型的数据，诸如温度数据、环境数据或电磁场数据。飞行员12可沿着延伸的和/或曲折的飞行路径114引导UAV14，以便在单次发射期间捕获大量数据。例如，在检查期间的任何时间，UAV14可能在进行检查任务时离飞行员121600米。UAV14距飞行员12的距离可能仅受UAV14的电池寿命和/或控制器30的无线电通信范围的限制。联邦航空管理局(FAA)Small-UASRule§107.311要求UAV飞行员在操作期间必须始终保持与UAV的视线(LOS)。许多因素，包括但不限于曲折的地形、背景(例如，天空)颜色对比度、天气或其他障碍物，可能会妨碍飞行员12保持与UAV14的视线的能力。在本公开的一些示例中，飞行员12可佩戴HMD16，该HMD在其中具有处理电路，该处理电路被配置为确定UAV14相对于HMD16的视场(FOV)26的位置，并且输出UAV14的相对位置的指示以在HMD16的透明显示屏上显示，以便协助飞行员12保持和/或重新获得与UAV14的视线24。在一些示例中，诸如当UAV14定位在HMD16的FOV26内时，HMD16可在屏幕上围绕UAV14的近似位置显示边界框。在其他示例中，诸如当UAV14未定位在HMD16的FOV26内时，HMD16可显示指示UAV14的相对位置的信息，诸如引导飞行员12转动他或她的头部以便将UAV14带回HMD16的FOV26内的一组箭头。如下面进一步详细描述的，HMD16可被配置为向飞行员12显示其他相关UAV飞行信息，包括但不限于UAV空速和/或方向、距UAV的距离、剩余UAV电池寿命、预期的UAV飞行路径或UAV14必须避开的管制空域28的指示。图2是示出了用于确定UAV14相对于HMD16的FOV的位置的图1的系统10的框图。示例性系统10包括飞行员12、UAV14、HMD16、地面站20和UAV控制器30。飞行员12是沿着飞行路径引导UAV14诸如以拍摄航空照片、收集传感器数据或递送包裹的人员。UAV14(在图1中)被示出为四旋翼“四轴飞行器”，但UAV14可为任何类型的UAV，包括但不限于旋翼飞行器、固定翼飞行器、复合飞行器(诸如倾转旋翼飞机、X2和X3)、浮空器或任何其他这种类型的UAV，包括所有垂直起降(VTOL)飞机、立式起落飞机等。UAV14可被配置为以不同程度的自主性飞行。尽管本公开的技术不限于任何特定类型的UAV，但UAV14可为例如相对小型的低海拔低空速UAV，其中在这种情况下，“小型”对应于低于100磅，“低海拔”对应于地面上方低于3000英尺的操作海拔，并且“低空速”对应于低于250节的空速。此外，设想UAV14可具有悬停能力，意味着UAV14可具有保持在空气中的大致恒定位置的能力。UAV14包括定位系统(PS)52、惯性测量单元(IMU)54、取向单元(OU)56、测高仪58、处理电路(PC)60、存储器61、收发器62、相机116和传感器118。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。尽管出于说明的目的在图2中单独示出，但UAV14的许多所述部件实际上可以是高度集成的。例如，UAV14的许多所述部件可实现为单个本文档来自技高网...

【技术保护点】
1.一种设备，包括：/n增强现实(AR)头戴式显示器(HMD)；和/n处理电路，所述处理电路被配置为：/n确定无人飞行载具(UAV)的位置；/n确定所述AR HMD的位置和取向；/n基于所述UAV的所述位置和所述AR HMD的所述位置和所述取向，确定所述UAV在所述ARHMD的视场之外；以及/n响应于确定所述UAV在所述AR HMD的所述视场之外，在所述AR HMD上呈现将所述UAV带到所述AR HMD的所述视场内的移动的指示。/n

【技术特征摘要】
20200203 US 16/780,2821.一种设备，包括：
增强现实(AR)头戴式显示器(HMD)；和
处理电路，所述处理电路被配置为：
确定无人飞行载具(UAV)的位置；
确定所述ARHMD的位置和取向；
基于所述UAV的所述位置和所述ARHMD的所述位置和所述取向，确定所述UAV在所述ARHMD的视场之外；以及
响应于确定所述UAV在所述ARHMD的所述视场之外，在所述ARHMD上呈现将所述UAV带到所述ARHMD的所述视场内的移动的指示。


2.根据权利要求1所述的设备，其中所述处理电路被进一步配置为：
基于所述UAV的所述位置和所述ARHMD的所述位置和所述取向来确定所述UAV在所述ARHMD的所述视场内；以及
响应于确定所述UAV在所述ARHMD的所述视场内，在所述ARHMD上呈现所述UAV的所述位置的指示。


3.根据权利要求1所述的设备，其中所述处理电路被进一步配置为：
确定障碍物相对于所述HMD的所述视场的位置；以及
在所述ARHMD上呈现所述障碍物的所述位置的指示。


4.根据权利要求3所述的设备，其中所述处理电路被配置为通过处理来自位于所述HMD或所述UAV上的相机的图像数据来确定所述障碍物的位置。


5.根据权利要求1所述的设备，所述处理电路被进...

【专利技术属性】
技术研发人员：普拉桑纳·默西·古拉贾普，比马拉南达·贝赫拉，文卡塔·帕万·M，什里亚斯·乔希，阿尔琼·宾杜·乔瑟库马尔，
申请(专利权)人：霍尼韦尔国际公司，
类型：发明
国别省市：美国;US