用于无人飞行器的基于图像的定位以及相关系统和方法技术方案

公开了用于无人飞行器(UAV)的基于图像的定位的系统和方法。在一个实施例中，一种用于导航UAV的方法包括：使UAV沿飞行路径飞行；用UAV承载的相机获取沿飞行路径的地面区域的图像；和将图像发送到基站。该方法还包括基于地面区域的图像与飞行路径的至少一个陆地地图的比较，从基站接收导航数据。

【技术实现步骤摘要】
【国外来华专利技术】用于无人飞行器的基于图像的定位以及相关系统和方法相关申请的交叉引用本申请要求2017年12月21日提交的美国临时专利申请第62/609135号的权益，通过引用将该专利申请的全部内容合并于此。
技术介绍
无人飞行器(UAV)(其也可以称为自主载具)是能够在机上没有物理上存在的人类操作员的情况下行驶的载具。UAV可以在远程控制模式下、自主模式下或部分自主模式下操作。当UAV在远程控制模式下操作时，位于远程位置的领航员或驾驶员可以通过经由无线链路发送到UAV的命令来控制UAV。当UAV在自主模式下操作时，UAV通常基于预编程的导航航路点、动态自动化系统或它们的组合进行移动。此外，一些UAV可以在远程控制模式和自主模式下操作，并且在某些情况下可以同时在远程控制模式和自主模式下操作。例如，作为示例，远程导航员或驾驶员可能希望将导航交给自主系统同时手动执行另一任务，例如操作机械系统以拾取物体。出于各种原因，应当知道UAV的位置和取向，例如，以维持UAV的所需飞行路径、避开障碍、避开商用飞机的飞行路径、精确递送有效载荷、UAV在电信中使用时对特定地面区域的精确覆盖等。在实践中，无人飞行器(UAV)通常在机上承载有基于全球定位系统(GPS)的主要导航系统来确定UAV的位置。但是，由于各种原因，基于GPS的导航系统可能会发生故障，从而使UAV无法操作。例如，GPS信号可能是错误的或太弱而不能被UAV使用。此外，UAV的GPS设备也可能发生故障，从而使UAV至少无法完成其任务，但还可能对其他飞行器造成危险。因此，仍然需要即使在GPS信号微弱或错误时或者当UAV的GPS系统发生故障时，精确地确定UAV的位置的系统和方法。附图说明通过结合附图参考以下详细描述，将能够更好地理解本专利技术的前述方面和许多伴随的优点，因而也能更容易领悟本专利技术的前述方面和许多伴随的优点，其中：图1A是根据本技术的实施例的UAV的俯视等距视图；图1B是根据本技术的实施例的UAV的仰视等距视图；图2是根据本技术的实施例的处于操作中的UAV的示意图；图3A和3B是根据本技术的实施例的由UAV相机摄取的图像；图4示出了根据本技术的实施例的图3A和图3B的图像在地图上的叠加；图5是根据本技术的实施例的确定UAV的位置和取向的示意图；图6A是根据本技术的实施例的UAV的导航系统的示意图；图6B是根据本技术的实施例的基站的计算系统的示意图；和图7是根据本技术的实施例的用于UAV导航的方法的流程图。具体实施方式尽管已经描述了示意性实施例，但是应当理解，可以在不脱离本创造性技术的精神和范围的情况下对示意性实施例进行各种改变。本创造性技术的实施例通常适用于UAV和有人飞行器。在一些实施例中，本创造性技术可以支持UAV交通管理(UTM)。例如，为了使UTM系统正常运行，应当准确知道共享空域的所有UAV的位置。使用GPS作为唯一的导航系统会导致UTM系统出现单点故障。因此，下面描述的基于图像的导航服务可以缓解单点故障问题。常规UAV通常使用基于GPS的主导航系统来确定UAV的位置。本创造性技术涉及通过使用基于相机的导航系统即使在GPS信号错误或微弱时确定UAV的位置。这样的基于相机的导航系统可以被称为备用导航系统或辅助导航系统。基于相机的导航系统可以作为服务提供给UAV或其他飞行器。为了简洁起见，参考UAV来描述本创造性技术，但是本技术也适用于有人飞行器。在一些实施例中，无人飞行器承载有相机，该相机捕获UAV下方区域的图像。在一些实施例中，相机安装在可以调整相机的角度的枢转机构上。例如，枢转机构可以使相机相对于地面保持竖直定向，以实现图像的一致性。捕获的图像被传输到地面设备以进行进一步处理。例如，蜂窝电话塔可以接收图像，并将图像转发给基站，该基站包括能够相对快速地处理图像和陆地地图(例如，在1秒以下、2秒以下等)的计算机和/或服务器。在一些实施例中，基站包括具有地图的数据库。这些地图可以在空间上、在时间上或在其他形式上互不相同。例如，基站可以具有覆盖不同地理区域的不同地图。作为另一示例，基站可以具有覆盖相同地理区域但使用在一天的不同时间捕获的图像构建的地图。在又另一示例中，基站可以具有覆盖相同地理区域但使用在不同季节期间捕获的图像构建的地图。此外，可以已经从使用不同光谱捕获的图像制备不同的地图。在一些实施例中，基站在从UAV接收图像时，尝试在其地图数据库中寻找可能与该图像相似的一个或多个地图。可以通过与UAV发送的图像关联的附加数据(例如，UAV的粗略位置、一天中的时间，UAV相机的光谱特性等)来帮助进行该地图选择过程。一旦识别这些地图，基站可以执行一个或多个算法以将UAV发送的图像配准到地图。在该配准过程中，基站相对于地图的已知X、Y、Z坐标得出UAV的位置和取向。下面参考图5描述这样的图像配准算法的示例。其他图像配准算法为本领域技术人员所知。在一些实施例中，在基站处得出的位置和取向被传输回UAV，并且UAV可以使用该信息来实现其目标。在一些其他实施例中，基站可以不将任何信息发送回UAV，而是，基站将计算出的位置和取向信息转发给第三方。第三方的一个这样的示例是UTM系统。在另一实施例中，如果图像被标记有UAV认为是在图像被摄取时UAV的位置和/或取向的信息，则基站可以将由UAV进行的确定与在基站处得出的位置和/或取向进行比较。基站可以将产生的对源自UAV的位置取向信息的准确性的估计发送到UAV自身或第三方，例如UTM系统。在一些实施例中，UTM系统可以使用该信息来进行关于UAV的决策。在一些实施例中，由相机获取的图像可以在UAV处被过滤，以使得文件较小和/或更相关以在基站处进行后续处理。例如，不可移动和/或易于识别的物体(例如，道路交叉路口)可保留在图像中，而可移动或可改变物体(例如，汽车、树木)可在将图像转发到接收器(例如，蜂窝电话塔)之前从图像中移除，以提高图像与陆地地图之间匹配的可能性。在一些实施例中，可以基于由UAV上的相机获取的图像来更新基于地面的地图。例如，可以通过用从UAV接收的较新的图像替换地图的过时的片段(也称为“部分”或“图块”)来刷新地图。图1A是根据本技术的实施例的UAV1000的俯视等距视图。UAV1000包括机翼110、悬臂(boom)210和机身310。在一些实施例中，机翼110承载水平推进单元140，而悬臂210承载竖直推进单元240。在一些实施例中，悬臂210终止于方向舵230，以改进UAV1000的偏航控制。在操作中，可以从机身310的电池室提供用于推进单元的电力。在一些实施例中，机身310还包括航空电子室和用于处理有效载荷的递送单元。在一些实施例中，机身310承载GPS系统311。但是，在某些位置，GPS系统311可能产生不准确的结果，或者到来的GPS信号可能太弱或太受污染而无法准确确定UAV的位置。图1B是根据本技术的实施例的UAV1000的仰视等距视图。在一些实本文档来自技高网...

【技术保护点】
1.一种用于导航飞行器的方法，包括：/n使所述飞行器沿飞行路径飞行；/n通过由所述飞行器承载的相机获取沿所述飞行路径的地面区域的图像；/n将所述图像发送到基站；/n从所述基站接收用于所述飞行器的导航数据，其中，基于所述地面区域的所述图像与所述飞行路径的至少一个陆地地图的比较来确定所述导航数据；和/n至少部分地基于所述导航数据来调整飞行路线。/n

【技术特征摘要】
【国外来华专利技术】20171221 US 62/609,135;20180425 US 15/963,0271.一种用于导航飞行器的方法，包括：
使所述飞行器沿飞行路径飞行；
通过由所述飞行器承载的相机获取沿所述飞行路径的地面区域的图像；
将所述图像发送到基站；
从所述基站接收用于所述飞行器的导航数据，其中，基于所述地面区域的所述图像与所述飞行路径的至少一个陆地地图的比较来确定所述导航数据；和
至少部分地基于所述导航数据来调整飞行路线。


2.根据权利要求1所述的方法，其中，所述飞行器是无人飞行器(UAV)。


3.根据权利要求2所述的方法，还包括：
识别所述图像的多个像素与所述至少一个陆地地图的多个特征点之间的对应关系；
将X、Y、Z坐标分配给所述图像的所述多个像素；和
基于所述图像的所述多个像素确定所述导航数据。


4.根据权利要求2所述的方法，还包括：
当GPS信号提供足够的导航准确性时，基于所述GPS信号来导航所述UAV；和
当GPS信号不提供足够的导航准确性时，基于所述导航数据来导航所述UAV。


5.根据权利要求2所述的方法，其中，基于所述导航数据来导航所述UAV是备用导航方案。


6.根据权利要求1所述的方法，其中，所述导航数据包括所述UAV的位置数据。


7.根据权利要求1所述的方法，其中，所述导航数据包括所述UAV的取向数据。


8.根据权利要求1所述的方法，其中，所述相机由枢转机构承载，所述方法还包括：
基于所述相机相对于所述飞行器的取向以及所述枢转机构相对于所述飞行器的取向来确定所述飞行器的取向。


9.根据权利要求2所述的方法，还包括：
所述UAV与基于地面的收发器无线地进行通信，其中，基于所述基于地面的收发器的位置来选择所述至少一个陆地地图。


10.根据权利要求1所述的方法，其中，所述相机被配置为在日间在可见光谱中工作，而在夜间在红外光谱中工作。


11.根据权利要求1所述的方法，还包括：
在将所述图像发送到所述基站之前，分析所述图像并通过移除所述图像的被认为与所述图像中的可移动或可改变物体有关的一部分来过滤所述图像，以改善所述图像与所述陆地地图之间的匹配。


12.根据权利要求11所述的方法，其中，所述导航数据部分地由所述UAV确定。


13.根据权利要求2所述的方法，还包括：
与将所述图像发送到所述基站一起，向所述基站发送唯一的字母数字图像标签；
从所述基站接收所述唯一的字母数字图像标签；和
基于所述唯一的字母数字图像标签，确定将所述图像发送到所述基站与从所述基站接收所述导航数据之间的时间间隔。


14.根据权利要求13所述的方法，其中，所述导航数据是最终位置数据或最终取向数据，所述方法还包括：
在从所述基站接收最终飞行器位置数据或最终飞行器取向数据中的至少一个之前，从所述基站接收中间位置数据或中间取向数据。


15.根据权利要求2所述的...

【专利技术属性】
技术研发人员：D阿贝沃德纳，D乔丹，
申请(专利权)人：WING航空有限责任公司，
类型：发明
国别省市：美国;US