用于导航的多光谱成像系统和方法技术方案

技术编号:34076220 阅读:34 留言:0更新日期:2022-07-11 17:44
提供了多光谱成像和导航系统及相关技术,以改进包括移动传感器或勘测平台的有人或无人移动平台的操作。多光谱导航系统包括多光谱成像系统和配置成与多光谱成像系统通信的逻辑装置。多光谱成像系统包括多光谱成像模块,所述多光谱成像模块配置成提供与移动平台的规划路线对应的多光谱图像数据。逻辑装置配置成接收多光谱图像数据,接收对应于多光谱图像数据的取向和/或位置数据,以及基于取向和/或位置数据以及多光谱图像数据生成对应于规划路线的机动障碍物信息。路线的机动障碍物信息。路线的机动障碍物信息。

【技术实现步骤摘要】
【国外来华专利技术】用于导航的多光谱成像系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年8月30日提交并且名称为“用于导航的多光谱成像系统和方法(MULTISPECTRAL IMAGING FOR NAVIGATION SYSTEMS AND METHODS)”的美国临时专利申请第62/894,544号的优先权和权益,其全部内容通过引用并入本文。


[0003]本专利技术总体上涉及多光谱成像,并且更具体地,涉及用于移动平台的导航中的多光谱成像的系统和方法。

技术介绍

[0004]现代移动平台,例如辅助或自动驾驶的有人和无人驾驶陆地载具和飞行器,包括无人驾驶飞行器(UAV)、遥控水下航行器(ROV)、无人驾驶(水上)水面航行器(USV)和无人驾驶地面航行器(UGV),其中任何一种都可以配置为无人传感器平台,能够在所有环境(农村,城市,甚至水下)中长距离操作。这样的系统的操作可以包括对驾驶员的实时反馈和/或无人平台和远程基站之间的无线传输,所述远程基站通常包括显示器,以将平台捕获的遥测、图像和其他传感器数据有效地传送到操作员。操作员通常可以仅依靠从移动平台接收的图像反馈或数据,在整个任务期间监控有人或无人移动平台的自动或辅助导航,并在必要时进行驾驶员控制或以其他方式控制。
[0005]常规的成像系统通常过于昂贵和笨重,或者在相对常见的环境条件下缺乏足够的对比度,无法用于载具或其他移动平台的可靠和安全的自动或辅助导航。因此,需要紧凑的成像系统和相关技术来提供可靠的场景评估,以便与移动平台的导航一起使用。

技术实现思路

[0006]提供了多光谱导航系统和相关技术,以改进有人或无人移动平台的操作,包括辅助或自动驾驶的有人载具和无人传感器或勘测平台。所描述的多光谱导航系统的一个或多个实施例可以有利地包括一种多光谱成像系统,所述多光谱成像系统包括多光谱成像模块,配置成与关联于移动平台关联的基站建立无线通信链路的通信模块,配置成测量多光谱成像系统和/或联接的移动平台的取向和/或位置的取向和/或位置传感器,用于控制通信模块、取向和/或位置传感器和/或移动平台的操作的控制器,以及用于测量和提供对应于移动平台的机动和/或其他操作的传感器数据的一个或多个附加传感器。
[0007]在各种实施例中,这样的附加传感器可以包括远程传感器系统,所述远程传感器系统配置成捕获勘测区域的传感器数据,从所述传感器数据可以生成勘测区域的二维和/或三维空间地图。例如,导航系统可以包括一个或多个可见光谱、红外和/或紫外相机和/或联接到移动平台的其他远程传感器系统。移动平台通常可以是飞行平台(例如,有人驾驶飞行器、UAS和/或其他飞行平台)、陆地平台(例如,机动载具)、水上平台(例如,船只或潜艇)。更一般地,用于多光谱导航系统的多光谱成像系统可以实现为多光谱自主载具成像系统
(例如,MAVIS,用于各种自主或自动驾驶移动平台或载具)。
[0008]在一个实施例中,一种系统包括多光谱成像系统,所述多光谱成像系统包括配置成提供与移动平台的规划路线对应的多光谱图像数据的多光谱成像模块,以及配置成与多光谱成像系统通信的逻辑装置。逻辑装置可以配置成接收对应于规划路线的多光谱图像数据;接收对应于多光谱图像数据的取向和/或位置数据;以及至少部分地基于取向和/或位置数据以及多光谱图像数据的组合生成对应于规划路线的机动障碍物信息。
[0009]在另一实施例中,一种方法包括从多光谱成像系统接收多光谱图像数据,所述多光谱成像系统包括配置成提供与移动平台的规划路线对应的多光谱图像数据的多光谱成像模块;接收对应于多光谱图像数据的取向和/或位置数据;以及至少部分地基于取向和/或位置数据以及多光谱图像数据的组合生成对应于规划路线的机动障碍物信息。
[0010]本专利技术的范围由权利要求限定,权利要求通过引用并入本部分。通过考虑一个或多个实施例的以下详细描述,本领域技术人员将更加全面地理解本专利技术的实施例,并实现其额外的优点。将参考将首先简要描述的附图。
附图说明
[0011]图1示出了根据本公开的实施例的多光谱导航系统的示意图。
[0012]图2示出了根据本公开的实施例的采用多光谱导航系统的移动平台的示意图。
[0013]图3示出了根据本公开的实施例的用于多光谱导航系统的多光谱成像系统的示意图。
[0014]图4

6示出了根据本公开的实施例的包括由用于多光谱导航系统的多光谱成像系统生成的图像的显示视图。
[0015]图7示出了根据本公开实施例的使用多光谱导航系统提供辅助或自动驾驶导航的各种操作的流程图。
[0016]图8

10示出了根据本公开的实施例的包括由用于多光谱导航系统的多光谱成像系统生成的图像的显示视图。
[0017]本专利技术的实施例及其优点通过参考下面的详细描述得到最好的理解。应当理解,相似的附图标记用于标识一幅或多幅图中所示的相似元件。
具体实施方式
[0018]提供了多光谱导航系统和相关技术以提高移动平台(包括无人移动传感器平台)的操作灵活性和可靠性。用于高级驾驶员辅助系统(ADAS)的成像系统通常获取载具或移动平台周围的直接环境的实时视频图像。这样的图像可以帮助领航员(例如人类或自动驾驶仪)做出有关移动平台导航的决策,例如制动或规避操纵。当代商业ADAS相机产生的图像具有有限光谱内容或没有光谱内容:图像是RGB彩色或单色可见波段。这样的有限的光谱内容意味着在许多常见的环境条件(例如,航向和/或一天中的时间)下,实体对象可能与天空或其他遥远的背景相比几乎没有或没有对比度。
[0019]现实世界的示例可能是ADAS无法检测相对于天空/地平线相对较大的无特征地面阻碍物(例如,封闭的拖车)的情况。这样的不足可能是由可见光谱中有限的可见差异(例如颜色、亮度)引起的。这样的不足并不少见:由于天空“穹顶”的漫反射,阴天下的白色对象将
往往具有与天空非常相似的亮度。本文所述的多光谱导航系统的实施例在类似条件下失效的可能性要小得多,因为实体对象极不可能在光谱波段的组合上发射或反射类似于天空中的光,该光谱波段可包括可见光谱和可见光之外的光谱,例如红外和/或紫外光谱。
[0020]呈现给成像导航系统的场景通常包括具有非常不同的近红外(NIR)、可见光(VIS)和长波UV(LWUV)光谱内容的区域。对可见光以外的光谱敏感的多光谱成像系统可以更可靠地确定场景内容的组成,例如,包括能够可靠地区分天空与其他载具、树木、灌木、建筑物或道路。因此,多光谱成像系统可以为成像导航系统提供更细微得多的数据流。
[0021]例如,在选择的波段中的同时测量提供了场景中表面材料的粗略反射/发射光谱。植被等材料反射具有独特光谱特征的阳光,而天空则发射不同的光谱。载具和路面在这样的选择的波段中的表现也与它们在可见波段中的表现不同。与许多紧密间隔的相对窄的光谱通道相比,对于多光谱相机使用少量(例如,2、3、4或5个)相对宽的光谱波段具有几本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统,所述系统包括:多光谱成像系统,其中,所述多光谱成像系统包括多光谱成像模块,所述多光谱成像模块配置成提供与移动平台的规划路线对应的多光谱图像数据;以及逻辑装置,所述逻辑装置配置成与所述多光谱成像系统通信,其中,所述逻辑装置配置成:接收对应于规划路线的多光谱图像数据;接收对应于多光谱图像数据的取向和/或位置数据;以及至少部分地基于取向和/或位置数据以及多光谱图像数据的组合生成对应于规划路线的机动障碍物信息。2.根据权利要求1所述的系统,还包括通信模块,所述通信模块配置成与关联于所述移动平台的基站建立无线通信链路,其中:所述多光谱成像系统配置成联接到所述移动平台;并且所述逻辑装置配置成在所述移动平台沿着规划路线操纵时从所述多光谱成像系统接收多光谱图像数据,并通过无线通信链路将生成的与规划路线对应的机动障碍物信息报告给所述基站。3.根据权利要求1所述的系统,还包括:取向和/或位置传感器,所述取向和/或位置传感器联接到所述移动平台并配置成提供取向和/或位置数据;以及万向节系统,所述万向节系统联接到所述移动平台并配置成将所述多光谱成像系统安装到所述移动平台和/或相对于所述移动平台定向所述多光谱成像系统。4.根据权利要求1所述的系统,还包括:取向和/或位置传感器,所述取向和/或位置传感器联接到所述多光谱成像系统的外壳和/或在所述外壳内并配置成提供取向和/或位置数据;以及电源,所述电源联接到所述多光谱成像系统的外壳和/或在所述外壳内并配置成为所述多光谱成像系统供电。5.根据权利要求1所述的系统,其中,所述多光谱成像模块包括:对三个或更多个差异化的光谱敏感的焦平面阵列(FPA);以及滤波器系统,所述滤波器系统配置成向所述焦平面阵列提供在空间和光谱上差异化的光。6.根据权利要求5所述的系统,其中:所述多光谱成像模块包括透镜系统,所述透镜系统包括配置成将多光谱的光聚焦通过所述滤波器系统并聚焦到所述焦平面阵列上的一个或多个消色差透镜;并且所述三个或更多个差异化的光谱包括可见光谱、近红外光谱和长波紫外光谱中的至少一些部分;并且所述滤波器系统包括拜耳滤波器,所述拜耳滤波器联接到所述焦平面阵列的有源表面并邻接所述焦平面阵列的有源表面。7.根据权利要求5所述的系统,其中:所述多光谱成像模块包括模块控制器,所述模块控制器配置成至少部分地基于所述多光谱成像模块的拜耳滤波器内的滤波器元件的图案和/或一天中对应于捕获原始多光谱图
像数据的时间,对由所述焦平面阵列提供的原始多光谱图像数据去马赛克。8.根据权利要求1所述的系统,其中:所述多光谱成像模块包括模块控制器,所述模块控制器配置成控制所述多光谱成像模块的焦平面阵列,以根据第一积分时间捕获至少第一多光谱图像帧和根据不同于第一积分时间的第二积分时间捕获第二多光谱图像帧;并且所述多光谱图像数据包括由所述多光谱成像模块至少部分地基于第一多光谱图像帧和第二多光谱图像帧而成像的每个光谱中的相对高动态范围的图像。9.根据权利要求1所述的系统,其中:所述多光谱成像系统包括成像系统控制器和/或模块控制器,所述成像系统控制器和/或模块控制器配置成将在多光谱图像数据中检测到的单个像素、像素组和/或对象分类为天空或非天空、机动障碍物或非机动障碍物、移动目标或非移动目标、植被或非植被、道路或非道路和/或水面或非水面中的一种或多种。10.根据权利要求1所述的系统,还包括与所述移动平台关联的用户接口,其中,所述逻辑装置配置成:经由所述用户接口的显示器呈现包括机动障碍物信息的显示视图。11.根据权利要求1所述的系统,其中,所述逻辑装置配置成:至少部分...

【专利技术属性】
技术研发人员:A
申请(专利权)人:泰立戴恩菲力尔商业系统公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1