用于检测载具着陆表面上的字母和边缘的自适应特征提取制造技术

一种基于视觉的着陆系统包括位于飞行载具上的处理器、机载视觉传感器、机载辅助传感器和数据存储单元。处理器托管自适应特征提取模块，操作以执行包括以下步骤的方法：捕获具有多个边缘特征的着陆区域的图像；计算预期边缘特征的估计斜率；计算预期边缘特征的预期梯度方向；沿着预期水平梯度为预期边缘特征选择水平基核；沿着预期垂直梯度为预期边缘特征选择垂直基核；基于水平基核和垂直基核、估计斜率以及预期梯度方向来计算预期边缘特征的组合卷积核；以及使用组合卷积核对图像执行卷积运算，以获得着陆区域的边缘特征图像。以获得着陆区域的边缘特征图像。以获得着陆区域的边缘特征图像。

【技术实现步骤摘要】
用于检测载具着陆表面上的字母和边缘的自适应特征提取
[0001]相关申请的交叉引用
[0002]本申请要求于2022年3月4日提交的名称为“ADAPTIVE FEATURE EXTRACTION TO DETECT LETTERS AND EDGES ON VEHICLE LANDING SURFACES”的印度临时申请号202211011854的权益，将其内容全文并入本文。

技术介绍

[0003]航空变得越来越普遍，并且机场、直升机场以及最近的垂直升降机场的数量也在上升。区域航空正在成为一种更流行的运输方式，特别是对于即将到来的电动飞机。随着这些发展，将存在对飞行员的需求的增加，这可能会通过较年轻和经验较少的飞行员满足。对于此类生态系统，将需要用于导航的辅助技术如基于视觉的系统。
[0004]视觉增强飞行器着陆是可以在重量和成本两方面显著减少机载设备的技术。相机和处理计算机可以代替用于着陆的多个其他传感器，诸如无线电测高计和机载仪表着陆系统(ILS)接收器。然而，当载具在目标着陆区中着陆时，使用如边缘检测的技术来确定着陆地点的特征以找到着陆标记的预期取向和梯度可能是一个挑战。这些确定可能受到与所需特征一起存在的大量假阳性的阻碍。例如，检测直升机场标记的边缘受到围绕着陆坪存在类似成角度线的显著阻碍。同样，检测跑道边缘受到围绕实际跑道边缘存在类似成角度线的阻碍。这些阻碍限制了用于基于视觉的着陆系统的简单技术的使用。

技术实现思路

[0005]基于视觉的着陆系统包括：至少一个处理器，该至少一个处理器位于飞行载具上；至少一个视觉传感器，该至少一个视觉传感器位于飞行载具上并且操作地耦接到至少一个处理器；一个或多个辅助传感器，该一个或多个辅助传感器位于飞行载具上并且操作地耦接到至少一个处理器；和数据存储单元，该数据存储单元与至少一个处理器操作地通信。至少一个处理器托管自适应特征提取模块，该自适应特征提取模块具有处理器可读指令以执行用于检测用于飞行载具的着陆区域上的边缘的方法。该方法包括：利用至少一个视觉传感器捕获着陆区域的至少一个图像，其中着陆区域包括多个边缘特征；计算着陆区域的预期边缘特征的估计斜率；计算预期边缘特征的预期梯度方向；沿着预期水平梯度为预期边缘特征选择水平基核；沿着预期垂直梯度为预期边缘特征选择垂直基核；基于水平基核和垂直基核、预期边缘特征的估计斜率以及预期边缘特征的预期梯度方向来计算预期边缘特征的组合卷积核；以及使用组合卷积核对至少一个图像执行卷积运算，以获得着陆区域的所得边缘特征图像。
附图说明
[0006]通过参考附图的以下描述，本专利技术的特征对于本领域的技术人员将变得显而易见。应当理解，附图仅示出了典型的实施方案，并且因此不应认为是限制本专利技术的范围，将通过使用附图以附加特征和细节来描述本专利技术，其中：
[0007]图1A是根据一个实施方案的采用自适应特征提取来检测载具着陆表面上的边缘的基于视觉的着陆系统的框图；
[0008]图1B是根据示例性具体实施的由图1A的系统的自适应特征提取模块执行的方法的流程图；
[0009]图2A是飞行器跑道的示意图，对于该飞行器跑道，图1A的系统可用于检测跑道上的边缘；
[0010]图2B是直升机停机坪的示意图，对于该直升机停机坪，图1A的系统可以用于检测直升机停机坪上的标记；
[0011]图2C是垂直升降机场的示意图，对于该垂直升降机场，图1A的系统可用于检测垂直升降机场上的标记；
[0012]图3是根据另一示例性具体实施的用于自适应特征提取的方法的流程图；
[0013]图4是根据一个示例具体实施的用于在将载具着陆在直升机场时使用的自适应特征提取的方法的流程图；
[0014]图5是直升机场着陆区域的示意图，其包括如在图4的方法中使用的元素的梯度约定；
[0015]图6是在图4的方法中使用图像坐标系变换来产生预期边缘特征的估计斜率的示例性方法的流程图；
[0016]图7A至图7C描绘了在载具在直升机停机坪上视觉辅助着陆时使用用于自适应特征提取的方法进行模拟的图像结果；并且
[0017]图8A至图8F描绘了在飞行器在跑道上视觉辅助着陆时使用用于自适应特征提取的方法进行模拟的图像结果。
具体实施方式
[0018]在以下具体实施方式中，对实施方案进行了充分的描述，以使本领域的技术人员能够实践本专利技术。应当理解，在不脱离本专利技术的范围的情况下可利用其他实施方案。因此，以下详细描述不应被视为具有限制意义。
[0019]本文描述了用于自适应特征提取以检测载具着陆表面上的字母和/或边缘的系统和方法。本方法提供了一种从视觉数据提取明确定义的结构和特征的方式，诸如跑道边缘、直升机停机坪标记、着陆坪标记等的图像。使用一个或多个机载载具相机捕获视觉数据。
[0020]本方法提供用于相对于地面上的多个已知的明确定义的特征来估计载具位姿。本方法针对所期望的特征降低检测到的候选的数量，并且因此通过降低失配的概率来增加系统的完整性。
[0021]飞行载具进行基于视觉的位姿估计的重大挑战是对感兴趣区域的拐角和边缘的准确检测。由于这些场景在明确定义的条件下使用，诸如明确标记的跑道和直升机停机坪，因此本方法利用来自导航数据库的该信息来改善对此类边缘的检测。例如，直升机场着陆区域通常具有清楚划界的边缘和阈值标记，具有明确定义的边缘厚度和长度。
[0022]在传统的边缘检测方法中，使用常规梯度滤波器来提取图像中的尖锐梯度。梯度滤波器通常是单向的，这意味着一个滤波器只能在特定方向上提取边缘。因此，必须将多个滤波器反复应用于同一图像，其中每个滤波器包括特定方向。这种传统方法在提取图像中
的所有可能边缘方面做得很好，但是无法从非期望边缘中突出显示期望边缘，并且需要对同一图像进行多次滤波器迭代以产生期望结果。因此，需要附加滤波来从一大组候选提取所需边缘。本方法提供这样的滤波并且确保有效地利用感兴趣区域的明确定义的知识。此外，使用来自认证的载具传感器和导航数据库的定位信息使得更容易证明系统的完整性。
[0023]本方法提供了一种用于飞行载具的视觉导航着陆系统，该视觉导航着陆系统包括使特征检测适于任何预定义形状或特征的技术，诸如aruco标记、跑道边缘、直升机场标记、垂直升降机场标记或任何其他预定义着陆标记。本方法可以应用于各种飞行载具的导航，包括传统的固定翼飞机、直升机、垂直起降(VTOL)载具(诸如混合VTOL载具)、无人机(UAV)、用于包裹递送的无人机系统(UAS)载具、空中出租车(诸如城市空中交通(UAM)载具)等。除了飞行载具能够在其上着陆的明显跑道、飞机跑道、直升机停机坪、垂直升降机场或任何其他指定的着陆区域之外，本方法不需要任何地面增强。本方法可用于应用诸如提供视觉位置估计、感测和避免、飞行载具的精确着陆、飞行器在登机口处的视觉对接等中。
[0024]本方法使用其他信息源诸如载具坐标和导航数据库来获得对所检测的期望边缘的斜率和长度的估计。此外，本方法可以针对各种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的着陆系统，包括：至少一个处理器，所述至少一个处理器位于飞行载具上；至少一个视觉传感器，所述至少一个视觉传感器位于所述飞行载具上并且操作地耦接到所述至少一个处理器；一个或多个辅助传感器，所述一个或多个辅助传感器位于所述飞行载具上并且操作地耦接到所述至少一个处理器；和数据存储单元，所述数据存储单元与所述至少一个处理器操作地通信；其中所述至少一个处理器托管自适应特征提取模块，所述自适应特征提取模块具有处理器可读指令以执行用于检测用于所述飞行载具的着陆区域上的边缘的方法，所述方法包括：利用所述至少一个视觉传感器捕获所述着陆区域的至少一个图像，其中所述着陆区域包括多个边缘特征；计算所述着陆区域的预期边缘特征的估计斜率；计算所述预期边缘特征的预期梯度方向；沿着预期水平梯度为所述预期边缘特征选择水平基核；沿着预期垂直梯度为所述预期边缘特征选择垂直基核；基于所述水平基核和所述垂直基核、所述预期边缘特征的所述估计斜率以及所述预期边缘特征的所述预期梯度方向来计算所述预期边缘特征的组合卷积核；以及使用所述组合卷积核对所述至少一个图像执行卷积运算，以获得所述着陆区域的所得边缘特征图像。2.根据权利要求1所述的...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：霍尼韦尔国际公司，
类型：发明
国别省市：