用于检测的方法和计算系统技术方案

本申请涉及用于检测的方法和计算系统。一种方法包括接收第一图像。方法还包括检测第一图像中的多个边缘。方法还包括连接边缘。方法还包括至少部分地基于连接的边缘来识别第一图像中的轮廓。方法还包括确定轮廓的凸包。方法还包括生成包括凸包的第二图像。法还包括生成包括凸包的第二图像。法还包括生成包括凸包的第二图像。

【技术实现步骤摘要】
用于检测的方法和计算系统


[0001]本公开涉及天空分割。更具体地，本公开涉及在图像或视频帧上执行天空分割，以帮助交通工具确定地面和天空之间的分界(例如，地平线)，用于导航目的和/或检测交通工具的视野中的对象。

技术介绍

[0002]天空分割使用机器学习模型将图像或视频帧中的像素与天空相关联。天空分割方法通常是基于边缘的或者基于内容的。基于边缘的天空分割方法不产生完整的逐像素的天空分割。相反，它们最终找到了用于微型飞行器姿态估计的地平线。基于内容的天空分割方法需要大量的逐像素的手工标记的数据，并且它们也具有很高的计算成本。除了前述的缺点之外，两种方法都无法在有限的标记数据和实时运行时间约束下很好地工作。

技术实现思路

[0003]公开了一种方法。该方法包括接收第一图像。方法还包括检测第一图像中的多个边缘。方法还包括连接边缘。方法还包括至少部分地基于连接的边缘来识别第一图像中的轮廓。方法还包括确定轮廓的凸包。方法还包括生成包括凸包的第二图像。
[0004]还公开了一种计算系统。该计算系统包括一个或多个处理器和存储器系统。存储器系统包括一个或多个非瞬时性计算机可读介质，该非瞬时性计算机可读介质存储指令，当指令由一个或多个处理器中的至少一个处理器执行时，使计算系统执行操作。操作包括接收第一图像。第一图像是由飞行中的飞机上的照相机捕获的。操作还包括至少部分地基于阈值来检测第一图像中的多个边缘。操作还包括连接边缘。操作还包括至少部分地基于连接的边缘来识别第一图像中的最大轮廓。操作还包括确定最大轮廓的凸包。凸包表示第一图像中的地面区域的一部分。操作还包括生成包括凸包的第二图像。第二图像中的多个第一像素表示凸包，并且第二图像中的多个第二像素不表示凸包。
[0005]在另一示例中，操作包括接收第一图像。第一图像是由交通工具上的照相机捕获的。操作还包括至少部分地基于阈值来检测第一图像中的多个边缘。操作还包括连接边缘。使用具有正方形核(square kernel)的形态闭合来连接边缘，并且形态闭合使用具有从大约20像素至大约50像素的面积的核。操作还包括至少部分地基于连接的边缘来识别第一图像中的最大轮廓。最大轮廓包括最大面积。操作还包括确定最大轮廓的凸包。凸包表示第一图像中的地面区域的一部分。操作还包括生成包括凸包的第二图像。第二图像中具有第一颜色的多个第一像素表示凸包，并且第二图像中具有第二颜色的多个第二像素不表示凸包。操作还包括识别第二图像中的每列中的最底部第一像素。操作还包括将每列中的在最底部第一像素下方的第二像素转换为第一像素以产生修改的第二图像。修改的第二图像中的第一像素表示地面区域，并且修改的第二图像中的第二像素表示天空区域。操作还包括组合第一图像的至少一部分和修改的第二图像的至少一部分以产生组合的图像。
附图说明
[0006]结合在本说明书中并构成本说明书的一部分的附图示出了本教导的各个方面，并且与描述一起用于解释本教导的原理。
[0007]图1示出了根据示例的飞行中的飞机的示意图。
[0008]图2示出了根据示例的用于将图像分割成天空区域和地面区域的方法的流程图。
[0009]图3示出了根据示例的由飞行中的飞机上的照相机捕获的第一图像。
[0010]图4示出了根据示例的具有识别的多个边缘的第一图像。
[0011]图5示出了根据示例的具有连接的边缘的第一图像。
[0012]图6示出了根据示例的具有识别的最大轮廓的第一图像。
[0013]图7示出了根据示例的具有识别的凸包的第一图像。
[0014]图8示出了根据示例的包括表示凸包的多个第一像素(例如，黑色像素)的第二图像。
[0015]图9示出了根据示例的具有每列中识别的最底部第一像素(例如，最底部的黑色像素)的第二图像。
[0016]图10示出了根据示例的第二图像，其中在最底部第一像素(最底部的黑色像素)下方的第二像素(例如，白色像素)被转换为第一像素(例如，黑色像素)以产生修改的第二图像。
[0017]图11示出了根据示例的组合的图像，该组合的图像包括覆盖在第一图像上的修改的第二图像。
[0018]应该注意的是，附图的一些细节已经被简化，并且是为了促进理解而绘制的，而不是为了保持严格的结构准确性、细节和比例。
具体实施方式
[0019]现在将详细参考本教导，其示例在附图中示出。在附图中，通篇使用了相同的附图标记来指定相同的元件。在下面的描述中，参考形成其一部分的附图，并且其中参考是通过实践本教导的说明具体示例的方式示出的。因此，以下描述仅是示例性的。
[0020]本文公开的系统和方法可以识别/产生近似图像中的地面区域与天空区域之间的分离的边界。该系统和方法还可以从图像中遮掩非天空(例如，地面)区域以产生天空背景，这可以最小化边界和/或检测的对象的误报。这里公开的系统和方法可以不需要训练数据并且实时地或接近实时地运行以生成逐像素的天空分割图。一旦已经检测到边界，系统和方法就可以使用边界以帮助检测对象(例如，其他飞机、鸟类等)，并导航飞机以避开这样的对象。可以通过采用本文描述的天空分割技术来增强检测过程的准确性。
[0021]系统和方法可以快速并且准确地检测图像内具有非线性边界的非天空区域。此外，系统和方法不需要标记数据来训练机器学习(ML)模型。系统和方法逐像素地分割非天空区域，而不是通过找到地平线并将图像划分为“地平线上方”和“地平线下方”。
[0022]照相机可以在相对于飞机的限定位置处固定到飞机，其视野指向感兴趣的区域(例如，向前和/或在飞机行进的方向上)。天空区域可以完全包含在非天空区域上方。非天空区域可以包含比天空区域更多的边缘部分。天空和非天空区域由地平线分开：横穿图像的宽度的大部分至全部的适度直的线。系统和方法的示例可以将图像划分为天空和非天空
区域。
[0023]图1示出了根据示例的飞行中的飞机100的示意图。飞机100可以是或包括飞机、直升机、无人驾驶飞机(例如，无人机)、航天器等。飞机100可以包括照相机110。照相机110可以耦接到飞机100和/或定位在飞机100内。照相机110可以被配置为捕获一个或多个图像。照相机110也可以或者替代地被配置为捕获视频。在一个示例中，照相机110可以被配置为随着时间捕获连续图像流(即视频)，并且图像可以是从视频提取的静止帧。
[0024]可以将图像和/或视频发送到飞机100上的计算系统120。在另一示例中，计算系统120可以位于地面上(例如，在控制站中)，与飞机100上/中的机载计算系统通信。计算系统120可以包括一个或多个处理器和存储器系统。存储器系统可包括存储指令的一个或多个非瞬时性计算机可读介质，当指令由一个或多个处理器中的至少一个来执行时，指令使计算系统120执行操作。操作将参照下面的图2进行描述。
[0025]图2示出了根据示例的用于将图像分割成天空区域和地面区域的方法200的流程图。下面描述方法200的说明性顺序。方法200本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于检测的方法(200)，包括接收第一图像(300)；检测所述第一图像(300)中的多个边缘(410、420、430)；连接所述边缘(410、420、430)；至少部分地基于所连接的边缘(410、420、430)来识别所述第一图像(300)中的轮廓(610)；确定所述轮廓(610)的凸包(710)；以及生成包括所述凸包(710)的第二图像(800)。2.根据权利要求1所述的方法，其中，生成所述第二图像(800)包括修改所述第一图像(300)以生成所述第二图像(800)。3.根据权利要求1所述的方法，其中，所述第一图像(300)由飞行中的飞机(100)上的照相机(110)捕获。4.根据权利要求1所述的方法，其中，所述凸包(710)表示所述第一图像(300)中的地面区域(310)的一部分。5.根据权利要求4所述的方法，其中，所述第二图像(800)中的多个第一像素(810)表示所述凸包(710)。6.根据权利要求5所述的方法，其中，所述第二图像(800)中的多个第二像素(820)不表示所述凸包(710)。7.根据权利要求6所述的方法，其中，所述第二像素(820)的一部分表示所述第一图像(300)中的天空区域(320)。8.根据权利要求6所述的方法，还包括：识别所述第二图像(800)中的列(910)中的最底部第一像素(911)；并且将所述列(910)中在所述最底部第一像素(911)下方的所述第二像素(820)转换为第一像素(810)，以产生修改的第二图像(1000)。9.根据权利要求8所述的方法，还包括至少部分地基于所述修改的第二图像(1000)来导航飞机(100)。10.根据权利要求8所述的方法，还包括至少部分地基于所述修改的第二图像(1000)来检测空间中的对象。11.一种计算系统(120)，包括：一个或多个处理器；以及存储器系统，所述存储器系统包括存储指令的一个或多个非瞬时性计算机可读介质，当所述指令由所述一个或多个处理器中的至少一个处理器执行时，使所述计算系统执行操作，所述操作包括：接收第一图像(300)，其中，所述第一图像(300)由飞行中的飞机(100)上的照相机(110)捕获；至少部分地基于阈值检测所述第一图像(300)中的多个边缘(410、420、430)；连接所述边缘(410、420、430)；至少部分地基于所连接的边缘(410、420、430)来识别所述第一图像(300)中的最大轮廓(610)；
确定所述最大轮廓(610)的凸包(710)，其中，所述凸包(710)表示所述第一图像(300)中的地面区域(310)的一部分；以及生成包括所述凸包(710)的第二图像(800)，其中，所述第二图像(800)中的多个第一像素(810)表示所述凸包(710)，并且其中，所述第二图像(800)中的多个第二像素(820)不表示所述凸包(710)。12.根据权利要求11所述的计算系统，其中，所述边缘(410、420、430)使用形态闭合连接，并且其中，所述形态闭合使用具有从10像素至100像素的面积的核。13.根据权利要求11所述的计算系统，其中，所述操作还包括：识别所述第二图像(800)中的每列(910)中的最底部第一像素(911)；并且将每列(910)中在所述最底部第一像素(910...

【专利技术属性】
技术研发人员：本杰明，
申请(专利权)人：欧若拉飞行科学公司，
类型：发明
国别省市：