从图像中去除杂乱背景以进行对象检测制造技术

涉及从图像中去除杂乱背景以进行对象检测。描述了追踪数字图像中的目标的位置和取向。该追踪可以控制载具的导航。接收数字图像。生成包括多个二值化值的第一阵列，该多个二值化值与数字图像中的第一多个像素的像素速度有关。生成包括多个值的第二阵列，该多个值与数字图像中的第一多个像素的像素强度的标准偏差有关。确定与第二阵列中的值有关的多个阈值。在数字图像中识别多个目标像素和多个背景像素。生成与数字图像有关的二值图像，并且基于二值图像，识别数字图像中的目标的位置和取向中的至少一个。基于所识别的、目标的位置和取向中的至少一个，向载具的导航系统发送命令，以协助将载具朝着目标引导。

Removing cluttered background from image for object detection

【技术实现步骤摘要】
从图像中去除杂乱背景以进行对象检测
本文所描述的方面涉及图像中的对象检测(objectdetection)，并且更具体地涉及追踪包括杂乱背景(clutteredbackground)的数字图像中的目标。
技术介绍
使用视觉图像来追踪对象对于许多应用而言都是很重要的，包括监视、载具停靠、以及许多其它应用。所追踪的对象包括陆上车辆、飞行器、卫星、人类、或者在视野内移动的几乎任何事物。用于追踪的视觉输入可以是由视觉传感器、红外相机、或者能够提供视觉输入的任何其它成像装置来提供。作为追踪过程的一部分，系统必须能够区分图像中的关注对象和背景。然而，当面对背景内和目标内的像素强度的较大变化时，用于区分关注对象和背景的现有图像处理方法通常是无效的。
技术实现思路
本文所描述的一个实施例是一种用于通过追踪数字图像中的目标的位置和取向来控制载具的导航的方法。该方法包括如下步骤：接收由视觉传感器拍摄的数字图像；生成包括多个二值化值(binaryvalue)的第一阵列，该多个二值化值与数字图像中的第一多个像素的、与第一一个或多个先前数字图像中的对应像素相比的像素速度有关；以及生成包括多个值的第二阵列，该多个值与数字图像中的第一多个像素的、与第二一个或多个先前数字图像中的对应像素相比的像素强度的标准偏差有关。搞方法进一步包括如下步骤：确定与第二阵列中的值有关的多个阈值；基于第一阵列、第二阵列、以及多个阈值，在数字图像中识别多个目标像素和多个背景像素；基于所识别的多个目标像素和所识别的多个背景像素，生成与数字图像有关的二值图像(binaryimage)；以及基于二值图像，识别数字图像中的目标的位置和取向中的至少一个。该方法进一步包括如下步骤：基于所识别的、所述目标的位置和取向中的至少一个，向载具的导航系统发送命令，以协助将载具朝着目标引导。本文所描述的另一实施例是，一种追踪数字图像中的目标的位置和取向的方法。该方法包括如下步骤：接收由视觉传感器拍摄的数字图像；生成包括多个二值化值的第一阵列，该多个二值化值与数字图像中的第一多个像素的像素速度有关；以及生成包括多个值的第二阵列，该多个值与数字图像中的第一多个像素的像素强度的标准偏差有关。该方法进一步包括如下步骤：基于第一阵列和第二阵列，在数字图像中识别多个目标像素和多个背景像素；以及基于所识别的多个目标像素和所识别的多个背景像素，识别数字图像中的目标的位置和取向中的至少一个。本文所描述的另一实施例是一种系统，该系统包括：处理器和存储器，该存储器用于储存程序，当该程序在处理器上被执行时，该程序执行操作。该操作包括：接收由视觉传感器拍摄的数字图像；生成包括多个二值化值的第一阵列，该多个二值化值与数字图像中的第一多个像素的像素速度有关；生成包括多个值的第二阵列，该多个值与数字图像中的第一多个像素的像素强度的标准偏差有关；基于第一阵列和第二阵列，在数字图像中识别多个目标像素和多个背景像素；以及基于所识别的多个目标像素和所识别的多个背景像素，识别数字图像中的目标的位置和取向中的至少一个。附图说明为了能够详细地理解本公开的上述特征，可以参照各个方面对上文简要概述的本公开进行更加具体的描述，在附图中图示了其中一些方面。图1是根据本文所描述的一个实施例的针对图像中的背景检测目标的载具的示例性图示。图2是图示了根据本文所描述的一个实施例的示例性载具的框图。图3是根据本文所描述的一个实施例的描绘了目标对象的示例性数字图像的视图。图4是根据本文所描述的一个实施例的用于数字图像的目标追踪过程的视图。图5是根据本文所描述的一个实施例的用于数字图像的目标追踪过程的流程图。图6是根据本文所描述的一个实施例的针对图像的背景部分生成像素速度值的视图。图7是根据本文所描述的一个实施例的在针对图像的背景部分生成像素速度值时卷积的使用的视图。图8是根据本文所描述的一个实施例的图示了速度图像的生成的流程图。图9是根据本文所描述的一个实施例的速度图像的生成的视图。图10是根据本文所描述的一个实施例的计算用于可能的目标像素和背景像素的阈值的视图。图11是根据本文所描述的一个实施例的图示了生成二值图像的流程图。具体实施方式本文所公开的实施例涉及用于区分关注对象和背景图像的改进方法、系统和设备。用于区分数字图像中的关注对象和背景的一种方式是，计算能够用于将目标像素和背景像素分离开的像素阈值。在一些情况下，这是一个相对简单的任务，诸如，当在漆黑的夜空中追踪一架灯火通明的飞机时。在该情境下，确定用于区分背景像素和目标像素的像素强度阈值是相对容易的。一旦已经确定出阈值，具有低于阈值的值的像素几乎肯定是背景(例如，漆黑的夜空)，并且具有高于阈值的值的像素几乎肯定是被追踪的目标。如果目标(例如，飞行器)非常暗，而背景是明亮的天空，则问题同样简单，但情况相反。在这种情况下，阈值将属于目标的昏暗像素与属于天空的明亮像素分开。然而，在许多实际应用中，所处理的情景在背景内和在目标内的像素强度可能具有较大变化，常常会重叠。在这些情况下，简单的瞬时像素强度阈值将不足以去除背景并且提取(多个)期望目标。该解决方案进一步易受到杂乱情景的影响，因为其取决于对给定帧中的像素强度的分析。如果在强度上不存在可区分的差异，则杂波可能会污染检测过程并且无法提取期望目标。本文的公开涉及用于在移动的动态情景中提取高度复杂的目标的实施例，其中，目标和背景在瞬时像素强度上均波动较大。与其它方法(背景是静态的并且目标在移动的情况)不同，这些实施例能够在目标和背景均相对于传感器移动的情景中工作。这会去除由固定
技术介绍
强加的许多约束，并且给用户提供更多的潜在用例。此外，在一些情境中，所描述的实施例可以使用基于速度梯度的二次阈值/鉴别器，从而允许在大量杂乱条件下在背景像素与目标像素之间进行更有效的区分，因为这些梯度可以由背景噪声源的特定几何结构来预测。例如，本文所公开的实施例可以用作载具(比如，航天器)的导航系统的一部分。载具的导航系统可以使用视觉追踪来协助与太空中的对象(比如，卫星或者空间站)的对接。但这需要识别潜在杂乱图像(例如，包括背景中的地球的图像)中的目标的位置和取向两者。进一步地，在该情境中，地球的球形形状会使图像内的目标的位置较复杂，因为背景图像会以复杂的方式移动越过载具的视野。本文所描述的实施例可以改进在该情境中的对象检测，因为其对各个帧之间的移动不那么敏感，并且能够处理各个帧之间的较大像素移动(例如，每个帧数十个像素的目标移动)。载具的导航系统然后可以使用关于目标的位置和取向的所检测到的信息来例如协助向目标的导航以及与目标的对接。图1是对于针对杂乱背景追踪目标而言有用的一个情境的示例。载具200至少部分地基于通过视觉传感器202追踪目标110来进行导航。例如，载具200可以是航天器，并且目标110可以是卫星或者空间站。载具200具有带有视野120的视觉传感器202。例如，视觉传感器202可以是相机或者任何其它合适的视觉传感器。载具200可以使用视觉传感器202来追踪目标110的位置和取向，以便帮助与目标110的对接。但视觉传感器202也可以获取背景图像150——在此是地球的图像。为了使用视觉传感器202来追踪目标110，载具200必须能够将表示目标110本文档来自技高网...

【技术保护点】
1.一种通过追踪数字图像中的目标的位置和取向来控制载具的导航的方法，所述方法包括如下步骤：接收由视觉传感器(202)拍摄的数字图像(410)；生成包括多个二值化值的第一阵列(420)，所述多个二值化值与所述数字图像(410)中的第一多个像素的、与第一一个或多个先前数字图像中的对应像素相比的像素速度有关；生成包括多个值的第二阵列(430)，所述多个值与所述数字图像(410)中的所述第一多个像素的、与第二一个或多个先前数字图像中的对应像素相比的像素强度的标准偏差有关；确定(512)与所述第二阵列中的值有关的多个阈值；基于所述第一阵列、所述第二阵列以及所述多个阈值，在所述数字图像中识别(514)多个目标像素和多个背景像素；基于所识别的多个目标像素和所识别的多个背景像素，生成与所述数字图像有关的二值图像(440)；基于所述二值图像(440)，识别所述数字图像中的所述目标的位置和取向中的至少一个；以及基于所识别的、所述目标的位置和取向中的至少一个，向所述载具(200)的导航系统发送命令，以协助将所述载具朝着所述目标引导。

【技术特征摘要】
2017.12.21 US 15/850,2191.一种通过追踪数字图像中的目标的位置和取向来控制载具的导航的方法，所述方法包括如下步骤：接收由视觉传感器(202)拍摄的数字图像(410)；生成包括多个二值化值的第一阵列(420)，所述多个二值化值与所述数字图像(410)中的第一多个像素的、与第一一个或多个先前数字图像中的对应像素相比的像素速度有关；生成包括多个值的第二阵列(430)，所述多个值与所述数字图像(410)中的所述第一多个像素的、与第二一个或多个先前数字图像中的对应像素相比的像素强度的标准偏差有关；确定(512)与所述第二阵列中的值有关的多个阈值；基于所述第一阵列、所述第二阵列以及所述多个阈值，在所述数字图像中识别(514)多个目标像素和多个背景像素；基于所识别的多个目标像素和所识别的多个背景像素，生成与所述数字图像有关的二值图像(440)；基于所述二值图像(440)，识别所述数字图像中的所述目标的位置和取向中的至少一个；以及基于所识别的、所述目标的位置和取向中的至少一个，向所述载具(200)的导航系统发送命令，以协助将所述载具朝着所述目标引导。2.根据权利要求1所述的方法，所述方法进一步包括如下步骤：将所述二值图像储存在电子数据库中，所述电子数据库包括与由所述视觉传感器(202)拍摄的图像有关的多个二值图像，其中，识别所述目标的位置和取向中的至少一个的步骤进一步基于所述多个二值图像(440)。3.一种追踪数字图像中的目标的位置和取向的方法，所述方法包括如下步骤：接收由视觉传感器(202)拍摄的数字图像(410)；生成包括多个二值化值的第一阵列(420)，所述多个二值化值与所述数字图像(410)中的第一多个像素的像素速度有关；生成包括多个值的第二阵列(430)，所述多个值与所述数字图像(410)中的所述第一多个像素的像素强度的标准偏差有关；基于所述第一阵列和所述第二阵列，在所述数字图像中识别(514)多个目标像素和多个背景像素；以及基于所识别的多个目标像素和所识别的多个背景像素，识别所述数字图像中的所述目标的位置和取向中的至少一个。4.根据权利要求3所述的方法，其中，所述第一阵列中的所述多个二值化值与所述数字图像中的像素的、与第一一个或多个先前数字图像中的像素相比的像素速度有关，并且其中，所述第二阵列中的所述多个值与所述数字图像中的像素的、与第二一个或多个先前数字图像中的像素相比的像素强度的标准偏差有关，所述方法进一步包括如下步骤：确定(512)与所述第二阵列中的值有关的多个阈值，其中，在所述数字图像中识别所述多个目标像素和所述多个背景像素的步骤进一步基于所述多个阈值。5.根据权利要求3所述的方法，所述方法进一步包括如下步骤：基于所识别的、所述目标的位置和取向中的至少一个，向载具(200)的导航系统发送命令，以协助将所述载具朝着所述目标引导。6.根据权利要求3所述的方法，所述方法进一步包括如下步骤：基于所识别的多个目标像素和所识别的多个背景像素，生成与所述数字图像有关的二值图像(440)，其中，识别所述数字图像中的所述目标的位置和取向中的至少一个的步骤进一步基于所述二值图像(440)。7.根据权利要求1或3所述的方法，所述方法进一步包括如下步骤：接收边界信息，所述边界信息足以在所述数字图像中的所述目标周围形成边界框，其中，生成与所述数字图像有关的所述第一阵列的步骤进一步包括如下步骤：识别所述数字图像(410)中的位于所述边界框外部的多个采样窗口；确定(504)位于所述多个采样窗口中的每一个内部的像素的像素速度值；以及至少部分地基于位于所述多个采样窗口内部的像素的所确定的像素速度，来确定(508)与所述数字图像中的第一多个像素的像素速度有关的多个二值化值。8.根据权利要求1或3所述的方法，所述方法进一步包括如下步骤：确定所述第一多个像素中的像素的梯度值；确定所述第一多个像素中的像素的梯度阈值；以及至少部分地基于所述像素的梯度值与所述像素的梯度阈值的比较，来确定所述第一阵列(420)中针对所述像素的二值化值。9.根据权利要求2或4中任一项所述的方法，其中，所述多个阈值包括第一阈值和第二阈值，其中，所述第一阈值高于所述第二阈值，并且其中，在所述数字图像中识别所述多个...

【专利技术属性】
技术研发人员：D·K·李，D·L·卡贝雷罗，T·P·维斯穆勒，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国,US