相对于视频影像中的前景目标抑制背景杂波的装置和方法制造方法及图纸

本申请公开了相对于视频影像中的前景目标抑制背景杂波的装置和方法。抑制包括前景目标和背景杂波的场景的视频影像中的背景杂波的方法包括：将视频影像的连续图像应用到杂波抑制处理，从而产生其中抑制了背景杂波的导出场景的视频影像。该过程包括处理当前图像以去除与照相机关联的固定模式噪声，以及将当前图像空间上重新配准到连续图像的参考图像中场景的固定地理位置或已知杂波模式。处理还包括使当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应滤波器，以产生滤波的时间延迟的图像，并且差分滤波图像以减少背景杂波，由此产生当前图像的杂波抑制版本，在杂波抑制版本中，相对于前景目标抑制了背景杂波。

【技术实现步骤摘要】
相对于视频影像中的前景目标抑制背景杂波的装置和方法
本公开总体上涉及成像和跟踪，并且具体地涉及视频影像中的背景杂波的抑制。
技术介绍
成像和跟踪系统通常包括用于识别和跟踪物体的传感器。例如，某些传感器(诸如雷达系统)发出从物体反射并被系统接收的信号。其他传感器(诸如电光传感器)接收来自物体本身的电磁辐射信号。该领域的改进旨在改进这些传感器以使其更精准。特别地，电光传感器通常使用望远镜以及检测红外(IR)辐射的焦平面阵列。用于在具有杂波的环境中进行自主光学检测的许多方法依赖于签名增强、形状匹配和运动检测的组合。这些方法试图利用在给定条件和场景下呈现的感兴趣物体与背景之间的差异。例如，大气、陆地背景和物体之间的大的温度差异可允许对连续检测器输出阵列进行自适应取阈(thresholding，门限)以产生一致的超过数，然后可以将这些超过数关联到高概率目标检测。性能均衡性(trade)产生有关检测和错误报警率概率相对传感器硬件、处理器架构和数据分析算法的要求。在空间陆地监视的情况下，采用特定IR波段以最优地匹配已知的目标签名响应，同时抑制背景的那些响应。在某些情况下，使用多个波段来利用它们之间的响应差异，从而创建多通道数据集，基于多通道数据集将感兴趣物体与不需要的背景杂波区分开。在低地球轨道范围下寻找小型(非分辨的)模糊(背景有限)目标的成本有效监视系统要求以目标信号积分、最大背景辐射水平和任务时间轴规定的帧速率进行不间断的扫描处理。要求通常受视线(LOS)速率和投影像素大小或地面样本距离(GSD)驱使。与这些类型的系统关联的检测限制效应涉及静态视场模式或固定噪声模式(FPN)、时间噪声(例如，热、光子散粒、数字读出等)和IR传感器中的检测器像素缺陷(不可操作像素)，以及抑制与目标签名竞争的局部背景杂波结构。在现有方法中，去除FPN要求校准步骤，在校准步骤中，估计当前模式。这通常涉及在没有输入的情况下产生“暗帧”，从而产生仅存在FPN分量的帧。由于FPN模式可以在大于检测处理间隔的时间范围内漂移，因此需要进行周期性FPN校准。在空间应用中，可以通过将传感器LOS指向空白空间并收集帧集合来产生暗帧，所述帧集合然后被平均为当前FPN的估计。该过程具有影响时间线连续性和操纵资源的效应。检测器中的时间噪声通常通过帧积分来处理，帧积分趋于平均噪声，同时加强相对恒定的目标签名。有效的帧积分需要配准过程来关联恒定的背景模式。配准过程可以基于图像帧互相关或由导航单元数据进行。积分间隔(以及因此帧加法的次数)被设置为使得周期内的目标运动将其保持在其中可以累积其签名的配准像素内。结果将是已经降低了像素噪声的目标加背景图像帧。目标签名现在必须与背景模式分离。这是通过减去没有目标的情况下出现在相同的配准和积分帧中的背景的局部估计来完成的。在实际情况中，第二积分帧是在稍微不同的时间处产生的，其中目标稍微将它们的位置移位到不同的像素中。差异帧现在指示存在移动目标作为由残余背景杂波环绕的共位双脉冲。检测性能的关键是将残余杂波抑制到产生适合于检测和误报率要求的信噪比(SNR)的点。
技术实现思路
本公开的示例实现方式致力于用于相对于视频影像中的前景目标抑制背景杂波的改进的装置、方法和计算机可读存储介质。示例实现方式提供将静态结构解卷积与无限脉冲响应(IIR)帧积分和不可操作的像素抑制相结合地使用来模糊杂波中的目标检测的解决方案。在一些示例中，第一阶段以非常高的精度估计和去除FPN，作为消除对周期性暗帧校准的徐需要的正在进行的过程。IIR积分产生监视场景的像素噪声抑制估计以用于运动检测差分。基于在系统积分期间从检测器阵列测量的恒定不良像素图(badpixelmap，BPM)，使用加权平均技术从估计过程去除不可操作的像素。本公开的示例实现方式相比于现有技术在去除杂波影像中的FPN方面表现得更好。同样，与现有技术相比，运动补偿的IIR滤波在帧积分期间使用少得多的存储器，并且允许平行操作的不同积分时间常数，其分别集中于隔离图像的背景(杂波)、前景(目标)和FPN分量。其他方法使用更多的存储器并且不使用不同的时间常数以增强目标、背景和FPN的分离。此外，结合形态滤波使用统计过程而不是依靠要求外部校准的非均匀性校正(NUC)，来识别并从图像中去除各个不良像素。对于IR照相机，校准随时间漂移，因此需要反复校准。示例实现方式是自动校准的，并且规避了对外部校准的需要。本公开因此包括但不限于以下示例实现方式。一些示例实现方式提供一种相对于视频影像中的前景目标抑制背景杂波的方法，所述方法包括：从移动平台上的照相机接收视频影像，所述视频影像是包括前景目标和背景杂波的场景，所述前景目标相对于背景杂波移动；将所述视频影像的连续帧的连续图像应用到杂波抑制处理，并从而产生导出场景的视频影像，在所述导出场景中，相对于所述前景目标抑制了所述背景杂波，所述杂波抑制处理包括：对于每个图像，当作为所述连续图像的当前图像时，处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声；将所述当前图像空间上重新配准到所述连续图像的参考图像中的所述场景的固定地理位置或已知杂波模式；其后，使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器，以产生相对于彼此时间延迟的滤波图像；对所述滤波图像进行差分以减少所述背景杂波，由此产生所述当前图像的杂波抑制版本，其中相对于所述前景目标抑制所述背景杂波；以及渲染所述导出场景的所述视频影像，包括所述连续图像的杂波抑制版本。在先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合中，处理所述当前图像包括确定所述固定模式噪声以用于从所述当前图像去除，并且确定所述固定模式噪声包括：使直到并包括所述当前图像的多个所述连续图像经过IIR低通滤波器以产生IIR滤波图像，其中所述背景杂波被平滑成区域局部化的平均值，其中所述固定模式噪声不变，所述IIR滤波图像包括所述当前图像的IIR滤波版本；利用空间卷积运算从所述IIR滤波图像和所述当前图像去除所述区域局部化的平均值；从所述当前图像的所述IIR滤波版本去除所述DC分量，以产生所述当前图像的DC去除的IIR滤波版本；以及将所述IIR滤波图像和所述当前图像与由此去除的所述区域局部化的平均值组合，从而产生缩放因子；以及使用所述缩放因子对所述当前图像的所述DC去除的IIR滤波版本进行标准化，以产生至少部分匹配所述当前图像中的所述固定模式噪声的所述固定模式噪声的无偏性估计。在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合，处理所述当前图像包括：执行从所述当前图像中逐像素地减去所述固定模式噪声，并从而产生包含所述前景目标和所述背景杂波的经处理的图像，所述图像具有减少的固定模式噪声或没有固定模式噪声。在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合，所述杂波抑制处理进一步包括将不良像素图应用到所述当前图像，以从其中的任何不良像素去除无效图像数据，作为所述当前图像的所述独立副本来应用的所述不良像素图经过所述两个IIR滤波器。在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合，所述连续图像以规则间隔被应用到所述杂波抑制处理本文档来自技高网...

【技术保护点】
1.一种用于相对于视频影像中的前景目标抑制背景杂波的装置，所述装置包括：处理器(118)，所述处理器被配置为至少：从移动平台(104)上的照相机(106)接收视频影像，所述视频影像是包括前景目标和背景杂波的场景，所述前景目标相对于所述背景杂波移动；将所述视频影像的连续帧的连续图像应用到杂波抑制处理(200)，从而产生导出场景的视频影像，在所述导出场景中，相对于所述前景目标抑制了所述背景杂波，所述杂波抑制处理(200)包括：对于每个图像，当为所述连续图像的当前图像(202)时，所述处理器(118)被配置为至少：处理所述视频影像的所述当前图像(202)以去除与所述照相机(106)关联的固定模式噪声(204)；将所述当前图像(202)空间上重新配准(208)到所述连续图像的参考图像中所述场景的固定地理位置或已知杂波模式；之后，使所述当前图像(202)的独立副本经过具有不同时间常数(τ1,τ2)的两个无限脉冲响应(IIR)滤波器(210a，210b)，以产生相对于彼此时间延迟的滤波图像；对所述滤波图像进行差分(214)以减少所述背景杂波，由此产生所述当前图像(202)的杂波抑制版本(216)，在所述杂波抑制版本(216)中，相对于所述前景目标抑制了所述背景杂波；以及提供包括所述连续图像的杂波抑制版本(216)的所述导出场景的所述视频影像。...

【技术特征摘要】
2017.07.21 US 15/656,6141.一种用于相对于视频影像中的前景目标抑制背景杂波的装置，所述装置包括：处理器(118)，所述处理器被配置为至少：从移动平台(104)上的照相机(106)接收视频影像，所述视频影像是包括前景目标和背景杂波的场景，所述前景目标相对于所述背景杂波移动；将所述视频影像的连续帧的连续图像应用到杂波抑制处理(200)，从而产生导出场景的视频影像，在所述导出场景中，相对于所述前景目标抑制了所述背景杂波，所述杂波抑制处理(200)包括：对于每个图像，当为所述连续图像的当前图像(202)时，所述处理器(118)被配置为至少：处理所述视频影像的所述当前图像(202)以去除与所述照相机(106)关联的固定模式噪声(204)；将所述当前图像(202)空间上重新配准(208)到所述连续图像的参考图像中所述场景的固定地理位置或已知杂波模式；之后，使所述当前图像(202)的独立副本经过具有不同时间常数(τ1,τ2)的两个无限脉冲响应(IIR)滤波器(210a，210b)，以产生相对于彼此时间延迟的滤波图像；对所述滤波图像进行差分(214)以减少所述背景杂波，由此产生所述当前图像(202)的杂波抑制版本(216)，在所述杂波抑制版本(216)中，相对于所述前景目标抑制了所述背景杂波；以及提供包括所述连续图像的杂波抑制版本(216)的所述导出场景的所述视频影像。2.根据权利要求1所述的装置，其中，所述处理器(118)被配置为处理所述当前图像(202)包括所述处理器(118)被配置为确定要从所述当前图像(202)去除的所述固定模式噪声(204)，并且所述处理器(118)被配置为确定所述固定模式噪声(204)包括被配置为至少：使直到并包括所述当前图像(202)的多个所述连续图像经过无限脉冲响应滤波器(210a，210b)以产生无限脉冲响应滤波图像，在所述无限脉冲响应滤波图像中，所述背景杂波被平滑成区域局部化的平均值，其中所述固定模式噪声(204)不变，所述无限脉冲响应滤波图像包括所述当前图像的无限脉冲响应滤波版本；利用空间卷积运算从所述无限脉冲响应滤波图像和所述当前图像去除所述区域局部化的平均值；从所述当前图像(202)的所述无限脉冲响应滤波版本去除DC分量，以产生所述当前图像的DC去除的无限脉冲响应滤波版本；以及将所述无限脉冲响应滤波图像和所述当前图像(202)与如此去除的所述区域局部化的平均值组合，从而产生缩放因子；以及使用所述缩放因子对所述当前图像(202)的所述DC去除的无限脉冲响应滤波版本标准化，以产生至少部分匹配所述当前图像(202)中的所述固定模式噪声(204)的所述固定模式噪声的无偏差估计。3.根据权利要求1-2中任一项所述的装置，其中，所述处理器(118)被配置为处理所述当前图像(202)包括被配置为执行从所述当前图像(202)逐像素减去(206)所述固定模式噪声(204)，从而产生包含所述前景目标和所述背景杂波的经处理的图像，所述经处理的图像具有减少的固定模式噪声(204)或没有固定模式噪声(204)。4.根据权利要求1-2中任一项所述的装置，其中，所述杂波抑制处理(200)进一步包括所述处理器(118)被配置为将不良像素图(212)应用到所述当前图像(202)，以从其中的任何不良像素去除无效图像数据，作为所述当前图像(202)的所述独立副本应用的所述不良像素图(212)经过所述两个无限脉冲响应滤波器(210a，210b)。5.根据权利要求1-2中任一项所述的装置，其中，所述连续图像以规则间隔应用到所述杂波抑制处理(200)，并且对于所述连续图像中的每个，所述处理器(118)进一步被配置为通过所述场景的特定地理位置初始化所述杂波抑制处理(200)，由此建立所述当前图像(202)空间上重新配准(208)到的所述参考图像和所述固定地理位置或已知杂波模式。6.根据权利要求5所述的装置，其中，所述杂波抑制处理(200)是相同但在不同时间交替初始化的两个平行杂波抑制处理(200a，200b)中的一个，并且所述处理器(118)被配置为将所述连续图像应用到所述杂波抑制处理(200)包括被配置为将所述连续图像分离和独立地应用到所述两个平行杂波抑制处理(200a，200b)中的每个，以及其中，所述处理器(118)进一步被配置为通过在所述两个平行杂波抑制处理(200a，200b)之间交替切换来构造所述导出场景的所述视频影像。7.根据权利要求6所述的装置，其中，以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个平行杂波抑制处理(200a，200b)，所述相应规则间隔具有帧数量的分数的偏移，以及其中，当所述两个平行杂波抑制处理(200a，200b)中的任何一个初始化时，所述处理器(118)被配置为构造所述连续图像的所述杂波抑制版本包括切换到(302)所述两个无限脉冲响应滤波器(210a，210b)已经达到稳定状态的所述两个平行杂波抑制处理(200a，200b)中的另一个。8.一种相对于视频影像中的前景目标抑制背景杂波的方法，所述方法包括：从移动平台(104)上的照相机(106)接收(502)视频影像，所述视频影像是包括前景目标和背景杂波的场景，所述前景目标相对于所述背景杂波移动；将所述视频影像的连续帧的连续图像应用(504)到杂波抑制处理，从而产生导出场景的视频影像，在所述导出场景中，相对于所述前景目标抑制了所述背景杂波，所述杂波抑制处理(200)包括：对于每个图像，当为所述连续图像的当前图像(202)时，...

【专利技术属性】
技术研发人员：斯科特·M·彼得森，丹尼斯·J·耶尔顿，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国,US