使用频谱变换的图像降噪制造技术

提供了用于减少采集图像帧中的噪声的各种技术。在一个示例中，方法包括确定包括场景信息和噪声信息的图像帧的行值。该方法还包括在第一域中对行值的对应子集执行第一频谱变换来确定第一频谱系数。该方法还包括在第二域中对第一频谱系数的对应子集执行第二频谱变换来确定第二频谱系数。该方法还包括选择性地调整第二频谱系数。该方法还包括基于经调整的第二频谱系数来确定行校正项，以减少图像帧的噪声信息。还提供了附加的方法和系统。

Image Denoising Using Spectrum Transform

【技术实现步骤摘要】
【国外来华专利技术】使用频谱变换的图像降噪相关申请的交叉引用本申请是于2017年12月27日提交的题为“IMAGENOISEREDUCTIONUSINGSPECTRALTRANSFORMS”的PCT/US2017/068596号国际专利申请的继续，PCT/US2017/068596号国际专利申请通过引用整体并入本文。PCT/US2017/068596号国际专利申请要求于2017年1月3日提交的题为“IMAGENOISEREDUCTIONUSINGSPECTRALTRANSFORMS”的62/441,902号美国专利申请的权益和优先权，62/441,902号美国专利申请通过引用整体并入本文。
本专利技术总体地涉及成像，更具体地涉及图像噪声过滤技术。
技术介绍
在图像采集和处理领域中，行和列噪声是反复出现的问题。在这点上，成像系统的各种部件可以产生无意地添加到所采集的图像的一些量的噪声。例如，某些电路部件(例如，行或列放大器)可以在采集和读取与给定列或行相关联的所有像素数据期间使用。因此，与这样的部件相关联的制造变化或校准误差可能影响采集和读取的所有像素数据。这会导致采集图像的行或列表现出显现为水平线或竖直线的偏移。当这种噪声随时间变化时(例如，由温度的波动或其他因素引起的时间噪声)，其可能导致闪烁的行或列。当以视频形式观看图像时，这样的噪声通常容易被人类观察者所感知并且因此会显著降低用户的体验。然而，这种噪声通常对于基于机器的处理来说非常难于以可靠且高效计算的方式来检测和去除，因为这种噪声通常影响图像的相对较大的部分(例如，对应于整个行或列的较大空间区域)。在这点上，常规降噪处理通常难以有效地区分基于场景的信息和随时间改变的噪声。此外，现有的降噪方法通常需要处理各个像素或像素的邻域来识别噪声。不幸的是，这样的方法会在计算上极其密集，并且可能需要对数千个或甚至数百万个单独像素值进行实时处理。因此，这样的传统方法通常不适于在可用计算能力和存储器可能不足以用于这种处理的嵌入式系统中使用。
技术实现思路
提供了使用频谱变换来进行图像降噪的改进技术。通过对与采集的图像帧相关联的行和列值应用频谱变换，可以选择性地减少与噪声相关联的基函数分量以提供经调整的行和列值。经调整的行和列值可以用于生成行和列偏移项，以高效且有效的方式从所采集的图像中有效地滤除噪声。在一个实施例中，方法包括确定包括场景信息和噪声信息的图像帧的行值；在第一域中对行值的对应子集执行第一频谱变换来确定第一频谱系数；在第二域中对第一频谱系数的对应子集执行第二频谱变换来确定第二频谱系数；选择性地调整第二频谱系数；和基于经调整的第二频谱系数来确定行校正项以减少图像帧的噪声信息。在另一实施例中，系统包括存储机器可执行指令的存储部件；和处理器，其配置为执行该指令来使得该系统：确定包括场景信息和噪声信息的图像帧的行值，在第一域中对行值的对应子集执行第一频谱变换来确定第一频谱系数，在第二域中对第一频谱系数的对应子集执行第二频谱变换来确定第二频谱系数，选择性地调整第二频谱系数，和基于经调整的第二频谱系数来确定行校正项以减少图像帧的噪声信息。本专利技术的范围由权利要求来限定，这些权利要求通过引用并入本文。通过考虑以下对一个或多个实施例的详细描述，将向本领域技术人员提供对本专利技术实施例的更完整的理解以及对其附加优点的实现。将对首先将会简要描述的附图进行参照。附图说明图1示出根据本公开的实施例的成像系统的框图。图2示出根据本公开的实施例的图像采集部件的框图。图3示出根据本公开的实施例的减少行和列噪声的处理。图4示出根据本公开的实施例的具有相关联的行平均值和相关联的列平均值的采集图像帧的集合。图5示出根据本公开的实施例的具有相关联的行平均值和相关联的列平均值的采集图像帧。图6示出根据本公开的实施例的行平均值。图7示出根据本公开的实施例的执行第一频谱变换之后的第一频谱系数。图8示出根据本公开的实施例的执行第二频谱变换之后的第二频谱系数。图9示出根据本公开的实施例的噪声系数。图10示出根据本公开的实施例的经调整的第二频谱系数。图11示出根据本公开的实施例的经调整的行平均值。通过参照以下的详细描述来最佳地理解本专利技术的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同元件。具体实施方式提供了各种技术来从图像帧去除空间相关的时间行和列噪声。在一些实施例中，采集多个图像帧，并且确定每个图像帧对应的行和列值。在各种实施例中，行和列值可以实施为平均行和列像素值和/或行和列像素值的和，并且统称为行和列向量。对每个图像帧的行和列值的子集应用第一频谱变换来确定第一频谱系数。对频谱系数的第一集合应用第二频谱变换来确定第二频谱系数。将第二频谱系数的量值与根据不具有场景信息(例如，仅噪声)的其他图像帧所计算的噪声频谱系数的对应集合的量值进行比较。基于这些比较，选择性地调整第二频谱系数来有效地衰减与采集图像帧相关联的时间噪声。对经调整的第二频谱系数执行反向第二频谱变换来提供经调整的第一频谱系数。对经调整的第一频谱系数执行反向第一频谱变换来提供采集图像帧的经调整的行和列值。在一些实施例中，可以对经调整的行和列值的多个重叠子集求平均、加权和/或以其他方式组合来确定最终的行和列值。经调整的和/或最终的行和列值用于确定行和列校正项(例如，用于有效地滤除噪声的偏移)，行和列校正项被应用于采集图像帧的行和列像素值，并因此减少空间相关的时间行和列噪声。通过将这些技术应用于视频的图像帧，可以有效地过滤和减少行和列闪烁和/或其他噪声。这样的方法与通常基于图像并需要处理数千或甚至数百万个像素值的常规噪声过滤技术形成对比。现在转向附图，图1示出根据本公开的实施例的成像系统100的框图。成像系统100可以用于根据本文描述的各种技术来采集和处理图像(例如，图像帧)。在一些实施例中，成像系统100的各种部件可以设置在相机部件101中，比如成像相机。在其他实施例中，成像系统100的一个或多个部件可以以分布式方式(例如，联网或其他方式)彼此远程地实施。在一些实施例中，成像系统100可以用于检测场景170内的一种或多种感兴趣气体。例如，成像系统100可以配置为响应于从场景170接收的红外辐射171，使用相机部件101(例如，热成像相机)来采集场景170的一个或多个图像。红外辐射171可以对应于由场景170内的气体172发射和/或吸收的波长以及由场景170的背景部分173发射和/或吸收的其他波长。所采集的图像可以由处理部件110接收并存储在存储部件120中。处理部件110可以配置为根据本文所讨论的气体检测技术来处理所采集的图像。在一些实施例中，成像系统100包括处理部件110、机器可读介质113、存储部件120、图像采集部件130、滤波器131(例如，由本文进一步讨论的至少两组交替滤波器131A和131B来实施)、光学部件132(例如，配置为通过相机部件101中的孔134接收红外辐射171的一个或多个透镜)、图像采集接口部件136、显示部件140、控制部件150、通信部件152和其他感测部件160。在一些实施例中，成像系统100可以实施为成像相机(比如相机部件101)以采集例如场景170(例如，视场)的图像。在一些实施例中，相机部件本文档来自技高网...

【技术保护点】
1.一种方法，其包括以下步骤：确定包括场景信息和噪声信息的图像帧的行值；在第一域中对所述行值的对应子集执行第一频谱变换来确定第一频谱系数；在第二域中对所述第一频谱系数的对应子集执行第二频谱变换来确定第二频谱系数；选择性地调整所述第二频谱系数；和基于经调整的第二频谱系数来确定行校正项以减少所述图像帧的所述噪声信息。

【技术特征摘要】
【国外来华专利技术】2017.01.03 US 62/441,9021.一种方法，其包括以下步骤：确定包括场景信息和噪声信息的图像帧的行值；在第一域中对所述行值的对应子集执行第一频谱变换来确定第一频谱系数；在第二域中对所述第一频谱系数的对应子集执行第二频谱变换来确定第二频谱系数；选择性地调整所述第二频谱系数；和基于经调整的第二频谱系数来确定行校正项以减少所述图像帧的所述噪声信息。2.根据权利要求1所述的方法，其中，所述调整的步骤包括将所述第二频谱系数与根据仅包括所述噪声信息的附加图像帧所计算的噪声系数的集合进行比较。3.根据权利要求1所述的方法，其中，所述确定行校正项的步骤包括以下步骤：在所述第二域中对经调整的第二频谱系数的对应子集执行反向第二频谱变换来确定经调整的第一频谱系数；在所述第一域中对经调整的第一频谱系数的对应子集执行反向第一频谱变换来确定经调整的行值；和基于经调整的行值来确定所述行校正项。4.根据权利要求1所述的方法，还包括以下步骤：确定每个行的多个经调整的行值；并且其中，所述行校正项进一步基于经调整的行值的加权均值。5.根据权利要求1所述的方法，还包括以下步骤：识别所述图像帧中的所述行值的匹配子集；并且其中，对所述匹配子集应用所述第一频谱变换来补偿运动。6.根据权利要求1所述的方法，其中：所述第一域是沿着与所述图像帧中的各个图像帧相关联的所述行值取得的空间域；并且所述第二域是沿着与所述图像帧中的不同图像帧相关联的第一频谱系数中的对应频谱系数取得的时间域。7.根据权利要求1所述的方法，其中，所述行值是行平均值。8.根据权利要求1所述的方法，还包括对所述图像帧的列值重复所述方法来确定列校正项。9.根据权利要求1所述的方法，其中，所述图像帧是热图像帧。10.根据权利要求1所述的方法，还包括以下步骤：从真实世界场景采集所述图像帧；和对所述图像帧应用所述行校正项来减少所述图像帧的噪声。11.一种系统，包括：存储部件，其存储机器可执行指令；和处理器，其配置为实施所述指令来使得...

【专利技术属性】
技术研发人员：尼古拉斯·霍格斯坦，
申请(专利权)人：菲力尔系统公司，
类型：发明
国别省市：美国,US